로봇배제1 로봇배제 표준(robots.txt) ■ 로봇 배제표준 이란? 로봇 배제 표준은 웹 사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 일반적으로 접근 제한에 대한 설명을 robots.txt에 기술한다. 이 규약은 1994년 6월에 처음 만들어졌고, 아직 이 규약에 대한 RFC는 없다. 이 규약은 권고안이며, 로봇이 robots.txt 파일을 읽고 접근을 중지하는 것을 목적으로 한다. 따라서, 접근 방지 설정을 하였다고 해도, 다른 사람들이 그 파일에 접근할 수 있다. ■ robots.txt 파일의 게재위치 ▶ https://support.google.com/webmasters/answer/40361?hl=ko robots.txt 파일은 도메인의 루트에 있어야 하며 이름은 ‘robots.txt’여야 합니다. 검색 로봇은 도메인의 루트에 .. 2014. 5. 7. 이전 1 다음
