robots.txt 의 배치

robots.txt는 HTML 파일이 아닌 일반 텍스트 파일로 도메인의 root에 있어야 하며 반드시 'robots.txt'로 저장되야 합니다. 검색봇은 도메인의 root에 있는 robots.txt 파일만을 체크하기 때문에 하위 디렉토리에 있는 파일은 유효하지 않습니다.

예를 들어 http://www.example.com/robots.txt는 유효한 위치이지만, http://www.example.com/mysite/robots.txt는 유효하지 않습니다.

robots.txt 사용 예제:
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/

전체 웹사아트를 검색엔진이 색인하도록 허용하고자 할 때에는 다음과 같이 robots.txt 파일을 추가합니다.
User-agent: *
Disallow:
또 다른 해결 방법으로는 단순하게 robots.txt를 사이트로부터 제거 하는 것입니다.

검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 추가합니다.
User-agent: *
Disallow: /
주의) 이 경우 검색봇이 차단되어 사이트가 더이상 검색엔진에 나타나지 않게 됨으로 검색엔진을 통해 들어오게 되는 사용자들에게 불이익을 제공하게 됩니다.

각 포트에는 전용 robots.txt 파일이 있어야 합니다. 특히 http와 https 모두를 통해 사용자들에게 콘텐츠를 제공하려면 이 두 가지 프로토콜에 대해 각각의 robots.txt 파일이 있어야 합니다.

예를 들어 검색봇을 통해 https 페이지를 제외한 모든 http 페이지에 대한 수집을 허용하려면 다음 robots.txt 파일들을 각각의 프로토콜에 사용해야 합니다.

http 프로토콜의 경우
(http://yourserver.co.kr/robots.txt):
User-agent: *
DIsallow:

https 프로토콜의 경우
(https://yourserver.co.kr/robots.txt):
User-agent: *
Disallow: /

예를 들어, 검색봇이 특정 디렉토리(예: board )의 모든 페이지를 검색하지 않도록 차단하려면 다음과 같이 robots.txt를 사용 하시면 됩니다.
User-agent: *
Disallow: /board/

Googlebot이 특정 형식(예: .gif)의 파일을 모두 검색하지 않도록 차단하려면 다음과 같이 robots.txt를 사용 하시면 됩니다.
User-Agent: Googlebot
Disallow: /*.gif$