robots.txt 파일은 도대체 어디에 쓰는 걸까?

가끔 사이트 진단 사이트에서 운영중인 사이트를 진단받다 보면 서버에 'robots.txt 파일이 없으니 주의하기 바랍니다'라는 메시지를 접하게 됩니다.
하지만 하나도 신경 쓸 거 없습니다.

웹사이트의 일부 혹은 전체를 검색 엔진에 노출하는 것을 막을 목적이 아니라면 전혀 필요없는 파일이기 때문입니다.

이 robots.txt 파일은 웹사이트를 검색기(예: 구글)에서 제외하는 표준이기 때문입니다.

그래도 웹서버에 이 파일을 꼭 저장하여 위와 같은 경고문이 안보이게 하고 싶다면 아래와 같이 내용을 적어 저장하면 됩니다.

User-Agent: *

Disallow:

이 구문은 모든 검색엔진의 봇 혹은 크롤러들에게 검색을 제외하는 곳이 없다는 뜻입니다. 즉 다 퍼가라는 뜻이겠죠?

User-Agent: *

Disallow: /

그렇다면 이 구문의 의미는 무엇일까요? 위와 정반대로 이 사이트의 모든 페이지에 대한 수집을 중지하란 의미입니다.

User-Agent: GOOGLEBOT
Disallow: /mydiary/
Disallow: /tmp/
Disallow: /secret.html

위와 같은 표현은 구글봇에게 /mydiary, /tmp, /secret.html 을 검색에서 제외해달라는 의미입니다.

robots.txt 에 관하여는 이 사이트를 참조하시기 바랍니다.