robots.txt 소개

robots.txt 테스터를 이용한 robots.txt 테스트

robots.txt 테스터 도구는 robots.txt 파일이 사이트의 특정 URL에서 Google 웹 크롤러를 차단하는지 알려줍니다. 예를 들어 Google 이미지 검색에서 차단하고 싶은 이미지의 URL을 Googlebot-이미지 크롤러가 크롤링할 수 있는지 테스트하는 데 이 도구를 사용할 수 있습니다.

 

robots.txt 테스터 열기

 

robots.txt 테스터 도구에 URL을 제출할 수 있습니다. 그러면 이 도구가 Googlebot처럼 작동하여 robots.txt 파일을 확인하고 URL이 제대로 차단되었는지 확인합니다.

robots.txt 파일 테스트

  1. 사이트의 테스터 도구를 열고 robots.txt 코드를 스크롤하여 강조표시된 구문 경고로직 오류를 찾습니다. 구문 경고와 로직 오류의 수가 편집기 바로 아래에 표시됩니다.
  2. 페이지 하단의 텍스트 상자에 사이트의 페이지 URL을 입력합니다.
  3. 텍스트 상자 오른쪽의 드롭다운 목록에서 시뮬레이션하려는 user-agent를 선택합니다.
  4. 테스트 버튼을 클릭하여 액세스를 테스트합니다.
  5. 테스트 버튼에 허용됨 또는 차단됨이 표시되는지 보면 입력한 URL이 Google 웹 크롤러에서 차단되는지 확인할 수 있습니다.
  6. 페이지의 파일을 수정하고 필요한 경우 다시 테스트합니다. 페이지에서 변경한 내용은 사이트에 저장되지 않으니 주의하세요. 다음 단계를 참조하시기 바랍니다.
  7. 변경사항을 사이트의 robots.txt 파일로 복사합니다. 이 도구는 사이트의 실제 파일을 변경하지 않으며 도구에 호스팅된 사본을 대상으로만 테스트합니다.

robots.txt 테스터 도구 사용에는 다음과 같은 제약이 있습니다.

  • 도구 편집기에서 변경한 내용이 웹 서버에 자동으로 저장되지 않습니다. 편집기에서 콘텐츠를 복사하여 서버에 저장된 robots.txt 파일에 붙여넣어야 합니다.
  • robots.txt 테스터 도구는 Google user-agent나 Googlebot과 같은 웹 크롤러에 대해서만 robots.txt를 테스트합니다. Google은 다른 웹 크롤러가 robots.txt 파일을 어떻게 해석할지 예측할 수 없습니다.
이 도움말이 도움이 되었나요?
어떻게 하면 개선할 수 있을까요?