robots.txt 보고서는 Google이 사이트의 상위 20개 호스트에서 발견한 robots.txt 파일, 마지막으로 크롤링된 시간, 발생한 경고 또는 오류를 표시합니다. 또한 이 보고서를 통해 긴급 상황에서 robots.txt 파일의 재크롤링을 요청할 수 있습니다.
이 보고서는 도메인 수준의 속성에만 사용할 수 있습니다. 이는 다음 중 하나를 의미합니다.
- 도메인 속성(예: example.com 또는 m.example.com)
- 경로가 없는 URL 접두사 속성(예: https://example.com/은 해당하나 https://example.com/path/는 해당하지 않음)
robots.txt 파일 및 크롤링 상태 확인하기
도메인 속성의 보고서는 해당 속성에 있는 상위 20개 호스트의 robots.txt 파일을 포함합니다.
Search Console에서 확인한 각 robots.txt 파일에 관하여 다음 정보가 표시됩니다.
- 파일 경로 - Google에서 robots.txt 파일의 존재를 확인한 전체 URL입니다. URL은 지난 30일 동안 가져옴 또는 가져오지 않음 상태인 경우에만 보고서에 표시됩니다. robots.txt 파일의 위치를 참고하세요.
- 가져오기 상태 - 이 파일의 최신 가져오기 요청 상태입니다. 다음 값이 표시될 수 있습니다.
- 가져오지 않음 - 찾을 수 없음(404): 이 파일을 요청할 때 404 오류(파일이 존재하지 않음)가 발생했습니다. 표시된 URL에 robots.txt 파일을 게시했는데도 오류가 표시되면 URL을 검사하여 가용성 문제가 있는지 확인하세요. 30일 동안 찾을 수 없음(404) 상태인 파일은 더 이상 보고서에 표시되지 않습니다. 그러나 Google이 백그라운드에서 계속 확인합니다. robots.txt 오류가 없어도 괜찮습니다. Google에서 사이트의 모든 URL을 크롤링할 수 있다는 의미이기 때문입니다. 자세한 내용은 robots.txt 오류가 있을 때 Google에서 어떻게 동작하나요를 참고하세요.
- 가져오지 않음 - 기타 이유: 이 파일을 요청할 때 다른 문제가 발생했습니다. 색인 생성 문제 목록을 참고하세요.
- 가져옴: 마지막 크롤링 시도에서 robots.txt 파일을 반환했습니다. 파일을 파싱하는 동안 발견된 모든 문제는 문제 열에 표시됩니다. Google은 문제가 있는 줄을 무시하고 파싱할 수 있는 줄을 사용합니다.
- 확인됨: Google에서 마지막으로 URL 크롤링을 시도했던 시간(현지 시간)입니다.
- 크기 - 가져온 파일의 크기(바이트)입니다. 마지막 가져오기 시도가 실패하면 파일의 크기가 비어 있게 됩니다.
- 문제 - 표에 마지막으로 가져온 파일 콘텐츠의 파싱 문제 수가 표시됩니다. 오류가 발생하면 규칙이 사용되지 않습니다. 그러나 경고로 인해 규칙 사용이 차단되지는 않습니다. robots.txt 오류가 있을 때 Google이 어떻게 작동하는지 알아보세요. 파싱 문제를 해결하려면 robots.txt 검사기를 사용하세요.
마지막으로 가져온 버전 보기
보고서의 파일 목록에서 robots.txt 파일을 클릭하여 마지막으로 가져온 버전을 확인할 수 있습니다. robots.txt 파일에 오류나 경고가 있는 경우 표시된 파일 콘텐츠에서 해당 내용이 강조 표시됩니다. 화살표 키를 사용하여 오류 및 경고를 차례대로 확인할 수 있습니다.
이전에 가져온 버전 보기
지난 30일 동안 특정 robots.txt 파일의 가져오기 요청을 보려면 보고서의 파일 목록에 있는 파일을 클릭한 다음 버전을 클릭합니다. 해당 버전의 파일 콘텐츠를 보려면 버전을 클릭합니다. 검색된 파일 또는 가져오기 결과가 이전 파일 가져오기 요청과 다른 경우에만 요청이 기록에 포함됩니다.
최근의 가져오기 시도에서 가져오기 오류가 발생한 경우 Google은 최대 30일 동안 오류 없이 마지막으로 가져온 버전을 사용합니다.
재크롤링 요청하기
오류를 수정하거나 중요한 변경사항을 적용한 경우 robots.txt 파일의 재크롤링을 요청할 수 있습니다.
재크롤링을 요청해야 하는 경우
일반적으로는 robots.txt 파일의 재크롤링을 요청할 필요가 없습니다. Google에서 robots.txt 파일을 다시 크롤링하기 때문입니다. 하지만 다음 상황에서는 robots.txt 재크롤링을 요청하는 것이 좋습니다.
- robots.txt 규칙을 변경하여 일부 중요한 URL의 차단을 해제하고 신속하게 Google에 알리려는 경우(단, 차단 해제된 URL이 즉시 재크롤링된다는 보장은 없음)
- 가져오기 오류 또는 기타 심각한 오류를 수정함
재크롤링 요청 방법
재크롤링을 요청하려면 로봇 파일 목록의 파일 옆에 있는 설정 더보기 아이콘 
웹사이트 호스팅 서비스의 웹사이트
웹사이트가 웹사이트 호스팅 서비스에 호스팅된 경우 robots.txt 파일을 수정하기 어려울 수 있습니다. 이 경우 사이트 호스트의 도움말을 참고하여 Google에서 특정 페이지를 크롤링하거나 색인을 생성하지 못하도록 차단하는 방법을 확인하세요. (대부분의 사용자는 Google에 의해 파일이 크롤링되지 않게 하는 것이 아니라 Google 검색에 표시되지 않도록 하는 방법을 알고 싶어 합니다. 이 경우 호스팅 서비스에서 검색엔진의 페이지 차단에 관한 정보를 검색해 보시기 바랍니다.)
Google에서 robots.txt를 가져오거나 읽을 수 없으면 어떻게 되나요?
도메인 또는 하위 도메인에서 robots.txt 파일을 찾을 수 없는 경우 Google은 해당 호스트 내의 모든 URL을 크롤링할 수 있다고 간주됩니다.
Google이 robots.txt 파일을 찾았지만 가져올 수 없는 경우 Google은 다음 동작을 따릅니다.
- 처음 12시간 동안 Google은 사이트 크롤링을 중단하지만 계속 robots.txt 파일을 가져오려고 시도합니다.
- 새 버전을 가져올 수 없는 경우 향후 30일 동안 Google은 유효한 최종 버전을 사용하면서 새 버전을 가져오려고 시도합니다. 버전 기록에서 유효한 최종 버전을 확인할 수 있습니다.
- 30일이 지나도 오류가 해결되지 않으면 다음과 같이 동작합니다.
- 사이트를 Google에서 일반적으로 사용할 수 있는 경우 Google에서는 robots.txt 파일이 없는 것처럼 동작하면서 새 버전이 있는지 계속 확인합니다.
- 사이트에 일반 안정화 버전 문제가 있는 경우 Google에서 사이트 크롤링을 중단하는 동시에 주기적으로 robots.txt 파일을 요청합니다.
Google이 robots.txt 파일을 찾아서 가져올 수 있는 경우: Google은 파일을 한 줄씩 읽습니다. 오류가 있거나 robots.txt 규칙으로 파싱할 수 없는 줄은 건너뜁니다. 파일에 유효한 행이 없으면 Google은 이 파일을 비어 있는 robots.txt 파일로 간주하므로 사이트에 선언된 규칙이 없는 것입니다.
robots.txt 파일의 위치
용어:
- 프로토콜(스키마라고도 함)은 HTTP 또는 HTTPS입니다.
- 호스트는 URL에서 프로토콜(http:// 또는 https://) 다음부터 경로까지 나오는 모든 항목입니다. 따라서 호스트 m.de.example.com에는 m.de.example.com, de.example.com, example.com이라는 3개의 호스트가 있을 수 있으며, 호스트마다 고유한 robots.txt 파일이 있을 수 있습니다.
- 출처는 프로토콜 + 호스트입니다. 따라서 https://example.com/ 또는 https://m.example.co.es/입니다.
RFC 9309에 따라 robots.txt 파일은 사이트의 각 프로토콜 및 호스트 조합의 루트에 있어야 합니다.
- Search Console은 크롤링 속도를 기준으로 정렬된 호스트 중 상위 20개의 호스트를 선택합니다. 도메인별로 보고서에 최대 2개의 출처가 표시될 수 있습니다. 즉, 표에 최대 40개의 행이 표시될 수 있습니다. 호스트 중 하나의 robots.txt URL을 찾을 수 없는 경우 누락된 하위 도메인의 도메인 속성을 만드세요.
- Search Console은 각 호스트에 다음 두 가지 URL을 확인합니다.
- http://<host>/robots.txt
- https://<host>/robots.txt
- 요청된 URL의 robots.txt 파일이 30일 동안 찾을 수 없음으로 보고되면 Search Console이 보고서에 URL을 표시하지 않지만 Google은 백그라운드에서 URL을 계속 확인합니다. 결과가 다르면 확인된 URL이 보고서에 표시됩니다.
URL 접두사 속성이 호스트 수준(예: https://example.com/)인 경우 Search Console은 해당 속성에 대해 단일 출처만 확인합니다. https://example.com 속성의 경우 Search Console에서 http://example.com/robots.txt 또는 https://m.example.com/robots.txt가 아닌 https://example.com/robots.txt만 확인합니다.
일반적인 작업
robots.txt 파일 보기
이 보고서에 표시된 robots.txt 파일을 열려면 robots.txt 파일 목록에서 파일을 클릭하세요. 브라우저에서 파일을 열려면 사용 중인 robots.txt 열기를 클릭합니다.
웹의 모든 robots.txt 파일을 브라우저에서 열 수 있습니다. 어떤 URL을 방문해야 할지 알아보려면 아래를 참고하세요.
robots.txt 파일은 프로토콜 및 도메인의 루트에 있습니다. URL을 확인하려면 파일의 URL에서 호스트(및 선택적 포트) 다음에 오는 모든 부분을 잘라내고 '/robots.txt'를 추가하세요. robots.txt 파일이 있는 경우 브라우저에서 해당 파일을 방문할 수 있습니다. robots.txt 파일은 하위 도메인이나 상위 도메인에서 상속되지 않으며, 특정 페이지는 하나의 robots.txt 파일만 영향을 받을 수 있습니다. 예를 들면 다음과 같습니다.
| 파일 URL | 해당 파일에 영향을 줄 수 있는 robots.txt의 URL |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
페이지나 이미지에 영향을 주는 robots.txt 파일 확인하기
페이지나 이미지에 영향을 미치는 robots.txt 파일의 URL을 찾으려면 다음 단계를 따르세요.
- 페이지 또는 이미지의 정확한 URL을 찾습니다. 이미지의 경우 Chrome 브라우저에서 마우스 오른쪽 버튼을 클릭하고 이미지 URL 복사를 선택합니다.
- 최상위 도메인 뒤의 URL 끝(예: .com, .org, .co.il)을 삭제하고 끝에 /robots.txt를 추가합니다. 따라서 https://images.example.com/flowers/daffodil.png의 robots.txt 파일은 https://images.example.com/robots.txt입니다.
- 브라우저에서 URL을 열어 파일이 존재하는지 확인합니다. 브라우저에서 파일을 열 수 없는 경우 파일이 존재하지 않는 것입니다.
robots.txt로 인해 Google 크롤링이 차단되었는지 테스트하기
- robots.txt 파일에 의해 특정 URL이 차단되고 있는지 테스트하려면 URL 검사 도구를 사용하여 URL의 사용 가능 여부를 확인할 수 있습니다.
- 아직 웹에 등록되지 않은 파일에 대해 특정 robots.txt 규칙을 테스트하거나 새 규칙을 테스트하려면 서드 파티 robots.txt 테스터를 사용하세요.
추가 정보
- robots.txt 파일의 역할 및 사용 방법
- robots.txt 파일 구현 방법