크롤링 속도라는 용어는 Googlebot이 사이트를 크롤링할 때 1초에 얼마나 많은 요청을 보내는지를 의미합니다. 예를 들어 1초에 5번 요청할 수 있습니다.
Google에서 사이트를 크롤링하는 빈도는 변경할 수 없지만, Google에서 사이트의 새로운 콘텐츠 또는 업데이트된 콘텐츠를 크롤링하도록 하려는 경우 재크롤링을 요청할 수 있습니다.
올바른 사용법
Google은 특정 사이트에 가장 적합한 크롤링 속도를 결정하는 정교한 알고리즘을 사용합니다. Google의 목표는 방문한 사이트에서 서버의 대역폭에 무리를 주지 않으면서 가능한 한 많은 페이지를 크롤링하는 것입니다.
Google에서 1초 동안 사이트에 너무 많은 요청을 보내서 서버 속도가 느려지는 경우 Google에서 사이트를 얼마나 빠르게 크롤링할지 제한할 수 있습니다.
루트 수준 사이트의 크롤링 속도를 제한할 수 있습니다(예: www.example.com 및 http://subdomain.example.com). 설정한 크롤링 속도는 Googlebot의 최대 크롤링 속도가 됩니다. Googlebot이 최대 속도에 도달하지 못할 수도 있습니다.
Googlebot이 너무 많은 요청을 보내 서버 로드에 문제가 발생하는 것이 확실한 경우를 제외하고는 크롤링 속도를 제한하지 않는 것이 좋습니다.
그러나 www.example.com/folder와 같이 루트 수준이 아닌 사이트의 크롤링 속도는 변경할 수 없습니다.
크롤링 속도 제한
- 속성의 크롤링 속도 설정 페이지를 엽니다.
- 크롤링 속도가 '최적 속도로 계산됨'이라고 표시되는 경우 크롤링 속도를 낮출 수 있는 유일한 방법은 특별 요청을 제출하는 것입니다. 크롤링 속도를 높일 수는 없습니다.
- 그렇지 않으면 원하는 옵션을 선택하고 크롤링 속도를 제한합니다. 새로 설정한 크롤링 속도는 90일 동안 유효합니다.
긴급 크롤링 제한
사이트가 너무 많이 크롤링되어 가용성 문제가 발생하는 경우 사이트를 보호하는 방법은 다음과 같습니다.
- 사이트를 너무 많이 크롤링하는 Google 크롤러가 무엇인지 확인합니다. 웹사이트 로그를 살펴보거나 크롤링 통계 보고서를 사용합니다.
- 즉각적인 해결 방법:
- 간단한 해결 방법을 원하면 robots.txt를 사용하여 과부하가 발생한 에이전트(Googlebot, Adsbot 등)의 크롤링을 차단합니다. 하지만 변경사항이 적용되는 데 최대 하루가 걸릴 수 있습니다. 장기적으로 크롤링에 영향을 미칠 수 있으므로 너무 오래 차단하지는 마세요.
- 증가한 로드를 동적으로 감지하여 응답할 수 있다면 게재 한도에 거의 도달했을 때 HTTP 503/429를 반환합니다. 하지만 2~3일 넘게 503 또는 429를 반환하지는 마세요. Google에서 사이트 크롤링 빈도를 장기적으로 줄이라는 신호로 받아들일 수 있습니다.
- 가능한 경우 크롤링 속도 설정 페이지에서 크롤링 속도를 변경합니다.
- 2~3일 후에 Google의 크롤링 속도가 조정되면 robots.txt 차단을 삭제하거나 503 또는 429 오류 코드 반환을 중지합니다.
- AdsBot 크롤링이 급증한 경우 사이트에서
URL_Equals또는 페이지 피드를 사용하여 동적 검색 광고에 대한 타겟을 너무 많이 생성한 것이 문제일 수 있습니다. 이러한 크롤링을 처리할 서버 용량이 부족한 경우 광고 타겟을 제한하거나 URL을 여러 개로 작게 나누어서 추가하거나 게재 용량을 늘려야 합니다. AdsBot은 2주마다 페이지를 크롤링하므로 문제를 해결해야 합니다. 문제를 해결하지 않으면 반복해서 발생합니다. - 크롤링 설정 페이지에서 크롤링 속도를 제한하면 크롤링 속도가 90일 후 자동 조정으로 돌아갑니다.
