クロール頻度とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。
Google がサイトをクロールする頻度をユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールさせたい場合は、再クロールをリクエストすることができます。
適切な使用方法
Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイトのできる限り多くのページをクロールすることを目標にしています。
Google がサイトに対して行う 1 秒間あたりのリクエスト数が多すぎてサーバーの処理速度が遅くなっている場合、Google がサイトをクロールする速度を制限できます。
また、ルートレベルのサイト（例: www.example.com や http://subdomain.example.com）に対するクロール頻度の制限を設定できます。ユーザーが設定するクロール頻度が Googlebot の最大クロール頻度となります。これは Googlebot がこの最大速度に達することを保証するものではありません。
Googlebot からのサーバー アクセスが多すぎることを明らかな原因とするサーバー負荷の問題が発生してない限り、クロール頻度の制限は設定しないことをおすすめします。
ルートレベル以外のサイト（例: www.example.com/folder）のクロール頻度を変更することはできません。
クロール頻度を制限する
- プロパティのクロール頻度設定ページを開きます。
- クロール頻度が「最適に計算」となっている場合、クロール頻度を遅く設定するには特別なリクエストの提出が必要になります。クロール頻度を速く設定することはできません。
- 「最適に計算」となっていない場合は、、該当する項目を選択してから、希望するクロール頻度の制限を設定します。新たに設定したクロール頻度は 90 日間有効です。
緊急クロールの制限
サイトが頻繁にクロールされることで、サイトへのアクセスに影響が発生している場合は、次のように回避できます。
- サイトに対するクロール頻度が過大な Google クローラを特定します。ウェブサイトのログを確認するか、クロールの統計情報レポートを使用します。
- 簡単な解決策:
- 簡単な解決策としては、robots.txt を使用して、過負荷になっているエージェント（Googlebot、AdsBot など）に対するクロールをブロックします。ただし、有効になるまで最大 1 日程度かかることがあります。クロールに長期的な影響を及ぼす可能性があるため、あまり長くはブロックしないでください。
- 負荷の増大を動的に検出して対応できる場合は、配信制限に近づいた時点で HTTP 503 / 429 を返します。ただし、503 や 429 を返すのは 2～3 日程度までにすべきです。それを超えてしまうと、Google がサイトをクロールする頻度がいずれ少なくなってきます。
- クロール頻度設定ページでクロール頻度を変更します（選択可能な場合）。
- 2～3 日後に Google のクロール頻度が適応すると、robots.txt ブロックを削除するか、503 または 429 エラーコードを返すことを中止できます。
- AdsBot のクロールが多すぎる場合は、
URL_Equalsまたはページフィードを使用してサイトに作成した動的検索広告のターゲットが多すぎる可能性があります。これらのクロールを処理できるだけのサーバー容量がない場合は、広告ターゲットの制限、小さなバッチでの URL 追加、広告配信容量の増加のいずれかが必要です。AdsBot は 2 週間ごとにページをクロールするため、問題を修正しなければ、同じ現象が繰り返されます。 - なお、クロール設定ページでクロール頻度を制限している場合、クロール頻度は 90 日後に自動調整に戻ります。
