Googlebot のクロール頻度の変更

クロール頻度とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。

Google がサイトをクロールする頻度をユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールさせたい場合は、再クロールをリクエストすることができます。

適切な使用方法

Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイトのできる限り多くのページをクロールすることを目標にしています。

Google がサイトに対して行う 1 秒間あたりのリクエスト数が多すぎてサーバーの処理速度が遅くなっている場合、Google がサイトをクロールする速度を制限できます。

また、ルートレベルのサイト(例: www.example.com や http://subdomain.example.com)に対するクロール頻度の制限を設定できます。ユーザーが設定するクロール頻度が Googlebot の最大クロール頻度となります。これは Googlebot がこの最大速度に達することを保証するものではありません。

Googlebot からのサーバー アクセスが多すぎることを明らかな原因とするサーバー負荷の問題が発生してない限り、クロール頻度の制限は設定しないことをおすすめします。

ルートレベル以外のサイト(例: www.example.com/folder)のクロール頻度を変更することはできません。

クロール頻度を制限する

  1. プロパティのクロール頻度設定ページを開きます。
    • クロール頻度が「最適に計算」となっている場合、クロール頻度を遅く設定するには特別なリクエストの提出が必要になります。クロール頻度を速く設定することはできません。
    • 「最適に計算」となっていない場合は、、該当する項目を選択してから、希望するクロール頻度の制限を設定します。新たに設定したクロール頻度は 90 日間有効です。

 

この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。