検索
検索をクリア
検索終了
Google アプリ
メインメニュー

クロールの統計情報レポート(ウェブサイト)

クロールの統計情報レポート(ウェブサイト専用)は、過去 90 日間のサイトでの Googlebot のアクティビティに関するデータを提供します。この統計情報には、Google がダウンロードするすべてのコンテンツ タイプ(CSS、JavaScript、Flash、PDF ファイル、画像など)が含まれます。

クロールの統計情報レポートを開く

入手できるのは、確認済みのウェブサイトのクロールの統計情報のみです。

データについて

「良好な」クロール数というものは存在しませんが、グラフは比較的平坦で、サイトの拡大に応じて上昇するべきです。急激な低下や上昇が見られる場合は、以下の内容を確認してください。

クロール速度が低下した理由

一般に、Google のクロール速度は 1~2 週間は比較的安定しているはずです。急激に低下した場合は、いくつかの理由が考えられます。

  • 新しい(または非常に大まかな)robots.txt ルールを追加した場合。ブロックする必要があるリソースのみをブロックしていることを確認します。Google がコンテンツを認識するために、CSS や JavaScript などの特定のリソースが必要な場合は、こうしたリソースが Googlebot からブロックされないようにしてください。
  • ページの HTML が壊れている、コンテンツがサポートされていない場合。Googlebot がページのコンテンツを解析できない場合は、使用されているメディアのタイプがサポートされていないか、ページが画像でのみ構成されている可能性があります。こうしたコンテンツをクロールすることはできません。Fetch as Google を使用して、ページが Googlebot からどのように認識されるかを確認してください。
  • リクエストへのサイトの反応が遅い場合、Googlebot はリクエストを抑制してサーバーの過負荷を防ぎます。クロールの統計情報レポートで、サイトの反応が遅くなっていないか確認してください。
  • サーバーのエラー率が上昇すると、Googlebot はリクエストを抑制してサーバーの過負荷を防ぎます。クロールエラー レポートで、サーバー接続エラーが増加していないか確認してください。
  • 最大クロール速度を超えていないことを確認してください。
  • サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。サイトを率直に見て、またサイトに関係がないユーザーに偏りのない意見を聞いて、全体的にサイトのどこをどのように改善すればよいかを検討してください。

クロール速度が上昇した理由

新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。サーバーに負荷がかかり過ぎていると思われる場合に、サイトの Googlebot のクロール速度を管理するためのおすすめの方法を紹介します。

  • クロールの統計情報レポートとログ内のユーザー エージェントを確認し、Googlebot がサイトにアクセスしていること(別のリクエスト送信者ではないこと)を確認します。
  • Googlebot のクロールをただちにブロックする必要がある場合は、リクエストに 503 HTTP 結果コードを返します。
  • robots.txt ファイルを微調整し、呼び出す必要がないページをブロックします。
  • 一時的な解決策として、Search Console で最大クロール速度を設定できます。クロールするページやリソースと、クロールしないページやリソースを具体的に指定するものではないため、この解決策を長期的に使用することはおすすめしません。
  • 無限のカレンダーや無限の検索ページなど、「無限」の結果を含むページのクロールを許可しないようにします。こうしたページは robots.txt タグや nofollow タグでブロックしてください。
  • URL が存在しなくなった場合や移動した場合は、正しい応答コードを返すようにしてください。存在しなくなった URL や無効な URL には 404 または 410、別の URL に恒久的に置き換えられた URL には 301(一時的な置き換えの場合は 302)リダイレクト、予定された一時的なダウンタイムには 503 を使用します。サーバーが処理できない問題の場合には 500 エラーを返すようにします。

 

この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。