検索
検索をクリア
検索終了
Google アプリ
メインメニュー

クロールエラー レポート(ウェブサイト)

ウェブサイトのクロールエラー レポートには、Google のクローラがクロールできなかったサイト URL や、HTTP エラーコードが返されたサイト URL についての詳細が表示されます。

クロールエラー レポートを開く

 

アプリのクロール ステータス レポートをご覧ください。

 

このレポートは次の 2 つの大きなセクションに分かれています。

  • サイトエラー: 過去 90 日間に Googlebot がサイト全体にアクセスできなかった原因である主な問題が表示されます(ボックスをクリックするとグラフが表示されます)。
     
  • URL エラー: Google のクローラがパソコン向け、スマートフォン向けの個別のページをクロールしようとして検出したエラーの一覧が表示されます。URL エラーのレポートには、Google のクローラがページへのアクセスに使用する各クロール メカニズムに対応したメイン セクションが複数あり、該当する種類のページに固有のエラーが表示されます。

サイトエラーの概要

正常に運営されているサイトでは通常、クロールエラー レポートのサイトエラー セクションにエラーは表示されません(Google がクロールするサイトの大多数が該当します)。Google のクローラが無視できない数のサイトエラーを検出した場合は、サイトの規模にかかわらず、メッセージの形でウェブマスターに通知が送られます。

クロールエラー ページを初めて表示すると、サイトエラー セクションの DNS、サーバー接続、robots.txt の取得という 3 つのエラータイプの横にそれぞれ簡易ステータス コードが表示されているのを確認できます。緑色のチェックマーク以外のコードが表示されている場合は、ボックスをクリックすると過去 90 日間のクロールに関する詳細情報のグラフが表示されます。

エラー率が高い場合

3 つのカテゴリのいずれかでエラー率が 100% と表示されている場合は、サイトが停止しているか、何らかの設定ミスがある可能性が高いといえます。この場合に考えられる原因、調査を検討すべき項目には次のようなものがあります:

  • サイトの再編成を行ったためにサイト内セクションのアクセス許可が変更されていないかどうか。
  • サイトの再編成を行った場合は、外部リンクが引き続き動作するかどうか。
  • 新しいスクリプトがある場合はスクリプト エラーが繰り返し発生してないかどうか。
  • すべてのディレクトリが存在するかどうか、誤って移動されたり削除されたりしていないかどうか。
上記のいずれも当てはまらない場合、エラー率の高さは単に一時的なものか、外部の原因(存在しないページにリンクされたなど)によるものであって、その場合は問題とはいえない可能性もあります。いずれの場合も、サイトで異例の数のエラーが検出された場合は、ウェブマスターが調査できるよう通知が送られます。

エラー率が低い場合

いずれかのカテゴリで 100% 未満のエラー率となっている場合は、単に一時的なものである可能性もありますが、サイトの負荷が過剰になっているか、設定が不適切である可能性もあります。こうした場合は、問題について詳しく調査するか、フォーラムで質問してみてください。全体のエラー率がきわめて低い場合にも通知が送られることがあります。Google のこれまでの経験から、サイトが適切に設定されていればいずれのカテゴリでもエラーが表示されないことがわかっています。

サイトエラーの種類

レポートの [サイト] セクションに表示されるエラー:

DNS エラー

DNS エラーとは

DNS エラーとは、DNS サーバーが停止しているかサイトのドメインへの DNS ルーティングに問題があるために Googlebot が DNS サーバーと通信できない状態です。ほとんどの場合、DNS の警告やエラーが検出されても、そのサイトに Googlebot がアクセスできなくなることはありませんが、待ち時間が長くなって、その結果ユーザーに負担がかかるおそれがあります。

DNS エラーを解決する

  • Google のクローラがサイトをクロールできるようにする
    ホームページなどの重要なページについて Fetch as Google を使用します。ホームページの内容が問題なく返される場合は、Google のクローラがサイトに問題なくアクセスできると考えられます。
  • DNS エラーが継続する、または繰り返し発生する場合は、ご利用の DNS プロバイダにご確認ください
    多くの場合、DNS サービスとウェブ ホスティング サービスは同じプロバイダが行います。
  • 存在しないホスト名に対して 404 や 500 などの HTTP エラーコードを返すようにサーバーを設定する
    たとえば example.com というウェブサイトで、ワイルドカード DNS の設定を使って foo.example.commade-up-name.example.com のようなサブドメインのリクエストに応答するように設定できます。この方法は、サイトでユーザー生成コンテンツを作成するユーザーに独自のドメイン(http://username.example.com)を付与している場合に便利です。ただし、場合によってはこのような設定によりコンテンツが複数のホスト名に不必要に複製され、Googlebot のクロールにも影響が及ぶことがあります。

DNS エラーの一覧

エラータイプ 説明
DNS タイムアウト

DNS サーバーがリクエストに適時に応答しなかったため、Google がサイトにアクセスできませんでした。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

レジストラをチェックして、サイトが正しく設定されているかどうかと、サーバーがインターネットに接続されているかどうかを確認してください。

DNS ルックアップ

DNS サーバーがホスト名(www.example.com など)を認識しなかったため、Google からサイトにアクセスできませんでした。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

レジストラをチェックして、サイトが正しく設定されているかどうかと、サーバーがインターネットに接続されているかどうかを確認してください。

サーバーエラー

サーバーエラーとは

サイトの URL についてこの種のエラーが表示される場合、Googlebot が URL にアクセスできなかったか、リクエストがタイムアウトになったか、サイトがビジー状態だったかのいずれかです。そのため、Googlebot はリクエストを中止せざるを得ませんでした。

サーバー接続エラーを解決する

  • 動的ページへのリクエストに伴う過剰なページ読み込みを減らす
    複数の URL に対して同じコンテンツを配信するサイトは、コンテンツを動的に配信するとみなされます(たとえば、www.example.com/shoes.php?color=red&size=7www.example.com/shoes.php?size=7&color=red と同じコンテンツを配信します)。動的ページは応答に時間がかかるため、タイムアウトの原因になることがあります。または、サーバーから過負荷のステータスが返され、Googlebot がクロール速度を落とすよう求められることもあります。原則として、パラメータは短くし、使用する数を少なくすることをおすすめします。サイトでのパラメータの動作を十分に把握できる場合は、パラメータの処理方法について Google に知らせることができます。
  • ホスティング サーバーの停止、過負荷、設定ミスがないかどうかを確認する
    上記を行っても、接続、タイムアウト、または応答の問題が解決しない場合は、ウェブ ホスティング プロバイダに相談して、サイトのトラフィック処理能力の増強を検討します。
  • Google のクローラを誤ってブロックしていないかどうか確認する
    DNS 設定の問題、ファイアウォールや DoS 対策保護システムの設定ミス、コンテンツ管理システムの設定といったシステム単位の問題が原因で Google のクローラがブロックされることがあります。保護システムは優れたホスティングを実現する重要な要素ですが、多くの場合、異例の大量のサーバー リクエストを自動的にブロックするように設定されています。ところが Googlebot は人間のユーザーよりも大量にリクエストすることが多いため、このような保護システムが作動して、ウェブサイトに対する Googlebot のクロールがブロックされる場合があります。こうした問題を解決するには、ウェブサイトのインフラストラクチャのどの部分が Googlebot をブロックしているかを判断し、ブロックを解除します。ファイアウォールの設定を変更する権限がない場合は、ホスティング プロバイダなどへの相談が必要になります。
  • 検索エンジンによるサイトのクロールとインデックス登録を適切に管理する
    場合によっては、前述のようにファイアウォールを使用するなどにより、ウェブマスターが意図的に Googlebot のウェブサイトへのアクセスを阻止することがあります。このような場合の目的は通常、Googlebot を全面的にブロックすることではなく、サイトのクロールとインデックス登録の方法を管理することです。その場合は、次の点を確認します。 サイトに対する Googlebot のクロール頻度を変更したい場合は、Googlebot のクロール速度の変更をリクエストできます。ホスティング プロバイダは、IP アドレスの所有権も確認できます。

サーバー接続エラー

エラータイプ 説明
タイムアウト

リクエストの待機中にサーバーがタイムアウトしました。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

ヘッダーが途切れました

Google クローラはサーバーに接続できましたが、ヘッダーが完全に送信される前に、サーバーが接続を切断しました。後でもう一度確認してください。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

接続がリセットされました

サーバーは Google のリクエストを正常に処理しましたが、サーバーとの接続がリセットされたため、コンテンツが返されていません。後でもう一度確認してください。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

応答が途切れました

Google が応答を完全に受信する前に、サーバーが接続を切断したため、応答のボディの一部が切り捨てられたようです。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

接続が拒否されました

サーバーが接続を拒否したため、Google からサイトにアクセスできませんでした。ホスティング プロバイダが Googlebot をブロックしているか、ファイアウォールの設定に問題がある可能性があります。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

接続に失敗しました

ネットワークがアクセス不能かダウンしているため、Google からサーバーに接続できませんでした。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合、サイトは基本的に Google から正常にアクセス可能と考えることができます。

接続タイムアウト

Google からサーバーに接続できませんでした。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合は、サイトは基本的に Googlebot から正常にアクセス可能と考えることができます。

サーバーがインターネットに接続されているかどうかを確認してください。サーバーが過負荷になっているか、設定が間違っている可能性もあります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

応答がありません

Google からサーバーに接続できましたが、サーバーがデータを送信する前に接続が切断されました。

Fetch as Google を使用すると、現在 Googlebot がサイトをクロールできるかどうかを確認できます。Fetch as Google を実行して、ホームページのコンテンツが問題なく返される場合は、サイトは基本的に Googlebot から正常にアクセス可能と考えることができます。

サーバーが過負荷になっているか、設定が間違っている可能性があります。この問題が解決しない場合は、ホスティング プロバイダにお問い合わせください。

robots.txt エラー

robots.txt エラーとは

サイトの robots.txt ファイルの取得中に発生するエラーです。Googlebot はサイトをクロールする前と、その後 1 日 1 回程度、robots.txt ファイルを取得して、クロールしてはならないページを確認します。robots.txt ファイルが存在するのにアクセスできない(つまり、200 や 404 の HTTP ステータス コードが返されない)場合、Google は、クロールすべきでない URL をクロールしないように、クロールを延期します。このような場合、Googlebot は robots.txt ファイルにアクセスできる状態になり次第、サイトのクロールを再開します。ロボット排除プロトコルの詳細をご確認ください。

robots.txt ファイルに関するエラーを解決する

  • robots.txt ファイルは必ずしも必要ではない
    robots.txt ファイルが必要なのは、検索エンジンのインデックスに登録したくないコンテンツがサイトに含まれる場合のみです。サイトのコンテンツをすべて検索エンジンのインデックスに登録する場合は、robots.txt ファイルは(空のものでも)必要ありません。robots.txt ファイルが存在しない場合、Googlebot がこのファイルをリクエストしたときにサーバーから 404 が返されますが、サイトのクロールは続行されます。ご安心ください。
  • Google のクローラが robots.txt ファイルに確実にアクセスできるようにする
    Google のクローラが robots.txt ファイルにアクセスしようとしたときにサーバーから 5xx(アクセスできません)エラーが返されることがあります。ご利用のホスティング プロバイダで Googlebot がブロックされていないかどうか確認してください。ファイアウォールを使用している場合は、ファイアウォールの設定で Google のクローラをブロックしていないかどうかを確認します。

URL エラーの概要

URL エラーのセクションは、カテゴリに分かれており、各カテゴリに該当する URL エラーの上位 1,000 件が表示されます。このセクションに表示されるエラーすべてについて対処が必要というわけではありませんが、このセクションを定期的にチェックして、ユーザーのサイトの利用や Google のクローラの動作を妨げるおそれのあるエラーがないかどうか確認することが重要です。エラーの数やその URL を参照しているページの数といった要素に基づき重要と判定された問題が上位に表示され、確認しやすくなっています。特に次の点を検討することをおすすめします。

  • 重要な URL の「見つかりません」というエラーを 301 リダイレクトで解決する: 「見つかりません(404)」エラーは正常な動作です。ただし、他のサイトからリンクされている重要なページ、サイトマップに指定した後に削除した古い URL、重要なページの URL のスペルミス、現在はサイトに存在しない人気のあったページの URL などの場合は、エラーに対処することをおすすめします。対処することで、重要な情報が Google のクローラやユーザーからアクセスしやすくなります。
  • サイトマップを更新する: サイトマップから古い URL を削除します。古いサイトマップを新しいサイトマップに差し替える場合は、新しいサイトマップにリダイレクトするのでなく、古いサイトマップを削除します。
  • リダイレクトを整理して短くする: いくつもの URL に連続してリダイレクトされる(例: ページ A > ページ B > ページ C > ページ D)と、Googlebot がリダイレクトをたどって解釈するのが困難になることがあります。「ジャンプ」の数をできるだけ少なくします。詳しくは、クロールを完了できませんでしたをご覧ください。

URL エラーの詳細情報を表示する

URL エラーを表示するにはさまざまな方法があります。

  • [ダウンロード] をクリックすると、そのクローラタイプ(パソコン向け、スマートフォン向けなど)に該当するエラーの上位 1,000 件のリストを取得できます。
  • 表の上のフィルタを使用して、特定の条件に合う URL を探すことができます。
  • 個々の URL またはアプリ URI からリンクをたどってエラーの詳細を見ることができます。
パソコンまたはスマートフォン向けの URL エラーの詳細には、エラーのステータス情報、その URL を参照しているページのリスト、Fetch as Google へのリンクが表示され、その URL の問題をトラブルシューティングできます。

URL エラーを修正済みとする

特定のアイテムのエラーの原因となっていた問題に対処したら、以後その問題がリストに表示されないようにすることができます。非表示の設定は問題ごとに行うことも、複数の問題について一括で行うこともできます。URL の横にあるチェックボックスをオンにして、[修正済みとする] をクリックします。リストから URL が削除されます。ただし、この機能はユーザーの利便性のためにのみ提供されているものです。Google のクローラが次回のクロール時に同じエラーを検出した場合は、URL は次回のクロールより再びリストに表示されるようになります。

URL エラーのタイプ

一般的な URL エラー
エラータイプ 説明
サーバーエラー

サイトの URL についてこの種のエラーが表示される場合、Googlebot が URL にアクセスできなかったか、リクエストがタイムアウトになったか、サイトがビジー状態だったかのいずれかです。そのため、Googlebot はリクエストを中止せざるを得ませんでした。

詳しくは、サーバー接続エラーをご覧ください。

ソフト 404

サイト内に存在しないページへのリクエストがあると、通常ウェブサーバーは 404(見つかりません)エラーを返します。この HTTP レスポンス コードにより、ページが存在しないことがブラウザや検索エンジンに明示されます。その結果、ページのコンテンツが存在する場合でも、検索エンジンからクロールされず、インデックスにも登録されません。

ソフト 404 エラーとは、サイト内に実際には存在しない URL について、なんらかのページがサーバーから返されることをいいます。一般に、間違っている URL や存在しない URL をサーバーが「問題ない」ものとして処理し、ユーザーを有効なページ(ホームページや「独自の」404 ページなど)にリダイレクトする場合がこれに該当します。

これが問題なのは、検索エンジンがサイト内の存在しない(多くの場合重複する)URL のクロールとインデックス登録に多くの時間を費やすことになるからです。Googlebot が存在しないページに時間を費やして、意味のある固有の URL が迅速に検出されなかったり頻繁にアクセスされなかったりするので、サイトのクロールが不十分になるおそれがあります。

ページが完全になくなっており、代わりのページがない場合、存在しないページへのリクエストに対しては、常に 404(見つかりません)または 410(存在しません)のいずれかを返すようにサーバーを設定することをおすすめします。404 レスポンス コードを返す際に独自の 404 ページを使用すると、ユーザーの利便性を高めることができます。たとえば、特に人気のあるページの一覧、ホームページへのリンク、またはフィードバック リンクが記載されたページを作成することが考えられます。ただし、404 メッセージを表示するページを作成するだけでは不十分です。404 または 410 HTTP レスポンス コードを正しく返すことも必要です。

404

Googlebot がサイトに存在しない URL をリクエストしました。

404 エラーを修正する

404 エラーのほとんどは、そのサイトの Google 検索結果でのランキングに影響を及ぼすことはないため、エラーを無視しても問題はありません。このエラーの一般的な原因としては、スペルミスやサイトの設定の誤り、Google が JavaScript のような埋め込みコンテンツの中のリンクを認識してクロールしようとしてエラーが発生することもあります。404 エラーの調査と修正については、次の点を検討することをおすすめします。

  1. 修正の必要があるかを判断します。 多くの(ほとんどの)404 エラーは修正しなくても問題はありません。404 エラーを優先度が高い順に並べ替え、修正の必要があるエラーを修正します。404 エラーはサイトのインデックス登録やランキングに影響を及ぼすことはないため、他のエラーは無視しても問題はありません。
    • ページが削除されており、代わりのページや同じようなページがない場合は、404 を返すようにしてください。
    • スクリプトが生成した無効な URL や、サイトに存在したことがない URL の場合、特に問題はありません。レポートには表示されますが、URL のスペルが間違っていない限り修正する必要はありません(下記参照)。
  2. 無効なリンクが公開されている場所を確認します。 URL をクリックして、[これらのページからのリンク] 情報を確認します。リンクがご自分のサイトからのリンクか、他のサイトからのリンクかで修正するかどうかを決めてください。
    1. 存在しないページへのご自分のサイトからのリンクを修正するか、必要に応じて削除します。
      • コンテンツを移動した場合は、リダイレクトを追加します。
      • 新しいコンテンツに置き換えるのではなく、コンテンツを完全に削除した場合は、元の URL から 404 または 410 を返すようにします。現在のところ Google では、410(存在しません)を 404(見つかりません)と同じものとして扱っています。存在しないページについて 404 か 410 以外のコードを返す(または 404 を返す代わりにホームページなど他のページにリダイレクトする)と、問題となる可能性があります。そのようなページはソフト 404 エラーと呼ばれ、ユーザーにとっても検索エンジンにとっても混乱の原因となるおそれがあります。
      • URL が不明な場合は、サイトに存在したことのない URL に対して 404 エラーが表示されることがあります。そのような予期しない URL は、Googlebot が JavaScript、Flash ファイル、他の埋め込みコンテンツの中で検出されたリンクをたどろうとしたために生成されたか、サイトマップに存在している可能性があります。たとえば、Google アナリティクスでファイルのダウンロードをトラッキングするためにサイトで次のようなコードを使用している可能性があります。
        <a href="helloworld.pdf"
          onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
          Hello World PDF</a>

        Googlebot はこのコードを見ると、実在するページでなくても、URL http://www.example.com/download-helloworld をクロールしようとすることがあります。その場合に、このリンクが 404(見つかりません)エラーとして [クロールエラー] レポートに表示されます。Google ではこの種類のクロールエラーの防止に努めています。このエラーがサイトのクロールやランキングに影響を及ぼすことはありません。

    2. スペルミスがある他のサイトからのリンクを 301 リダイレクトで修正します。たとえば、誰かがサイトにリンクする際に正規の URL のスペルを誤った(www.example.com/redshoes ではなく www.example.com/redshoos とした)だけで、エラーが発生します。そのような場合は、正しい URL への 301 リダイレクトを作成して、サーバーの設定にそのスペルミスのある URL を登録することができます。また、間違ったリンクのあるサイトのウェブマスターに連絡して、リンクの更新か削除を依頼することもできます。
  3. 他のエラーは無視します。 エラーのある URL をブロックするために、ダミー コンテンツの作成、ホームページへのリダイレクト、robot.txt の使用はしないでください。サイトの構造を把握して適切に処理できなくなりますのでご注意ください。このようなエラーをソフト 404 エラーといいます。クロールエラー レポートで [この問題は修正済み] をクリックしても、一時的に 404 エラーが非表示になるだけで、次回 Google が URL をクロールしようとしたときに再度エラーが表示されます(Google が URL のクロールを完了すると、その URL をその後もずっとクロールしようとすることがあります。300 レベルのリダイレクトを使用するとクロールの再試行が遅れ、場合によっては遅れが長期間に及ぶこともあります)。
アクセスが拒否されました

原則として Google は、あるページから別のページへのリンクをたどることによってコンテンツを検出します。ページをクロールするには、Googlebot がそのページにアクセスできることが必要です。予期しないアクセス拒否のエラーが発生する場合は、次のような原因が考えられます。

  • サイトのコンテンツの全部または一部の閲覧にユーザーのログインが必要となっているため、Googlebot がサイトの URL にアクセスできなかった。
  • サイトの robots.txt ファイルによって、Google のクローラによるサイト全体または個々の URL やディレクトリへのアクセスがブロックされている。
  • プロキシを使用したユーザー認証をサーバーから求められるか、ホスティング プロバイダで Google のクローラによるサイトへのアクセスがブロックされている。

解決方法:

  • サイトの robots.txt が想定どおりに機能しているかどうか、Google のアクセスをブロックしていないかどうかをテストします。robots.txt のテストツールを使用すると、robots.txt ファイルの内容が Googlebot によって実際にどのように解釈されるかがわかります。Google のユーザーエージェントは Googlebot です。
  • Fetch as Google を使用して、サイトが Google からどのように認識されるかを確認します。このツールは、サイトのコンテンツや検索結果への表示の問題のトラブルシューティングを行う場合にとても便利です。
クロールを完了できませんでした

「クロールを完了できませんでした」エラーには、Google のクローラが完全にはたどることができなかった URL と、その理由に関する情報の一覧が表示されます。Googlebot がサイト上の URL をたどることができない理由としては、次のようなものがあります:

Flash、JavaScript、アクティブなコンテンツ

JavaScript、Cookie、セッション ID、フレーム、DHTML、Flash などの機能が使用されていると、検索エンジンによるサイトのクロールが困難になることがあります。次の点を確認してください:

  • Lynx などのテキスト ブラウザを使用してサイトを確認します。ほとんどの検索エンジンでは、Lynx に表示される形式でサイトが認識されます。JavaScript、Cookie、セッション ID、フレーム、DHTML、Flash などの機能が使用されているためにサイトの一部がテキスト ブラウザで表示されない場合は、検索エンジン スパイダーがサイトを正常にクロールできない可能性があります。
  • Fetch as Google を使用して、サイトが Google からどのように認識されるかを確認します。
  • 動的なページ(たとえば、URL に「?」が含まれているページ)を使用する場合は、すべての検索エンジン スパイダーが動的ページと静的ページをクロールするとは限らないことにご注意ください。原則として、パラメータは短くし、使用する数を少なくすることをおすすめします。サイトでのパラメータの動作を十分に把握できている場合は、パラメータの処理方法について Google に知らせることができます。

リダイレクト

  • あるページから別のページへのリダイレクトが恒久的なものである場合は、適切な HTTP ステータス コード(301 恒久的な移動)が返されるかどうかを確認してください。
  • できるだけ相対リンクではなく絶対リンクを使用します(たとえばサイト内の別のページにリンクする場合、リンク先を mypage.html ではなく www.example.com/mypage.html とします)。
  • サイト上のページそれぞれに、少なくとも 1 つの静的テキストリンクから到達可能になるように心がけます。原則として、あるページから別のページへのリンクをたどるのに必要なリダイレクトの数は最小限に抑えてください。
  • リダイレクト先が適切なページかどうかを確認します。リダイレクト先が自分自身であるもの(ループエラーの原因となります)や無効な URL であるものが見つかることがあります。
  • リダイレクトされる URL をサイトマップに入れないようにします。
  • URL はできる限り短くします。リダイレクト URL にセッション ID などの情報が自動的に付加されないようにします。
  • 検索ロボットがサイト内の移動経路を追跡するための引数やセッション ID を取り込まずにサイトをクロールできるようにします。
DNS エラー

URL についてこのエラーが表示されるのは、Googlebot が DNS サーバーと通信できなかった場合や、サーバーにサイトのエントリがなかった場合です。

詳しくは DNS エラーをご覧ください。

モバイル向けのみでの URL エラー(スマートフォン)
エラー 説明
間違ったリダイレクト

間違ったリダイレクト」エラーは [クロール] > [クロールエラー] ページの [URL エラー] の [スマートフォン] タブに表示されます。

パソコン向けのサイトとスマートフォン向けのサイトで URL が異なり、スマートフォン ユーザーをモバイルサイト(例: m.example.com)にリダイレクトするようパソコン向けページを設定しているウェブサイトが多くなっています。間違ったリダイレクトは、スマートフォンのユーザーをパソコン向けのページから関連のないスマートフォン向けのページに誤ってリダイレクトしてしまう場合に発生します。典型的なのは、すべてのパソコン向けページから、スマートフォン向けに最適化されたサイトのホームページにスマートフォン ユーザーをリダイレクトしているケースです。次の画像では、間違ったリダイレクトを赤の矢印で示しています。


このようなリダイレクトによって作業の流れが中断されると、ユーザーがサイトの使用を中止して別のサイトに移動してしまう可能性が高くなります。

モバイル フレンドリーの検索環境を実現し、間違ったリダイレクトを防止するためのおすすめの方法を以下に紹介します。

  • 自分のスマートフォンで数回検索(またはスマートフォンのように動作するようブラウザを設定)して、サイトがどのように動作するかを確認します。
  • レポートで提供されている URL のサンプルを作業の開始場所として利用し、サーバーの設定に問題がある場所を正確に特定してデバッグします。
  • スマートフォン ユーザーがスマートフォン サイトの対応する URL にリダイレクトされるようにサーバーを設定します。
  • サイトのページにスマートフォン向けの対応するページがない場合は、ユーザーをスマートフォン サイトのホームページにリダイレクトするのではなく、パソコン用ページにとどめておきます。このような場合は間違った動作をするよりも何もしない方が無難です。
  • レスポンシブ ウェブデザインの利用を検討してください。パソコン ユーザーにもスマートフォン ユーザーにも同じコンテンツが提供されます。
  • 最後に、パソコン向けとスマートフォン向けに別々の URL を使用するためのおすすめの方法をご覧ください。
URL がスマートフォンではブロックされています

「ブロック」エラーは [クロール] > [クロールエラー] ページの [URL エラー] にある [スマートフォン] タブに表示されます。サイト上の URL で「ブロック」エラーが発生した場合、その URL について、サイトの robots.txt ファイルで Google のスマートフォン用 Googlebot がブロックされていることを示しています。

これは、必ずしもスマートフォン固有のエラーではありません(たとえば、対応するパソコン向けページもブロックされている可能性があります)。ただし、このエラーが発生した場合は、スマートフォン向け URL のクロールが行えるように robots.txt ファイルの変更が必要になることがよくあります。スマートフォン向け URL がブロックされていると、モバイル向けページをクロールできなくなり、そのため、該当ページが検索結果に表示されない可能性があります。

サイト上の URL でスマートフォン クロールの「ブロック」エラーが発生した場合は、サイトの robots.txt ファイルを調べ、サイトの一部を間違えてブロックしてスマートフォン用 Googlebot がクロールできない状況がないかどうかを確認します。

詳しくは、推奨事項の詳細をご覧ください。

Flash コンテンツ

[スマートフォン] タブにある [クロール] > [クロール エラー] ページの [URL エラー] には、[Flash コンテンツ] のエラーが表示されます。

Google のアルゴリズムより、主に Flash でレンダリングされるコンテンツを含む URL がこのセクションに一覧表示されます。iOS や Android 4.1 以降では Flash をサポートしていないため、多くの端末ではこのようなページはレンダリングされません。

サイトにレスポンシブ ウェブデザインを使用して、モバイルでのウェブサイト エクスペリエンスを向上させることをおすすめします。レスポンシブ ウェブデザインは、すべての端末に対応する、検索と相性の良いサイトを作成するための手法として、Google がおすすめするものです。レスポンシブ ウェブデザインについて詳しくはウェブの基礎をご覧ください。このリソースでは、複数の端末に対応するウェブの開発について包括的に解説しています。

どのような方法でこの問題を解決した場合も、必ずサイトのすべてのアセット(CSS、JavaScript、画像)への Googlebot によるアクセスを許可するようにしてください。また、これらのアセットを robots.txt などでブロックしないようにしてください。Google のアルゴリズムでサイトのデザイン設定を検出して適切に処理するには、こうした外部ファイルのすべてが必要となります。Search Console の Fetch as Google 機能を使用すると、Google のインデックス登録アルゴリズムがサイトにアクセスできるかどうかを確認できます。

ニュース固有のエラー

 

Google ニュース固有のエラーレポートを表示するには、ニュースメディアの担当者がサイトを Google ニュースに登録し、Search Console アカウントを作成してアカウントにサイトを追加している必要があります。この手順を完了したら、Search Console で次の手順を行います。

  • [ホーム] ページでサイトの URL をクリックします。
  • [ダッシュボード] で [クロール] > [クロールエラー] の順にクリックします。
  • [ニュース] タブをクリックすると、ニュース コンテンツのクロール エラーが表示されます。
  • クロールエラーは [記事の抽出] や [タイトルエラー] などのカテゴリに分類されて表示されます。いずれかのカテゴリをクリックすると、対象の URL とその URL で発生しているクロールエラーの一覧が表示されます。
注: ニュース インデックスはコンピュータ アルゴリズムにより編集されています。できる限り多くのコンテンツが掲載されるよう努めておりますが、すべての記事の掲載は保証されません。ご理解のほどよろしくお願いいたします。
エラー 説明
記事が過度に短く、不適切です

HTML ページから抽出した記事の本文が、ページ内の他のリンクなしテキスト部分に比べて短すぎます。ページの内容がニュース記事全文ではなく、ニュースの要約やマルチメディア コンテンツである場合は、ほとんどがこのエラーの対象となります。Google では不適切なテキストの登録を避けるために、このエラーを生成しています。

推奨される解決方法

この問題の原因として多いものは次のとおりです。

  • 関連記事の抜粋が多すぎる - 記事が抽出しやすくなるように、抜粋のテキストをクリック可能にすることを検討してください。
  • 「この記事を友人に送る」などの機能と長い説明がある - 「display:none」や「visibility:hidden」などのスタイルを設定してテキストを非表示にするか、JavasScript を使用して動的に HTML コードを記述することを検討してください。
  • ユーザー コメント - コメントを iframe で囲むか、AJAX で動的に取得するか、隣接ページに移動することを検討してください。
記事が断片化しています

HTML ページから抽出した記事の本文が、段落にまとめられていない単独の文だけで構成されています。Google では不適切なテキストの登録を避けるために、このエラーを生成しています。

推奨される解決方法

  • 各段落が複数の文で構成されているどうかを確認します。
  • 適切な箇所で句読点を使って文を区切るようにします。
  • 段落内で <br> タグや <p> タグを使いすぎないようにします。また、記事の本文をなるべく分割しないようにします。
  • 記事以外のテキストを記事ページから削除することを検討します。
記事が長すぎます

HTML ページから抽出した記事の本文が、ニュース記事としては長すぎます。Google では不適切なテキストの登録を避けるために、このエラーを生成しています。この問題は、記事の後にユーザーからの投稿コメントが含まれる場合や、HTML のレイアウトにニュース記事以外の内容が含まれる場合に発生することがよくあります。

推奨される解決方法

記事以外のテキストを記事ページから削除することを検討します。記事ページにユーザー コメントが含まれている場合は、次のいずれかの方法を検討してくださ。

  • コメントを iFrame 内に入れる。
  • コメントを AJAX で動的に取得する。
  • コメントの一部を隣接ページに移動する。
記事が短すぎます

HTML ページから抽出した記事の本文に含まれる語数が、ニュース記事としては少なすぎます。ページの内容がニュース記事全文ではなく、ニュースの要約やマルチメディア コンテンツである場合は、ほとんどがこのエラーの対象となります。Google では不適切なテキストの登録を避けるために、このエラーを生成しています。

推奨される解決方法

  • 複数の文を含む段落で記事を構成するように心がけます。記事の本文に含まれている語数がニュース記事として少なすぎる場合、Google ニュースに掲載できません。
  • 記事の量が 80 語以下にならないようにします。
日付が見つかりません

記事の公開日を判別できませんでした。

推奨される解決方法

次の推奨日付形式で日付を指定します。

  • 各記事のタイトルと記事の本文の間に、独立した HTML 行として、その記事の明確な日付と時刻を入れます。この日付には、記事が最初に公開された日を指定してください。
  • 記事ページの HTML から公開日以外の日付を削除します。クローラが誤って他の日付を公開日と認識するのを回避するためです。
  • date メタタグを使用する場合は、事前に Google にお問い合わせください。date メタタグは、<meta name="DC.date.issued" content="YYYY-MM-DD"> 形式で指定する必要があります。日付は W3C が定めた形式(リンク先は英語)の、「完全な日付」(YYYY-MM-DD)または「完全な日付、時、分、秒」(YYYY-MM-DDThh:mm:ssTZD)を使用し、タイムゾーン表示を付けます。
  • ニュース サイトマップを作成します。<publication_date> タグを使用すると、記事の正しい日付が確実に取得されるようになります。
日付が古すぎます

この記事の日付(サイトマップの <publication_date> タグから、またはページの HTML 自体に含まれている日付から Google が判断した日付)が古すぎます。

推奨される解決方法

  • 記事を過去 2 日以内のものにします。現在のところ、Google ニュースでは過去 2 日以内の記事のみが収集されます。
  • 上記の推奨日付形式で日付を指定してください。
記事が見つかりません

HTML ページから抽出した記事に本文がありません。

推奨される解決方法

  • 記事の本文全体を記事ページのソースコードに入れ、JavaScript ファイルやインラインフレームなどに埋め込まないようにします。
  • 記事のソースコード内で「display:none」や「visibility:hidden」といったスタイルを使用しないようにします。
  • 記事へのリンクをクリックしたときに、JavaScript リダイレクトを使用した中間ページではなく、記事ページに直接アクセスできるようにします。
抽出できませんでした

ページから記事を抽出できませんでした。抽出に失敗するのは、記事の有効なタイトル、本文、タイムスタンプを特定できなかった場合です。一部の記事が Google ニュースに表示されない理由に関する情報が得られるように、このエラーのある URL が一覧表示されるようになっています。

推奨される解決方法

  • 画像ではなくテキストにするなどして、タイトル、本文、タイムスタンプを簡単にクロールできるようにします。ただし現時点では、このエラー メッセージは主に情報提供目的で表示されます。今後このエラーの発生を抑えられるよう、抽出方法の改良を進めております。
  • ニュース サイトマップを送信します。
文章がありません

HTML ページから抽出した記事の本文に、句読点で区切られた、連続した単語による文字列が含まれていません。Google では不適切なテキストの登録を避けるために、このエラーを生成しています。

推奨される解決方法

  • 句読点で区切られた、連続した単語による文字列が記事コンテンツに含まれていない場合は、Google ニュースに掲載できません。記事の本文を文で構成するようにし、段落内で頻繁に <br> タグや <p> タグを使用しないようにします。
  • 記事の本文全体を記事ページのソースコードに入れ、JavaScript ファイルなどに埋め込まないようにします。
  • 記事へのリンクをクリックしたときに、JavaScript リダイレクトを使用した中間ページではなく、記事ページに直接アクセスできるようにします。
サイト外へのリダイレクト

セクションまたは記事ページから、別のドメインの URL にリダイレクトされています。

推奨される解決方法

  • すべてのセクション ページと記事を Google ニュースに登録されているサイトのドメイン内に置くようにします。
  • サイト外でのリダイレクトを使用した覚えがない場合は、サイトが第三者によって改変されていないことを確認してください。詳しくは、ハッキングされたサイトについての記事をご覧ください。
ページが大きすぎます

セクションまたは記事ページの長さが所定の上限を超えています。

推奨される解決方法

  • ソースとなる HTML ページのサイズを 256 KB 以下にします。
許可されていないタイトルです

HTML ページから抽出したタイトルから、ニュース記事ではないと判断しました。

推奨される解決方法

  • 多くの場合、HTML ページの <title> タグに記事のタイトルを設定し、<h1> タグなどの HTML ページの目立つ場所にタイトルを再度指定することで、この問題を解決できます。詳しくは、記事タイトルに関する記事をご覧ください。
タイトルが見つかりません

HTML ページから記事のタイトルを抽出できませんでした。

推奨される解決方法

  • Google の推奨するタイトル形式でタイトルを指定します。
  • 記事が携帯端末でも正しく表示されるようにするには、タイトルのアンカー テキストの先頭に数字を付けないようにしてください(アクセスキーに該当する場合があります)。
解凍に失敗しました

Googlebot-News はページが圧縮されていることを検知しましたが、解凍できませんでした。このエラーは、ネットワークの状態が不安定であることや、ウェブサーバーのプログラミングや設定に問題があることが原因となります。

推奨される解決方法

  • ネットワークやウェブサーバーの状態を確認します。
サポートされていないコンテンツ タイプです

Google ニュースでサポートされていない HTTP content-type がページに含まれています。

推奨される解決方法

  • 記事の content-type を text/html、text/plain、application/xhtml+xml のいずれかにします。
この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。