検索
検索をクリア
検索終了
Google アプリ
メインメニュー

robots.txt 取得エラー

robots.txt 取得エラーとは

Googlebot は、サイトをクロールする前にサイトの robots.txt ファイルにアクセスして、サイトで Google のクローラによる特定のページや URL のクロールがブロックされていないかどうかを確認します。サイトに robots.txt ファイルが存在するがアクセスできない(言い換えれば、HTTP ステータス コード 200 または 404 が返されない)場合は、クロールすべきでない URL をクロールすることにならないよう、クロールを延期します。このような場合、Googlebot は robots.txt ファイルにアクセスできる状態になり次第、サイトのクロールを再開します。ロボット排除プロトコルの詳細

robots.txt ファイル エラーの対処方法

  • robots.txt ファイルは必ず必要というわけではない
    robots.txt ファイルが必要となるのは、サイトに検索エンジンのインデックスに登録したくないコンテンツが含まれる場合のみです。サイトのコンテンツをすべて検索エンジンのインデックスに登録したい場合は、robots.txt ファイルは(空のものでも)必要ありません。robots.txt ファイルが存在しない場合は、Googlebot がこのファイルをリクエストしたときにサーバーから 404 が返されますが、サイトのクロールは続行されます。ご安心ください。
  • Google のクローラが robots.txt ファイルにアクセスできるようにする
    ときに、Google のクローラが robots.txt ファイルにアクセスしようとしたときにサーバーから 5xx(アクセスできません)エラーが返されることがあります。ホスティング プロバイダの方で Googlebot がブロックされていないことを確認してください。ファイアウォールを使用している場合は、ファイアウォールの設定で Google のクローラがブロックされていないことを確認します。
この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。