robots.txt レポートには、サイトの上位 20 個のホストに対して Google が検出した robots.txt ファイル、前回のクロール日、発生した警告やエラーが表示されます。また、急いでいる場合には、レポートから robots.txt ファイルの再クロールをリクエストすることもできます。
このレポートは、ドメインレベルのプロパティでのみご利用いただけます。つまり、対象となるのは次のいずれかです。
- ドメイン プロパティ（example.com や m.example.com など）
- パスが指定されていない URL プレフィックス プロパティ（例: 「https://example.com/」は対象で、「https://example.com/path/」は対象外）
robots.txt ファイルとクロール ステータスを確認する
ドメイン プロパティの場合は、レポートにそのプロパティの上位 20 個のホストに関する robots.txt ファイルが含まれます。
Search Console がチェックした各 robots.txt ファイルについて、次の情報を確認できます。
- ファイルパス - Google が robots.txt ファイルの有無を確認した完全な URL。URL は過去 30 日間のいずれかのタイミングで、取得済みステータスまたは未取得ステータスであった場合にのみ、レポートに表示されます。robots.txt ファイルの場所をご覧ください。
- 取得ステータス - このファイルの最新の取得リクエストのステータス。具体的な表示内容は次のとおりです。
- 未取得 - 見つかりませんでした（404）: このファイルをリクエストしたときに 404 エラー（ファイルが存在しない）が発生しました。リストにある URL に robots.txt ファイルを配置しているにもかかわらずこのエラーが表示される場合は、URL を検査して、可用性に関する問題がないかどうかを確認してください。「見つかりませんでした（404）」というステータスが 30 日間続くと、そのファイルはレポートに表示されなくなります（ただし、引き続きバックグラウンドで確認は行われます）。robots.txt エラーが発生しないのが正常です。その場合、Google はサイトのすべての URL をクロールできます。詳細については robots.txt エラー発生時の Google の動作をご覧ください。
- 未取得 - その他の理由: このファイルをリクエストしたときに、他の問題が発生しました。インデックス登録に関する問題のリストをご覧ください。
- 取得済み: 前回のクロールの試行で、robots.txt ファイルが正常に返されました。ファイルの解析中に見つかった問題は、[問題] 列に表示されます。Google は問題がある行を無視し、解析可能な行を使用します。
- 確認日時 - Google が前回この URL のクロールを試行した日時（現地時間）。
- サイズ - 取得したファイルのサイズ（バイト数）。前回取得できなかった場合は空になります。
- 問題 - 表には、前回取得時にファイル コンテンツの解析で発生した問題の数が表示されます。エラーの場合、ルールは適用されません。警告の場合は適用されます。robots.txt エラー発生時の Google の動作をご確認ください。解析に関する問題を解消するには、robots.txt 検証ツールを使用します。
前回取得されたバージョンを確認する
レポートのファイルリストで robots.txt ファイルをクリックすると、前回取得されたバージョンを確認できます。robots.txt ファイルにエラーや警告が発生している場合は、表示されたファイル コンテンツの該当部分がハイライト表示されます。矢印キーを使用してエラーと警告を切り替えられます。
これまでに取得されたバージョンを確認する
特定の robots.txt ファイルに関して過去 30 日間の取得リクエストを確認するには、レポートのファイルリストで対象のファイルをクリック後、[バージョン] をクリックします。特定のバージョンのファイル コンテンツを表示するには、該当のバージョンをクリックします。取得したファイルまたは取得結果が以前のファイル取得リクエストと異なる場合のみ、リクエストが履歴に追加されます。
Google が前回取得しようとしたときにエラーが発生した場合、最大 30 日間、エラーなしで取得できた最新のバージョンを使用します。
再クロールをリクエストする
エラーを修正した場合、または重要な変更を加えた場合に、robots.txt ファイルの再クロールをリクエストできます。
再クロールをリクエストするタイミング
Google では robots.txt ファイルの再クロールを頻繁に実施しているため、通常は再クロールをリクエストする必要はありません。ただし、次のような場合にはリクエストできます。
- robots.txt ルールを変更して一部の重要な URL のブロックを解除し、それをすぐに Google に通知する必要がある場合（リクエストしてもブロックを解除した URL がすぐに再クロールされるとは限りません）。
- 取得エラーまたはその他の重大なエラーを修正した場合。
再クロールをリクエストする方法
再クロールをリクエストするには、robots ファイルのリストでファイルの横にあるその他アイコン 
ウェブサイト ホスティング サービス上のウェブサイト
ウェブサイトがウェブサイト ホスティング サービスでホストされている場合には、robots.txt ファイルの編集が難しいことがあります。そのような場合は、サイトホストのドキュメントで、特定のページを Google がクロールまたはインデックス登録できないようにブロックする方法をご確認ください（ほとんどのユーザーの関心事は、ファイルが Google にクロールされないようにすることではなく、Google 検索に表示されないようにすることです。Google 検索に表示されないことが目的の場合は、検索エンジンからページをブロックする方法について、ご利用のホスティング サービスの情報をご確認ください）。
Google が robots.txt を取得できない、または読み込めない場合
ドメインまたはサブドメインで robots.txt ファイルが見つからない場合、Google はそのホスト内のすべての URL をクロールしてよいと見なします。
Google が robots.txt ファイルを検出したものの取得できない場合、Google は次のような動作をします。
- 最初の 12 時間はサイトのクロールを停止しますが、robots.txt ファイルについては引き続き取得を試みます。
- 新しいバージョンを取得できなかった場合、30 日間は前回正常に取得できたバージョンを使用しつつ、引き続き新しいバージョンを取得しようとします。前回正常に取得されたバージョンはバージョン履歴で確認できます。
- 30 日間経過後もエラーが解消されない場合は次の動作を実行します。
- サイトが Google に一般公開されている場合、Google は robots.txt ファイルが存在しないものとして動作します（ただし、新しいバージョンの確認は継続します）。
- サイトの一般公開に問題がある場合、Google はサイトのクロールは停止しますが、引き続き定期的に robots.txt ファイルをリクエストします。
Google が robots.txt ファイルを検出して取得できた場合: Google はファイルを 1 行ずつ読み込みます。エラーがある行や、robots.txt ルールの解析ができない行はスキップされます。ファイルに有効な行がない場合、Google は空の robots.txt ファイルとして処理します。つまり、サイトに対するルールが宣言されていないと見なします。
robots.txt ファイルの場所
用語:
- プロトコル（スキームとも呼ばれます）は HTTP または HTTPS です。
- ホストは、URL 内のプロトコル（http:// または https://）からパスまでの部分すべてを指します。つまり、「m.de.example.com」の場合は「m.de.example.com」、「de.example.com」、「example.com」という 3 種類のホストが存在し得るということになり、それぞれで独自の robots.txt ファイルを指定できます。
- オリジンはプロトコルとホストを合わせたものです。たとえば、「https://example.com/」または「https://m.example.co.es/」となります。
RFC 9309 に従い、robots.txt ファイルはサイトのプロトコルとホストの各組み合わせのルートに配置する必要があります。
- Search Console は、クロール頻度順に上位 20 個のホストを選びます。各ドメインについて、レポートには最大 2 つのオリジンが表示されます。つまり、表には最大 40 行が表示されます。いずれかのホストの robots.txt の URL が表示されていない場合は、表示されていないサブドメインのドメイン プロパティを作成してください。
- Search Console は、ホストごとに次の 2 つの URL を確認します。
- http://<ホスト>/robots.txt
- https://<ホスト>/robots.txt
- リクエストされた URL の robots.txt ファイルのステータスが、30 日間「見つかりませんでした」の場合、このレポートにその URL は表示されなくなります。ただし、バックグラウンドで URL の確認は引き続き行われます。それ以外の場合は、レポートに確認された URL が表示されます。
ホストレベルの URL プレフィックス プロパティの場合（https://example.com/ など）、Search Console はそのプロパティの 1 つのオリジンのみを確認します。つまり、プロパティが「https://example.com」の場合、「https://example.com/robots.txt」のみを確認し、「http://example.com/robots.txt」や「https://m.example.com/robots.txt」は確認しません。
一般的なタスク
robots.txt ファイルを確認する
このレポートにリストされた robots.txt ファイルを開くには、robots.txt ファイルのリストで対象のファイルをクリックします。ブラウザでファイルを開くには、[公開中の robots.txt を開く] をクリックします。
ウェブ上の robots.txt ファイルはすべて、ブラウザで開けます。アクセスする URL については以下をご覧ください。
robots.txt ファイルはプロトコルとドメインのルートにあります。URL を確認するには、ファイルの URL のホスト（およびオプションのポート）の後の部分をすべて削除して、「/robots.txt」を追加します。robots.txt ファイルが存在する場合は、ブラウザでアクセスできます。robots.txt ファイルはサブドメインまたは親ドメインに継承されません。また、1 つのページに適用されるのは、1 つの robots.txt ファイルのみです。たとえば次のような例が考えられます。
| ファイルの URL | ファイルに適用できる robots.txt の URL |
|---|---|
| http://example.com/home | http://example.com/robots.txt |
| https://m.de.example.com/some/page/here/mypage | https://m.de.example.com/robots.txt |
| https://example.com?pageid=234#myanchor | https://example.com/robots.txt |
| https://images.example.com/flowers/daffodil.png | https://images.example.com/robots.txt |
ページや画像に適用される robots.txt ファイルを確認する
ページや画像に適用される robots.txt ファイルの URL を確認するには、次の操作を実行します。
- ページまたは画像の正確な URL を確認します。画像の場合は、Google Chrome ブラウザで右クリックし、[画像 URL をコピー] を選択します。
- URL のトップレベル ドメイン（.com、.org、.co.il など）の後の部分を削除して、末尾に「/robots.txt」を追加します。たとえば、「https://images.example.com/flowers/daffodil.png」の robots.txt ファイルは「https://images.example.com/robots.txt」となります。
- ブラウザで URL を開き、その URL が存在することを確認します。ブラウザでファイルを開けない場合、ファイルが存在していません。
Google が robots.txt でブロックされているかどうかをテストする
- 特定の URL が robots.txt ファイルによってブロックされているかどうかをテストする場合は、URL 検査ツールを使用します。
- まだウェブ上にないファイルに対して特定の robots.txt ルールをテストする場合や新しいルールをテストする場合は、サードパーティの robots.txt テスターを使用してください。
詳細情報
- robots.txt ファイルの概要およびその使用目的
- robots.txt ファイルの実装方法