robots.txt テスターで robots.txt をテストする

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテストできます。

 

robots.txt テスターを開く

 

テストするには、robots.txt テスターツールに URL を送信します。ツールが Googlebot と同じように動作することで、robots.txt ファイルをチェックして、URL が適切にブロックされているかどうかを確認します。

robots.txt ファイルをテストする

  1. サイトのテスターツールを開き、robots.txt 内のコードをスクロールして、ハイライト表示されている構文に関する警告ロジックエラーを確認します。構文に関する警告やロジックに関するエラーの数がエディタのすぐ下に表示されます。
  2. ページの下部にあるテキスト ボックスに、サイト内のページの URL を入力します。
  3. テキスト ボックスの右側にあるプルダウン リストで、シミュレーションするユーザーエージェントを選択します。
  4. [テスト] ボタンをクリックしてアクセスをテストします。
  5. [テスト] ボタンが [許可] に変わるか [ブロック済み] に変わるかを見て、入力した URL に対して Google のウェブクローラがブロックされているかどうかを確認します。
  6. 必要に応じて、ページ内のファイルを編集して再度テストします。このページで加えた変更はサイトには保存されません。次の手順をご覧ください。
  7. 変更内容をコピーします。このツールは、ツールでホストされているコピー内容をテストすることのみを目的としたものであり、このツールでサイトの実際のファイルを変更することはできません。

robots.txt テスターツールの制約:

  • ツールは、URL プレフィックス プロパティでのみ機能します。ドメイン プロパティでは機能しません。
  • ツールエディタでの変更内容はウェブサーバーに自動的に保存されるわけではありません。エディタから内容をコピーして、サーバーに保存されている robots.txt ファイルに貼り付ける必要があります。
  • robots.txt テスター ツールでは、Google のユーザーエージェントやウェブクローラ(Googlebot など)に関してのみ robots.txt のテストを行います。他のウェブクローラが robots.txt ファイルをどのように解釈するかを予測することはできません。
この情報は役に立ちましたか?
改善できる点がありましたらお聞かせください。

さらにサポートが必要な場合

次の手順をお試しください。

true
Search Console へようこそ

Search Console を使うのは初めてですか?完全な初心者の方も、SEO エキスパートの方も、ウェブサイトのデベロッパーの方も、ここから始めましょう。

検索
検索をクリア
検索を終了
Google アプリ
メインメニュー
ヘルプセンターを検索
true
83844
false
false