検索
検索をクリア
検索終了
Google アプリ
メインメニュー

robots.txt を使用して URL をブロックする

robots.txt テスターで robots.txt をテストする

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテストできます。

 

robots.txt テスターを開く

 

テストするには、robots.txt テスターツールに URL を送信します。ツールが Googlebot と同じように動作することで、robots.txt ファイルをチェックして、URL が適切にブロックされているかどうかを確認します。

robots.txt ファイルをテストする

  1. サイトのテスターツールを開き、robots.txt 内のコードをスクロールして、ハイライト表示されている構文に関する警告ロジックエラーを確認します。構文に関する警告やロジックに関するエラーの数がエディタのすぐ下に表示されます。
  2. ページの下部にあるテキスト ボックスに、サイト内のページの URL を入力します。
  3. テキスト ボックスの右側にあるプルダウン リストで、シミュレーションするユーザーエージェントを選択します。
  4. [テスト] ボタンをクリックしてアクセスをテストします。
  5. [テスト] ボタンが [許可] に変わるか [ブロック済み] に変わるかを見て、入力した URL に対して Google のウェブクローラがブロックされているかどうかを確認します。
  6. 必要に応じて、ページ内のファイルを編集して再度テストします。このページで加えた変更はサイトには保存されません。 次の手順をご覧ください。
  7. 変更内容をサイトの robots.txt ファイルにコピーします。このツールは、ツールでホストされているコピー内容をテストすることのみを目的としたものであり、このツールでサイトの実際のファイルを変更することはできません。

robots.txt テスターツールの制約:

  • ツールエディタでの変更内容はウェブサーバーに自動的に保存されるわけではありません。エディタから内容をコピーして、サーバーに保存されている robots.txt ファイルに貼り付ける必要があります。
  • robots.txt テスター ツールでは、Google のユーザーエージェントやウェブクローラ(Googlebot など)に関してのみ robots.txt のテストを行います。他のウェブクローラが robots.txt ファイルをどのように解釈するかを予測することはできません。
この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。