robots.txt テスターで robots.txt をテストする

robots.txt テスターツールを使用すると、robots.txt ファイルでサイト内の特定の URL に対して Google のウェブクローラがブロックされているかどうかを確認できます。たとえば、このツールを使用して、Google 画像検索に表示されないようにしたい画像の URL を Googlebot-Image クローラがクロールできるかどうかをテストできます。

 

robots.txt テスターを開く

 

テストするには、robots.txt テスターツールに URL を送信します。ツールが Googlebot と同じように動作することで、robots.txt ファイルをチェックして、URL が適切にブロックされているかどうかを確認します。

robots.txt ファイルをテストする

1. サイトのテスターツールを開き、robots.txt 内のコードをスクロールして、ハイライト表示されている構文に関する警告やロジックエラーを確認します。構文に関する警告やロジックに関するエラーの数がエディタのすぐ下に表示されます。
2. ページの下部にあるテキスト ボックスに、サイト内のページの URL を入力します。
3. テキスト ボックスの右側にあるプルダウン リストで、シミュレーションするユーザーエージェントを選択します。
4. [テスト] ボタンをクリックしてアクセスをテストします。
5. [テスト] ボタンが [許可] に変わるか [ブロック済み] に変わるかを見て、入力した URL に対して Google のウェブクローラがブロックされているかどうかを確認します。
6. 必要に応じて、ページ内のファイルを編集して再度テストします。このページで加えた変更はサイトには保存されません。次の手順をご覧ください。
7. 変更内容をコピーします。このツールは、ツールでホストされているコピー内容をテストすることのみを目的としたものであり、このツールでサイトの実際のファイルを変更することはできません。

robots.txt テスターツールの制約:

• ツールは、URL プレフィックス プロパティでのみ機能します。ドメイン プロパティでは機能しません。
• ツールエディタでの変更内容はウェブサーバーに自動的に保存されるわけではありません。エディタから内容をコピーして、サーバーに保存されている robots.txt ファイルに貼り付ける必要があります。
• robots.txt テスター ツールでは、Google のユーザーエージェントやウェブクローラ（Googlebot など）に関してのみ robots.txt のテストを行います。他のウェブクローラが robots.txt ファイルをどのように解釈するかを予測することはできません。