サイトに対する Googlebot のアクセスをブロックすると、Googlebot はサイト コンテンツのクロールやインデックス登録を行うことができなくなり、Google の検索結果でサイトの掲載順位が下がる場合があります。残念なことに、多くのウェブマスターが意図せずにサイトに対する Googlebot のアクセスをブロックしています。Googlebot は robots.txt ファイルを取得して、この指示に従うにはサイトにアクセスする必要があるため、ウェブマスターはブロックしていることさえ認識していない場合があります。
Google では、この問題を検出した場合に、Googlebot がブロックされていることを通知することがあります。
[インデックス カバレッジ] レポートで、サイトでブロックされたすべてのページを表示したり、URL 検査ツールを使用して特定のページをテストしたりできます。
