クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。コンテンツ クローラは、関連性の高い広告を配信する目的でサイトにアクセスしてコンテンツを判定します。
コンテンツ クローラに関する重要事項は次のとおりです。
- クローラ レポートの更新は週 1 回です。
クロールは自動的に実行されるため、頻度を増やすご要望にお応えすることはできません。 - コンテンツ クローラは Google クローラとは異なります。
これら 2 つのクローラは別個のものですが、キャッシュを共有しています。これにより、2 つのクローラが同じページをリクエストする事態を防ぎ、サイトの帯域幅を節約できます。同様に、Search Console クローラも別個のクローラです。 - コンテンツ クローラの問題を解決しても、Google クロールの問題の解決にはなりません。
[クローラ アクセス] ページに表示される問題を解決しても、Google 検索の検索結果での掲載順位は変化しません。Google でのサイトのランキングの詳細については、Google の検索結果にサイトを表示させる方法に関する AdSense の記事をご覧ください。 - クローラは URL 単位でインデックスを登録します。
Google のクローラは、site.com と www.site.com には別々にアクセスしますが、site.com と site.com/#anchor は区別しません。 - クローラは robots.txt ファイルで禁止されているページやディレクトリにはアクセスしません。
Google クローラと AdMob Mediapartners クローラはいずれも robots.txt ファイルを尊重するため、robots.txt ファイルでアクセスが禁止されているページやディレクトリをクロールすることはありません。ただし、User-agent: * の行でロボットのクロールがブロックされているページに広告を掲載している場合、コンテンツ クローラはページのクロールを継続します。コンテンツ クローラによるページのクロールを停止するには、robots.txt ファイルでUser-agent: Mediapartners-Googleを指定する必要があります。詳細 - クローラは Google の広告タグが実装されている URL にのみアクセスを試みます。
Google 広告を掲載しているページのみがリクエストを送信し、それに応じてクロールが行われます。 - クローラはリダイレクト元のページにアクセスを試みます。
他のページにリダイレクトするページ（リダイレクト元のページ）がある場合、Google のクローラはリダイレクト元のページにアクセスして、リダイレクトが設定されていることを確認する必要があります。このため、Google のクローラによるリダイレクト元ページへのアクセスがアクセスログに記録されます。 - サイトの再クロール
現在のところ、Google のクローラがサイトのコンテンツをインデックスに登録する頻度を調整することはできません。クロールはロボットにより自動的に行われます。ページを変更した場合、Google のインデックスに変更が反映されるまでに最長で 1～2 週間かかる場合があります。