クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。Mediapartners-Google と呼ばれる AdSense クローラは、関連性の高い広告を配信する目的でサイトにアクセスしてコンテンツを判定します。
AdSense クローラに関する重要事項は次のとおりです。
- クローラ レポートの更新は週 1 回です。
クロールは自動的に実行されるため、頻度を増やすご要望にお応えすることはできません。
- AdSense クローラは Google クローラとは異なります。
これら 2 つのクローラは別個のものですが、キャッシュを共有しています。これにより、2 つのクローラが同じページをリクエストする事態を防ぎ、サイトの帯域幅を節約できます。同様に、Search Console クローラも別個のクローラです。
注: AdSense では、AdSense にサイトを追加する際にも、Google-Display-Ads-Bot というクローラを使用してサイトを確認します。 - AdSense クロールの問題を解決しても、Google クロールの問題の解決にはなりません。
[クローラ アクセス] ページに表示される問題を解決しても、Google 検索の検索結果での掲載順位は変化しません。Google でのサイトのランキングの詳細については、Google の検索結果にサイトを表示する方法をご覧ください。
- クローラは URL 単位でインデックスを登録します。
クローラは、site.com と www.site.com には別々にアクセスしますが、site.com と site.com/#anchor は区別しません。
- クローラは robots.txt ファイルで禁止されているページやディレクトリにはアクセスしません。
Google クローラー、AdSense Mediapartners-Google クローラー、Google-Display-Ads-Bot クローラーは、robots.txt ファイルを尊重し、robots.txt ファイルでアクセスが禁止されているページやディレクトリをクロールすることはありません。
注:User-agent: *の行でロボットのクロールがブロックされているページに広告を掲載している場合、AdSense クローラはページのクロールを継続します。AdSense クローラがページにアクセスできないようにするには、robots.txt ファイルに次の行を追加します。User-agent: Mediapartners-GoogleUser-agent: Google-Display-Ads-Bot - クローラは Google の広告タグが実装されている URL にのみアクセスを試みます。
Google 広告を掲載しているページのみがリクエストを送信し、それに応じてクロールが行われます。
- クローラはリダイレクト元のページにアクセスを試みます。
他のページにリダイレクトするページ（リダイレクト元のページ）がある場合、クローラはリダイレクト元のページにアクセスして、リダイレクトが設定されていることを確認する必要があります。このため、クローラによるリダイレクト元ページへのアクセスがアクセスログに記録されます。
- サイトのコンテンツをクローラがインデックスに登録する頻度を変更することはできません。
現在のところ、サイトの再クロールの設定を変更することはできません。クロールはロボットにより自動的に行われます。ページを変更した場合、Google のインデックスに変更が反映されるまでに最長で 1～2 週間かかる場合があります。
