Google が地域対応ページをクロールする方法

サイトに「地域対応」ページが含まれている場合(つまり、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合)、それぞれの言語や地域に向けたすべてのコンテンツがクロールインデックス登録、またはランク付けされるとは限りません。これは、Googlebot クローラの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラはリクエスト ヘッダーに Accept-Language を設定せずに HTTP リクエストを送信しています。

重要: Google では、地域ごとに別々の URL 設定を使用し、rel=alternate hreflang アノテーションで注釈を付けることを推奨します

 

地域分散クロール

Googlebot は米国内の IP アドレスに加え、米国外の IP アドレスもクロールに使用しています。

これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。

その他の考慮事項

  • Googlebot では、すべてのクロール設定に同じ user-agent 文字列を使用します。詳しくは、ヘルプセンターの Google クローラで使用される user-agent 文字列に関する記事をご覧ください。
  • Googlebot の地域分散クロールは、DNS リバース ルックアップを使用して確認できます。
  • サイト内のすべての地域別コンテンツに、「ロボット排除プロトコル」が一貫して適用されていることを確認してください。つまり、robots メタタグと robots.txt ファイルが地域ごとに同じディレクティブを指定している必要があります。
この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。