検索
検索をクリア
検索終了
Google アプリ
メインメニュー

Googlebot による地域認識クロール

この記事では、地域ごとに別々の URL を使用できないサイトに対して、異なる 2 つのクロール設定を Google がどのように使用するかを説明します。

重要: Google では、地域ごとに別々の URL 設定を使用し、rel=alternate hreflang アノテーションで注釈を付けることを今後も推奨いたします。

ウェブサイトのページが、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合(つまり「地域対応ページ」の場合)、すべての地域対応コンテンツにクロール、インデックス登録、ランク付けが行われるとは限りません。これは、Googlebot クローラの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラはリクエスト ヘッダーに Accept-Language を設定せずに HTTP リクエストを送信しています。

Google では、地域対応コンテンツのクロールとインデックス登録に対処するため、地域認識クロール設定を使用して、世界中の検索ユーザーにコンテンツを見てもらえるようにしています。地域認識クロール設定は、Googlebot が次の設定のいずれか、または両方でクロールする場合に有効となります。

  • 地域分散クロール: Googlebot は、米国からと判定される従来の IP アドレスに加え、米国外からと判定される IP アドレスも使用します。
  • 言語依存クロール: Googlebot は、HTTP ヘッダーに設定された Accept-Language フィールドを使用してクロールします。
ウェブサイト設定が地域認識クロールをサポートしているかどうかを確認する

現在 Googlebot は、以下のようなさまざまな情報に基づいて、ウェブサイトが地域別のコンテンツを提供しているかどうかを識別しています。

  • 検出されたユーザーの国(位置情報)に基づいて、同じ URL で異なるコンテンツを提供している
  • ユーザーのブラウザの HTTP リクエスト ヘッダーに設定された Accept-Language フィールドに基づいて、同じ URL で異なるコンテンツを提供している
  • 特定の国からのリクエストへのアクセスを完全にブロックしている

地域分散クロール

これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。

Googlebot は、米国からと判定される確立した IP アドレスを使用しています。地域分散クロールでは、Googlebot は他の国(たとえばオーストラリア)からと判定される IP アドレスを使用できるようになります。

注: この一覧は完全ではないため、今後変更される可能性があります。

言語依存クロール

ブラウザの HTTP ヘッダーに設定された Accept-Language フィールドに基づいてサイトがコンテンツを変更する場合、Googlebot ではさまざまな情報を使用して、異なる Accept-Language HTTP ヘッダーのコンテンツのクロールを試みます。つまり Google では、サイトがサポートしている複数の言語でコンテンツを発見し、インデックス登録し、ランク付けしやすくなります。

その他の考慮事項

  • Googlebot では、すべてのクロール設定に同じ user-agent 文字列を使用します。詳しくは、ヘルプセンターの Google クローラで使用される user-agent 文字列に関する記事をご覧ください。
  • Googlebot の地域分散クロールは、DNS リバース ルックアップを使用して確認できます。
  • サイト内の地域別コンテンツに、「ロボット排除プロトコル」が一律で適用されていることを確認してください。つまり、robots メタタグと robots.txt ファイルが地域ごとに同じディレクティブを指定している必要があります。たとえば、Accept-Language ヘッダーがスペイン語で設定されているときに Googlebot が noindex メタタグを受け取る場合は、Accept-Language ヘッダーなしのときや、異なる Accept-Language ヘッダーで Googlebot がクロールするときも同じ noindex メタタグを受け取る必要があります。こうすることで、地域ごとに noindex メタタグが異なる場合や、異なる IP アドレスに対して異なる robots.txt ファイルをサイトが返す場合に発生しうる、予期せぬクロールやインデックス登録を防ぐことができます(詳しくは、デベロッパー サイトのクロールとインデックス登録の管理をご覧ください)。
この記事は役に立ちましたか?
改善できる点がありましたらお聞かせください。