Wie Google Seiten crawlt, die an das Gebietsschema angepasst sind

Wenn Ihre Website an das Gebietsschema angepasste Seiten enthält, die basierend auf dem erkannten Land oder der bevorzugten Sprache des Besuchers unterschiedliche Inhalte zurückgeben, crawlt oder indexiert oder Google möglicherweise nicht alle Ihre Inhalte für verschiedene Gebiete oder weist nicht allen einen Rang zu. Dies ist darauf zurückzuführen, dass die Standard-IP-Adressen des Googlebot-Crawlers offenbar aus den USA stammen. Zusätzlich sendet der Crawler HTTP-Anfragen ohne die Einstellung Accept-Language im Anforderungsheader.

WICHTIG: Wir empfehlen, separate Gebietsschema-URL-Konfigurationen zu verwenden und diese mit rel-alternate-hreflang-Annotationen zu vermerken.

 

Standortbasiertes Crawling

Der Googlebot crawlt neben IP-Adressen, die aus den USA stammen, auch ausländische IP-Adressen.

Wir empfehlen immer, den Googlebot wie jeden anderen Nutzer aus diesem Land zu behandeln, wenn er offenbar aus einem bestimmten Land stammt. Wenn Sie also den Zugriff auf Ihre Inhalte für Nutzer aus den USA blockieren, jedoch zulassen, dass Nutzer aus Australien diese Inhalte aufrufen können, sollten Ihre Server einen Googlebot blockieren, der offenbar aus den USA stammt, jedoch den Zugriff für einen Googlebot zulassen, der offenbar aus Australien kommt.

Weitere Aspekte

  • Der Googlebot verwendet denselben User-Agent-String für alle Crawling-Konfigurationen. Weitere Informationen zu den von Google-Crawlern verwendeten User-Agent-Strings finden Sie in unserer Hilfe.
  • Sie können standortbasierte Crawl-Vorgänge des Googlebots mithilfe von umgekehrten DNS-Lookups prüfen.
  • Prüfen Sie, ob Ihre Website das Robots-Exclusion-Protokoll konsistent für jedes Gebietsschema anwendet. Falls nicht, nehmen sie entsprechende Änderungen vor. Das bedeutet, dass für Robots-Meta-Tags und die robots.txt-Datei in jedem Gebietsschema dieselben Anweisungen angegeben sein sollten.
War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?