Suche
Suche löschen
Suche schließen
Google-Apps
Hauptmenü

Auf das Gebietsschema ausgerichtetes Crawling durch den Googlebot

In diesem Artikel wird erläutert, wie Google unterschiedliche Crawling-Einstellungen für Websites verwendet, die keine separaten URLs für jedes Gebietsschema haben können.

Wichtig: Wir unterstützen und empfehlen weiterhin die Verwendung von separaten Gebietsschema-URL-Konfigurationen und deren Annotation mit rel=alternate-hreflang-Annotationen.

Wenn Ihre Website über Seiten verfügt, die basierend auf dem erkannten Land oder der bevorzugten Sprache des Besuchers (z. B. bei Seiten, die an das Gebietsschema angepasst werden) unterschiedliche Inhalte zurückgeben, crawlt oder indexiert Google möglicherweise nicht alle Ihre an das Gebietsschema angepassten Inhalte oder weist nicht allen einen Rang zu. Dies ist darauf zurückzuführen, dass die Standard-IP-Adressen des Googlebot-Crawlers offenbar aus den USA stammen. Zusätzlich sendet der Crawler HTTP-Anfragen ohne die Einstellung Accept-Language im Anforderungsheader.

Zum Crawling und zur Indexierung von an Gebietsschema angepassten Inhalten verwenden wir ein auf das Gebietsschema ausgerichtetes Crawling, damit Ihre Inhalte weltweit besser von Nutzern gefunden werden können. Ein auf das Gebietsschema ausgerichtetes Crawling wird durchgeführt, wenn der Googlebot mit einer der folgenden Konfigurationen crawlt:

  • Standortbasiertes Crawling: Der Googlebot verwendet offenbar, zusätzlich zu den seit Langem verwendeten IP-Adressen, die offenbar aus den USA stammen, auch die IP-Adressen, die von außerhalb der USA stammen.
  • Sprachbasiertes Crawling: Der Googlebot führt ein Crawling mit einem im HTTP-Header festgelegten Accept-Language-Feld durch.
Bestätigen, dass Ihre Websitekonfiguration das auf das Gebietsschema ausgerichtete Crawling unterstützt

Derzeit erkennt der Googlebot eine Reihe von Signalen und Hinweisen, um zu bestimmen, ob Ihre Website Gebietsschema-spezifische Inhalte aufweist:

  • Schaltung von unterschiedlichen Inhalten unter derselben URL – basierend auf dem erkannten Land des Nutzers (geografischer Standort)
  • Schaltung von unterschiedlichen Inhalten unter derselben URL – basierend auf dem vom Browser des Nutzers festgelegten Accept-Language-Feld im HTTP-Anforderungsheader
  • Vollständige Blockierung des Zugriffs auf Anfragen von bestimmten Ländern

Standortbasiertes Crawling

Wir empfehlen stets, den Googlebot wie jeden anderen Nutzer aus diesem Land zu behandeln, wenn er offenbar aus einem bestimmten Land stammt. Wenn Sie also den Zugriff auf Ihre Inhalte für Nutzer aus den USA blockieren, jedoch zulassen, dass Nutzer aus Australien diese Inhalte aufrufen können, sollten Ihre Server einen Googlebot blockieren, der offenbar aus den USA stammt, jedoch den Zugriff für einen Googlebot zulassen, der offenbar aus Australien kommt.

Der Googlebot verwendet verlässliche IP-Adressen, die offenbar aus den USA stammen. Mit dem standortbasierten Crawling kann der Googlebot jetzt IP-Adressen verwenden, die offenbar aus anderen Ländern wie etwa Australien stammen.

Hinweis: Diese Liste ist nicht vollständig und kann sich im Laufe der Zeit ändern.

Sprachbasiertes Crawling

Wenn Ihre Website die Inhalte basierend auf den von HTTP-Headern der Browser festgelegten Accept-Language-Feldern ändert, verwendet der Googlebot eine Vielzahl von Signalen, mit denen Sie Ihre Inhalte mithilfe von unterschiedlichen Accept-Language-HTTP-Headern crawlen können. Dadurch kann Google Ihre Inhalte in den unterschiedlichen Sprachen, die Ihre Website unterstützt, eher entdecken, indexieren und diesen einen Rang zuweisen.

Weitere Aspekte

  • Der Googlebot verwendet denselben User-Agent-String für alle Crawling-Konfigurationen. Weitere Informationen zu den von Google-Crawlern verwendeten User-Agent-Strings finden Sie in unserer Hilfe.
  • Sie können standortbasierte Crawl-Vorgänge des Googlebots mithilfe von umgekehrten DNS-Lookups prüfen.
  • Vergewissern Sie sich, dass Ihre Website das Protokoll zum Ausschluss von Robots konsequent in den Gebietsschemata einhält. Das bedeutet, dass für Robots-Meta-Tags und die robots.txt-Datei in jedem Gebietsschema dieselben Anweisungen angegeben sein sollten. Wenn der Googlebot ein Noindex-Meta-Tag bei der Festlegung eines Accept-Language-Headers in Spanisch erhält, sollte diese dasselbe Noindex-Meta-Tag mit einem Accept-Language-Header oder bei einem Crawling des Googlebots mit einem anderen Accept-Language-Header erhalten. Dadurch wird unerwartetes Crawling und Indexierungsverhalten verhindert, das vorliegen kann, wenn unterschiedliche Gebietsschemata verschiedene Noindex-Meta-Tags aufweisen oder Ihre Website mit unterschiedlichen robots.txt-Dateien an unterschiedliche IP-Adressen antwortet. Weitere Informationen zum Steuern von Crawling und Indexierung erhalten Sie auf unserer Website für Entwickler.
War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?