Crawling-Frequenz des Googlebots ändern

Die Crawling-Frequenz bezeichnet die Anzahl der Anfragen pro Sekunde, die der Googlebot während des Crawling-Vorgangs auf Ihrer Website ausführt, z. B. fünf Anfragen pro Sekunde.

Sie können nicht ändern, wie oft Ihre Website gecrawlt wird. Wenn Google jedoch neue oder aktualisierte Inhalte auf Ihrer Website crawlen soll, können Sie ein erneutes Crawlen anfragen.

Korrekte Verwendung

Google bestimmt die optimale Crawling-Geschwindigkeit einer Website über hoch entwickelte Algorithmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten Ihrer Website zu crawlen, ohne dass die Bandbreite Ihres Servers zu sehr beansprucht wird.

Wenn Google zu viele Anfragen pro Sekunde auf Ihrer Website durchführt und dadurch die Leistung Ihres Servers beeinträchtigt, können Sie die Geschwindigkeit (oder eben: Crawling-Frequenz) begrenzen, mit der Google Ihre Website crawlt.

Sie können die Crawling-Frequenz für Websites auf der Stammebene begrenzen, z. B. www.example.com und http://subdomain.example.com. Die von Ihnen festgelegte Crawling-Frequenz ist die maximale Crawling-Frequenz, die der Googlebot anwenden darf. Dies ist jedoch keine Garantie dafür, dass der Googlebot diese maximale Frequenz auch erreicht.

Daher sollten Sie die Crawling-Frequenz nur begrenzen, wenn Sie Probleme mit der Serverlast feststellen, die definitiv durch den zu häufigen Zugriff auf Ihren Server durch den Googlebot verursacht werden.

Sie können die Crawling-Frequenz nicht für Websites ändern, die sich nicht auf der Stammebene befinden, z. B. www.example.com/ordner.

Crawling-Frequenz begrenzen

  1. Öffnen Sie die Seite für die Crawling-Frequenz-Einstellungen Ihrer Property.
    • Wenn Ihre Crawling-Frequenz als "berechnete Optimalfrequenz" gekennzeichnet ist, kann die Crawling-Frequenz nur verringert werden, wenn Sie einen speziellen Antrag stellen. Die Crawling-Frequenz kann nicht angehoben werden.
    • Wählen Sie andernfalls die entsprechende Option aus und begrenzen Sie die Crawling-Frequenz wie gewünscht. Die neue Crawling-Frequenz bleibt 90 Tage gültig.

Crawling-Begrenzung in Notfällen

Wenn Ihre Website so intensiv gecrawlt wird, dass Probleme mit ihrer Verfügbarkeit entstehen, können Sie die Website so schützen:

  1. Ermitteln Sie, welcher Google-Crawler für das übermäßige Crawling der Website verantwortlich ist. Sehen Sie sich Ihre Websiteprotokolle an oder verwenden Sie den Bericht „Crawling-Statistiken“.
  2. So sorgen Sie für unmittelbare Abhilfe:
    • Eine einfache Lösung besteht darin, mit robots.txt das Crawling durch den verantwortlichen Agent (Googlebot, AdsBot usw.) zu blockieren. Es kann jedoch bis zu einem Tag dauern, bis diese Maßnahme wirksam wird.
    • Falls Sie eine erhöhte Last dynamisch erkennen und darauf reagieren können, geben Sie HTTP 5XX/429 zurück, wenn sich die Website ihrer Belastungsgrenze nähert. Achten Sie aber darauf, HTTP 5XX/429 nicht mehr als zwei oder drei Tage lang zurückzugeben. Andernfalls könnte Google dies als Signal dafür interpretieren, dass Ihre Website langfristig seltener gecrawlt werden sollte.
  3. Ändern Sie die Crawling-Frequenz über die Seite für die Crawling-Frequenz-Einstellungen, sofern diese Option verfügbar ist.
  4. Zwei oder drei Tage später, wenn die Crawling-Frequenz von Google angepasst wurde, können Sie die Entfernung der robots.txt-Blockierungen bzw. die Rückgabe von Fehlercodes aus Schritt 1 beenden.
  5. Wenn die Überlastung durch einen AdsBot-Crawler verursacht wird, liegt das wahrscheinlich daran, dass Sie auf Ihrer Website zu viele Ziele für dynamische Suchanzeigen mit URL_Equals oder Seitenfeeds erstellt haben. Falls Sie nicht die nötige Serverkapazität für diese Crawling-Vorgänge haben, sollten Sie entweder die Anzeigenziele begrenzen, URLs schrittweise in kleinerer Anzahl hinzufügen oder die Bereitstellungskapazität erhöhen. Der AdsBot crawlt Ihre Seiten alle 2 Wochen. Das Problem sollte also so schnell wie möglich behoben werden, damit es nicht wiederholt auftritt.
  6. Wenn Sie die Crawling-Frequenz über die Seite mit den Crawling-Einstellungen begrenzt haben, erfolgt nach 90 Tagen wieder eine automatische Anpassung der Frequenz.
War das hilfreich?
Wie können wir die Seite verbessern?
Suche
Suche löschen
Suche schließen
Google-Apps
Hauptmenü
Suchen in der Hilfe
true
83844
false