Crawling-Frequenz des Googlebots ändern

Die Crawling-Frequenz bezeichnet die Anzahl der Anfragen pro Sekunde, die der Googlebot während des Crawling-Vorgangs auf Ihrer Website ausführt, z. B. fünf Anfragen pro Sekunde.

Sie können nicht ändern, wie oft Ihre Website gecrawlt wird. Wenn Google jedoch neue oder aktualisierte Inhalte auf Ihrer Website crawlen soll, können Sie ein erneutes Crawlen anfragen.

Korrekte Verwendung

Google bestimmt die optimale Crawling-Geschwindigkeit einer Website über hoch entwickelte Algorithmen. Wir bemühen uns, bei jedem Besuch möglichst viele Seiten Ihrer Website zu crawlen, ohne dass die Bandbreite Ihres Servers zu sehr beansprucht wird.

Wenn Google zu viele Anfragen pro Sekunde auf Ihrer Website durchführt und dadurch die Leistung Ihres Servers beeinträchtigt, können Sie die Geschwindigkeit (oder eben: Crawling-Frequenz) begrenzen, mit der Google Ihre Website crawlt.

Sie können die Crawling-Frequenz für Websites auf der Stammebene begrenzen, z. B. www.example.com und http://subdomain.example.com. Die von Ihnen festgelegte Crawling-Frequenz ist die maximale Crawling-Frequenz, die der Googlebot anwenden darf. Dies ist jedoch keine Garantie dafür, dass der Googlebot diese maximale Frequenz auch erreicht.

Daher sollten Sie die Crawling-Frequenz nur begrenzen, wenn Sie Probleme mit der Serverlast feststellen, die definitiv durch den zu häufigen Zugriff auf Ihren Server durch den Googlebot verursacht werden.

Sie können die Crawling-Frequenz nicht für Websites ändern, die sich nicht auf der Stammebene befinden, z. B. www.example.com/ordner.

Crawling-Frequenz begrenzen

1. Öffnen Sie die Seite für die Crawling-Frequenz-Einstellungen Ihrer Property.
   • Wenn Ihre Crawling-Frequenz als "berechnete Optimalfrequenz" gekennzeichnet ist, kann die Crawling-Frequenz nur verringert werden, wenn Sie einen speziellen Antrag stellen. Die Crawling-Frequenz kann nicht angehoben werden.
   • Wählen Sie andernfalls die entsprechende Option aus und begrenzen Sie die Crawling-Frequenz wie gewünscht. Die neue Crawling-Frequenz bleibt 90 Tage gültig.

Crawling-Begrenzung in Notfällen

Wenn Ihre Website so intensiv gecrawlt wird, dass Probleme mit ihrer Verfügbarkeit entstehen, können Sie die Website so schützen:

1. Ermitteln Sie, welcher Google-Crawler für das übermäßige Crawling der Website verantwortlich ist. Sehen Sie sich Ihre Websiteprotokolle an oder verwenden Sie den Bericht „Crawling-Statistik“.
2. So sorgen Sie für unmittelbare Abhilfe:
   • Eine einfache Lösung besteht darin, mit einer robots.txt-Datei das Crawling durch den verantwortlichen Agent (Googlebot, AdsBot usw.) zu blockieren. Es kann allerdings bis zu einem Tag dauern, bis diese Maßnahme wirksam wird. Außerdem sollten Sie die Blockierung nicht zu lange aufrechterhalten, da sich das langfristig auf das Crawling auswirken kann.
   • Falls Sie eine erhöhte Last dynamisch erkennen und ebenso darauf reagieren können: Geben Sie HTTP 503/429 zurück, sobald sich die Website ihrer Belastungsgrenze nähert. Achten Sie aber darauf, HTTP 503/429 höchstens zwei oder drei Tage lang zurückzugeben. Andernfalls könnte Google dies als Signal dafür interpretieren, dass Ihre Website langfristig seltener gecrawlt werden sollte.
3. Ändern Sie die Crawling-Frequenz über die Seite für die Crawling-Frequenz-Einstellungen, sofern diese Option verfügbar ist.
4. Zwei bis drei Tage später, wenn die Crawling-Frequenz von Google angepasst wurde, können Sie die robots.txt-Blockierungen entfernen bzw. die Rückgabe der Fehlercodes 503 oder 429 beenden.
5. Wenn die Überlastung durch den AdsBot-Crawler verursacht wird, liegt das wahrscheinlich daran, dass Sie auf Ihrer Website zu viele Ziele für dynamische Suchanzeigen mit URL_Equals oder Seitenfeeds erstellt haben. Falls Sie nicht die nötige Serverkapazität für diese Crawling-Vorgänge haben, sollten Sie entweder die Anzeigenziele begrenzen, URLs schrittweise in kleinerer Anzahl hinzufügen oder die Bereitstellungskapazität erhöhen. Der AdsBot crawlt Ihre Seiten alle zwei Wochen. Das Problem sollte also so schnell wie möglich behoben werden, damit es nicht wiederholt auftritt.
6. Wenn Sie die Crawling-Frequenz über die Seite mit den Crawling-Einstellungen begrenzt haben, wird die Einstellung nach 90 Tagen wieder auf die automatische Frequenzanpassung zurückgesetzt.