Suche
Suche löschen
Suche schließen
Google-Apps
Hauptmenü

Bericht "Crawling-Statistiken" für Websites

Im Bericht "Crawling-Statistiken" für Websites finden Sie Informationen zur Aktivität des Googlebot auf Ihrer Website in den letzten 90 Tagen. Bei diesen Statistiken werden alle Inhaltstypen berücksichtigt, die wir herunterladen, z. B. CSS-, JavaScript-, Flash- und PDF-Dateien sowie Bilder.

Crawling-Statistiken öffnen

Crawling-Statistiken sind nur für bestätigte Websites verfügbar.

Daten interpretieren

Eine "gute" Crawling-Frequenz gibt es nicht. Aber Sie sollten ein relativ gleichmäßiges Diagramm sehen, das im Laufe der Zeit mit Zunahme des Umfangs Ihrer Seite höher wird. Lesen Sie weiter, wenn Ihr Diagramm einen plötzlichen Abfall oder Anstieg zeigt.

Warum ist meine Crawling-Frequenz gesunken?

In der Regel sollte Ihre Crawling-Frequenz über die Zeitspanne von ein bis zwei Wochen relativ stabil sein. Wenn Sie jedoch einen plötzlichen Abfall feststellen, kann dies verschiedene Gründe haben:

  • Sie haben eine neue (oder sehr allgemeine) robots.txt-Regel hinzugefügt. Stellen Sie sicher, dass Sie nur Ressourcen blockieren, die Sie wirklich blockieren müssen. Sollte Google bestimmte Ressourcen benötigen, um den Inhalt zu verstehen, wie z. B. CSS oder JavaScript, achten Sie darauf, dass diese nicht für den Googlebot blockiert werden.
  • Fehlerhaftes HTML oder nicht unterstützte Inhalte auf Ihren Webseiten: Wenn der Googlebot die Inhalte auf Ihren Seiten nicht parsen kann, kann er sie auch nicht crawlen. Möglicherweise nutzen Sie einen nicht unterstützten Medientyp oder die Webseiten bestehen nur aus Bildern. Schauen Sie sich mit Abruf wie durch Google an, wie der Googlebot Ihre Seite sieht.
  • Wenn Ihre Website nur langsam auf Anfragen reagiert, verringert der Googlebot seine Anfragen, um Ihren Server nicht zu überlasten. Überprüfen Sie den Bericht "Crawling-Statistiken", um zu sehen, ob Ihre Website langsamer reagiert.
  • Wenn die Fehlerquote bei Ihrem Server ansteigt, verringert der Googlebot seine Anfragen, um Ihren Server nicht zu überlasten. Überprüfen Sie im Crawling-Fehlerbericht, ob die Anzahl der Serververbindungsfehler angestiegen ist.
  • Stellen Sie sicher, dass Sie Ihre bevorzugte maximale Crawling-Frequenz nicht gesenkt haben.
  • Wenn sich auf einer Seite Informationen befinden, die nicht regelmäßig aktualisiert werden oder keine hohe Qualität besitzen, wird sie auch weniger oft gecrawlt.  Werfen Sie einen ehrlichen Blick auf Ihre Website, holen Sie sich neutrales Feedback von Personen, die nicht in Ihre Website involviert sind, und überlegen Sie, wie Sie sie insgesamt verbessern könnten.

Warum ist meine Crawling-Frequenz gestiegen?

Wenn Sie viele neue Informationen veröffentlicht haben oder sich auf Ihrer Website sehr hilfreiche Informationen befinden, werden Sie möglicherweise öfter gecrawlt, als Sie möchten. Hier ein paar Tipps, wie Sie die Crawling-Frequenz vom Googlebot für Ihre Website verwalten können, wenn Sie den Eindruck haben, dass Ihr Server überlastet ist:

  • Schauen Sie sich Ihre Crawling-Statistik an und überprüfen Sie den User-Agent in Ihren Protokollen, um sicherzugehen, dass der Googlebot und kein anderer Anforderungssteller auf Ihre Website zugreift.
  • Wenn Sie das Crawling durch den Googlebot dringend blockieren müssen, geben Sie bei seinen Anfragen den HTTP-Ergebniscode 503 zurück.
  • Passen Sie Ihre robots.txt-Datei an, um Seiten zu blockieren, die nicht aufgerufen werden sollten.
  • Als kurzfristige Lösung können Sie auch Ihre bevorzugte maximale Crawling-Frequenz in der Search Console anpassen. Wir empfehlen dies jedoch nicht als langfristige Lösung, da wir auf diese Weise nicht erfahren, welche Seiten oder Ressourcen gecrawlt werden sollen und welche nicht.
  • Achten Sie darauf, dass Sie das Crawling nicht für Seiten mit "unendlichen" Ergebnisse zulassen, wie z. B. unendliche Kalender oder unendliche Suchseiten. Blockieren Sie sie mit robots.txt oder nofollow-Tags.
  • Wenn es eine URL nicht mehr gibt oder sie verschoben wurde, stellen Sie sicher, folgende HTTP-Ergebniscodes zurückzugeben: 404 oder 410 für URLs, die es nicht mehr gibt oder die ungültig sind; 301-Weiterleitungen für URLs, die permanent durch andere ersetzt wurden (302 bei temporären Weiterleitungen); 503 für geplante temporäre Wartungsarbeiten; 500 bei Fehlern, die der Server nicht verarbeiten kann.

 

War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?