Bericht "Crawling-Fehler" für Websites

Website-Crawling-Fehler können verhindern, dass Ihre Seite in den Suchergebnissen erscheint
Diese Berichtsfunktion wurde in der neuen Search Console verbessert. Dort können Sie auch den Statusbericht zur Indexabdeckung ausprobieren.

Im Bericht Crawling-Fehler finden Sie Details zu den Website-URLs, die Google nicht crawlen konnte oder die einen HTTP-Fehlercode zurückgegeben haben.

Crawling-Fehlerbericht öffnen

 

Suchen Sie den Crawling-Statusbericht für Apps?

 

Der Bericht hat zwei Hauptbereiche:

  • Websitefehler: In diesem Bereich sehen Sie die Hauptprobleme, die in den letzten 90 Tagen aufgetreten sind und aufgrund derer der Googlebot nicht auf die gesamte Website zugreifen konnte. Sie können auf ein beliebiges Feld klicken, um das entsprechende Diagramm aufzurufen.
     
  • URL-Fehler: In diesem Bereich werden spezifische Fehler aufgeführt, die Google beim Crawlen bestimmter Desktop- oder Smartphoneseiten erfasst hat. Die einzelnen Hauptbereiche der URL-Fehlerberichte entsprechen den unterschiedlichen Crawling-Mechanismen, die Google für den Zugriff auf Ihre Seiten verwendet. Die aufgeführten Fehler gelten speziell für diese Seitenarten.

Websitefehler

Bei ordnungsgemäß funktionierenden Websites sollte der Bereich Websitefehler des Berichts "Crawling-Fehler" keine Fehler enthalten. Das gilt für die meisten Websites, die Google crawlt. Wenn Google eine nennenswerte Anzahl von Websitefehlern erkennt, erhalten Sie eine entsprechende Nachricht. Die Größe Ihrer Website spielt dabei keine Rolle.

Wenn Sie die Seite "Crawling-Fehler" das erste Mal aufrufen, sehen Sie im Bereich "Websitefehler" neben den drei Fehlerkategorien "DNS", "Serververbindung" und "Abruf von robots.txt" kurze Statuscodes. Handelt es dabei nicht um ein grünes Häkchen, können Sie auf das Kästchen klicken, um ein Diagramm der Crawling-Details für die letzten 90 Tage aufzurufen.

Hohe Fehlerraten

Wird für Ihre Website in einer der drei Kategorien eine Fehlerrate von 100 % angezeigt, bedeutet dies wahrscheinlich, dass Ihre Website entweder offline oder in irgendeiner Weise falsch konfiguriert ist. In Bezug auf die Konfiguration können Sie verschiedene Fehlerquellen überprüfen:

  • Kontrollieren Sie, dass nicht bei einer Reorganisation Ihrer Website die Berechtigungen für einen Bereich der Website geändert wurden.
  • Überprüfen Sie nach einer Reorganisation Ihrer Website, ob alle externen Links noch funktionieren.
  • Überprüfen Sie alle neuen Skripts, um sicherzustellen, dass sich die Fehlfunktionen nicht wiederholen.
  • Kontrollieren Sie, dass alle Verzeichnisse vorhanden sind und nicht versehentlich verschoben oder gelöscht wurden.
Trifft keine der oben genannten Situationen auf Ihre Website zu, handelt es sich bei der Fehlerrate eventuell nur um eine vorübergehende Belastungsspitze. Sie kann auch auf externen Ursachen beruhen, wenn etwa ein Nutzer auf nicht vorhandene Seiten verlinkt. In solchen Fällen liegt gar kein echter Fehler vor. In jedem Fall informieren wir Sie über eine ungewöhnlich große Anzahl von Fehlern für Ihre Website, damit Sie ihnen auf den Grund gehen können.

Niedrige Fehlerraten

Wenn Ihre Website in einer der Kategorien eine Fehlerrate unter 100 % aufweist, weist das möglicherweise auf ein nur vorübergehend auftretendes Problem hin. Es kann aber auch bedeuten, dass Ihre Website überlastet oder falsch konfiguriert ist. Sie sollten diese Probleme genauer untersuchen oder sie in unserem Forum diskutieren. Eventuell benachrichtigen wir Sie selbst bei einer sehr geringen Gesamtfehlerrate, da wir der Meinung sind, dass eine gut konfigurierte Website gar keine Fehler in diesen Kategorien aufweisen sollte.

Typen von Websitefehlern

Die folgenden Fehlertypen werden im Bereich Website des Berichts aufgeführt:

DNS-Fehler

Was sind DNS-Fehler?

DNS-Fehler weisen darauf hin, dass keine Kommunikation zwischen dem Googlebot und dem DNS-Server möglich ist – entweder ist der Server abgestürzt oder es besteht ein Problem mit dem DNS-Routing zu Ihrer Domain. Die meisten DNS-Warnungen oder -Fehler wirken sich nicht darauf aus, ob der Googlebot auf Ihre Website zugreifen kann. Sie können jedoch Anzeichen für eine hohe Latenz sein, die wiederum die Nutzererfahrung negativ beeinflusst.

DNS-Fehler beheben

  • Prüfen Sie, ob Google Ihre Website crawlen kann.
    Verwenden Sie das Tool Abruf wie durch Google auf einer wichtigen Seite, z. B. auf Ihrer Startseite. Wenn der Inhalt Ihrer Startseite ohne Probleme zurückgegeben wird, können Sie davon ausgehen, dass Google ordnungsgemäß auf Ihre Website zugreifen kann.
  • Bei anhaltenden oder immer wieder auftretenden DNS-Fehlern sollten Sie sich an Ihren DNS-Anbieter wenden.
    Oftmals sind der DNS-Anbieter und der WebHostanbieter identisch. 
  • Konfigurieren Sie Ihren Server so, dass bei nicht vorhandenen Hostnamen ein HTTP-Fehlercode zurückgegeben wird, z. B. 404 oder 500.
    Eine Website wie example.com kann mit einer Wildcard-DNS-Einrichtung so konfiguriert werden, das sie auf Aufrufe von foo.example.com, beispielname.example.com und beliebigen anderen Subdomains reagiert. Diese Lösung bietet sich an, wenn auf einer Website mit von Nutzern erstellten Inhalten jedem Nutzerkonto eine eigene Domain zugewiesen ist, z. B. http://nutzername.ihrebeispielurl.de. Diese Konfiguration kann jedoch auch dazu führen, dass Inhalte für verschiedene Hostnamen unnötig dupliziert werden. Außerdem beeinträchtigt sie unter Umständen das Crawling des Googlebots.

DNS-Fehlerliste

Fehlertyp Beschreibung
DNS-Zeitüberschreitung

Google konnte nicht auf Ihre Website zugreifen, weil Ihr DNS-Server nicht rechtzeitig auf die Anfrage geantwortet hat.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Wenden Sie sich an Ihren Registrator, um zu überprüfen, ob Ihre Website korrekt eingerichtet wurde und Ihr Server mit dem Internet verbunden ist.

DNS-Lookup

Google konnte nicht auf Ihre Website zugreifen, weil Ihr DNS-Server Ihren Hostnamen (z. B. www.ihrebeispielurl.de) nicht erkannt hat.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Wenden Sie sich an Ihren Registrator, um zu überprüfen, ob Ihre Website korrekt eingerichtet wurde und Ihr Server mit dem Internet verbunden ist.

Serverfehler

Was ist ein Serverfehler?

Wenn diese Fehler für Ihre URLs zurückgegeben werden, konnte der Googlebot nicht auf die URLs zugreifen, es kam zu einer Zeitüberschreitung bei der Anfrage oder Ihre Website war nicht verfügbar. Daher war der Googlebot gezwungen, die Anfrage abzubrechen.

Serververbindungsfehler beheben

  • Verkürzen Sie die Seitenaufbauzeiten bei Anfragen an dynamische Seiten.
    Manche Websites stellen denselben Inhalt für mehrere URLs bereit. Diese Vorgehensweise wird als "dynamisch" bezeichnet. Beispielsweise wird für www.example.com/schuhe.php?color=red&size=7 derselbe Inhalt wie für www.example.com/schuhe.php?size=7&color=red bereitgestellt.  Dynamische Seiten reagieren manchmal zu langsam, was zu Zeitüberschreitungen führt. Oder der Server meldet eine Überlastung und fordert den Googlebot auf, die Website langsamer zu crawlen. Im Allgemeinen empfehlen wir, Parameter sparsam zu verwenden und möglichst kurz zu halten. Wenn Sie wissen, wie die Parameter auf Ihrer Website funktionieren, teilen Sie Google mit, wie sie verarbeitet werden sollen.
  • Sorgen Sie dafür, dass der Hostserver Ihrer Website nicht offline, überlastet oder falsch konfiguriert ist.
    Treten weiterhin Probleme mit der Verbindung, mit Zeitüberschreitungen oder mit Reaktionszeiten auf, sollten Sie sich an Ihren WebHostanbieter wenden und überlegen, die Kapazität Ihrer Website zu erhöhen, damit mehr Zugriffe verarbeitet werden können.
  • Prüfen Sie, ob Sie Google nicht versehentlich blockieren.
    Eventuell blockieren Sie Google aufgrund eines Systemfehlers. Hierbei könnte es sich um einen DNS-Konfigurationsfehler, eine Firewall bzw. ein DoS-Schutzsystem mit falscher Konfiguration oder um die Konfiguration eines CMS (Content-Management-System) handeln. Schutzsysteme sind ein wichtiger Bestandteil von gutem Hosting und werden häufig so konfiguriert, dass ein ungewöhnlich hohes Aufkommen an Serveranfragen automatisch blockiert wird. Da der Googlebot häufig mehr Anfragen als ein gewöhnlicher Nutzer stellt, kann es passieren, dass er die Schutzsysteme auslöst, dann blockiert wird und Ihre Website nicht mehr crawlen kann. Um dieses Problem zu beheben, ermitteln Sie, durch welchen Bestandteil der Infrastruktur der Website der Googlebot blockiert wird, und ändern Sie die Konfiguration entsprechend. Wenden Sie sich an Ihren Hostanbieter, wenn Sie die Firewalleinstellungen nicht selbst anpassen können.
  • Steuern Sie das Crawling und die Indexierung Ihrer Website durch Suchmaschinen sinnvoll.
    Manche Webmaster verhindern absichtlich, dass der Googlebot auf Ihre Websites zugreift, etwa durch eine Firewall. Meist steht dahinter nicht das Ziel, den Googlebot völlig zu blockieren, sondern zu steuern, wie die Website gecrawlt und indexiert wird. Trifft dies auf Sie zu, überprüfen Sie Folgendes: Wenn Sie ändern möchten, wie oft der Googlebot Ihre Website crawlt, passen Sie die Crawling-Frequenz an. Hostanbieter können außerdem die Inhaberschaft ihrer IP-Adressen verifizieren.

Fehler bei der Serververbindung

Fehlertyp Beschreibung
Zeitüberschreitung

Beim Warten des Servers auf die Anfrage ist es zu einer Zeitüberschreitung gekommen.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Gekürzte Header

Google konnte eine Verbindung zu Ihrem Server herstellen, aber die Verbindung wurde unterbrochen, bevor vollständige Header gesendet wurden. Bitte versuchen Sie es später noch einmal.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Verbindung zurückgesetzt

Der Server hat die Anfrage von Google verarbeitet, gibt jedoch keine Inhalte zurück, da die Verbindung mit dem Server zurückgesetzt wurde. Bitte versuchen Sie es später noch einmal.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Gekürzte Antwort

Ihr Server hat die Verbindung unterbrochen, bevor wir eine vollständige Antwort erhalten konnten, und der Text der Antwort scheint gekürzt zu sein.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Verbindung zurückgewiesen

Google konnte nicht auf Ihre Website zugreifen, weil der Server die Verbindung zurückgewiesen hat. Eventuell blockiert Ihr Hostanbieter den Googlebot oder die Firewall ist falsch konfiguriert.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Fehler beim Verbindungsaufbau

Google konnte keine Verbindung zu Ihrem Server herstellen, da das Netzwerk nicht erreichbar oder ausgefallen ist.

Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn das Tool den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Zeitüberschreitung beim Verbindungsaufbau

Google konnte keine Verbindung zu Ihrem Server herstellen.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn "Abruf wie durch Google" den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Überprüfen Sie, ob Ihr Server mit dem Internet verbunden ist. Eventuell ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Keine Antwort

Google konnte eine Verbindung zu Ihrem Server herstellen, diese wurde jedoch beendet, bevor Daten vom Server gesendet werden konnten.

Verwenden Sie das Tool Abruf wie durch Google, um herauszufinden, ob der Googlebot Ihre Website zurzeit crawlen kann. Wenn "Abruf wie durch Google" den Inhalt Ihrer Startseite problemlos zurückgibt, können Sie davon ausgehen, dass der Googlebot grundsätzlich in der Lage ist, ordnungsgemäß auf Ihre Website zuzugreifen.

Möglicherweise ist Ihr Server überlastet oder falsch konfiguriert. Sollte das Problem weiterhin bestehen, wenden Sie sich an Ihren Hostanbieter.

Robots-Fehler

Was sind Robots-Fehler?

Hierbei handelt es sich um Fehler beim Abrufen der robots.txt-Datei Ihrer Website. Bevor der Googlebot Ihre Website crawlt sowie ungefähr einmal täglich nach dem Crawling greift er auf Ihre robots.txt-Datei zu, um zu ermitteln, welche Seiten nicht gecrawlt werden sollen. Ist Ihre robots.txt-Datei vorhanden, aber nicht erreichbar, d. h. wenn kein HTTP-Statuscode 200 oder 404 zurückgegeben wird, wird das Crawling verschoben, um das Crawlen unerwünschter URLs zu vermeiden. Sobald der Zugriff auf Ihre robots.txt-Datei möglich ist, wird Ihre Website noch einmal vom Googlebot besucht und gecrawlt. Weitere Informationen über das Protokoll zum Ausschluss von Robots

Fehler in der robots.txt-Datei beheben

  • Es ist nicht immer eine robots.txt-Datei erforderlich.
    Sie benötigen die robots.txt-Datei nur, falls Ihre Website Inhalte aufweist, die nicht von den Suchmaschinen indexiert werden sollen. Wenn Sie möchten, dass Suchmaschinen alle Ihre Websiteinhalte indexieren, benötigen Sie keine robots.txt-Datei – nicht einmal eine leere. Ist keine robots.txt-Datei für Ihre Website vorhanden, gibt Ihr Server den Statuscode 404 zurück, sobald der Googlebot die Datei anfordert, und Google fährt mit dem Crawling Ihrer Website fort. Das ist kein Problem.
  • Prüfen Sie, ob Google Zugriff auf Ihre robots.txt-Datei hat.
    Unter Umständen wird beim Versuch, auf Ihre robots.txt-Datei zuzugreifen, eine 5xx-Fehlermeldung (nicht erreichbar) zurückgegeben. Kontrollieren Sie, dass der Googlebot nicht von Ihrem Hostanbieter  oder Ihren Firewalleinstellungen blockiert wird.

URL-Fehler

Der Bereich "URL-Fehler" des Berichts ist in Kategorien unterteilt, die die wichtigsten 1.000 URL-Fehler für die jeweilige Kategorie enthalten. Nicht alle Fehler, die Sie hier sehen, erfordern Maßnahmen Ihrerseits. Es ist jedoch wichtig, dass Sie in diesem Bereich nach Fehlern suchen, die sich negativ auf die Nutzererfahrung und auf die Google-Crawler auswirken können. Wir haben es Ihnen leicht gemacht, indem wir die wichtigsten Probleme ganz oben auflisten, nach der Anzahl der Fehler und der Seiten, die auf die URL verweisen. Insbesondere sollten Sie Folgendes beachten:

  • Beheben Sie Fehler des Typs "Nicht gefunden" für wichtige URLs mit 301-Weiterleitungen. 404-Fehler (Nicht gefunden) sind zwar normal, Sie sollten jedoch folgende Fehler beheben: Fehler für wichtige Seiten, die mit anderen Websites verknüpft sind; Fehler bei älteren URLs, die in Ihre Sitemap aufgenommen, aber seitdem gelöscht wurden; Fehler aufgrund von falsch geschriebenen URLs für wichtige Seiten oder Fehler bei URLs beliebter Seiten, die nicht mehr auf Ihrer Website existieren. Wenn Sie diese Fehler beheben, sind wichtige Informationen leicht für Google und Ihre Websitebesucher zugänglich.
  • Aktualisieren Sie Ihre Sitemaps.  Entfernen Sie alte URLs aus Ihren Sitemaps. Wenn Sie neue Sitemaps hinzufügen, um ältere zu ersetzen, stellen Sie sicher, dass Sie diese auch wirklich löschen, anstatt eine Weiterleitung zu den neuen einzurichten.  
  • Weiterleitungen sollten übersichtlich und kurz sein.  Eventuell nutzen Sie mehrere URLs, die Nutzer in einer bestimmten Reihenfolge weiterleiten (z. B. Seite A > Seite B > Seite C > Seite D). In diesem Fall fällt es dem Googlebot schwer, der Reihenfolge zu folgen und diese auszuwerten.  Verwenden Sie daher so wenige Weiterleitungen wie möglich.  Weitere Informationen zum Fehlertyp "Nicht gefolgt"

URL-Fehlerdetails einsehen

Für das Abrufen von URL-Fehlern gibt es mehrere Möglichkeiten:

  • Klicken Sie auf Download, um eine Liste der 1.000 häufigsten Fehler für diesen Crawler-Typ abzurufen, z. B. für Desktop- oder Smartphone-Fehler.
  • Verwenden Sie den Filter über der Tabelle, um bestimmte URLs zu finden.
  • Sehen Sie sich die Fehlerdetails an, indem Sie die Links einzelner URLs oder App-URIs aufrufen.
Auf den Tabs Desktop und Smartphone werden URLs aufgelistet, die Crawling-Fehler verursachen. Außerdem finden Sie dort den Status des Fehlers, eine Liste der Seiten, die auf die URL verweisen, sowie ein Link zu Abruf wie Google, damit Sie Probleme mit dieser URL beheben können.

URL-Fehler als behoben markieren

Nachdem Sie das Problem behoben haben, das zu einem Fehler für eine bestimmte URL geführt hat, können Sie dieses aus der Liste ausblenden. Das Ausblenden kann für einzelne URLs oder für mehrere URLs auf einmal erfolgen. Klicken Sie das Kästchen neben der URL an und klicken Sie auf Als korrigiert markieren. Die URL wird daraufhin aus der Liste entfernt. Diese Markierung dient nur dazu, die Übersichtlichkeit für Sie persönlich zu verbessern. Wenn der Crawler von Google beim nächsten Crawling noch einmal auf den Fehler stößt, erscheint die URL wieder in der Liste, wenn Ihre URL das nächste Mal gecrawlt wird.

URL-Fehlertypen

Häufige URL-Fehler
Fehlertyp Beschreibung
Serverfehler

Wenn diese Fehler für Ihre URLs zurückgegeben werden, konnte der Googlebot nicht auf die URLs zugreifen, es kam zu einer Zeitüberschreitung bei der Anfrage oder Ihre Website war nicht verfügbar. Daher war der Googlebot gezwungen, die Anfrage abzubrechen.

Weitere Informationen zu Serververbindungsfehlern

Soft 404

Wenn ein Besucher auf Ihrer Website eine nicht vorhandene Seite anfordert, gibt der Webserver in der Regel einen 404-Fehler (Nicht gefunden) zurück. Dieser HTTP-Antwortcode teilt sowohl Browsern als auch Suchmaschinen mit, dass die Seite nicht vorhanden ist. Daher wird der Inhalt der Seite (falls vorhanden) nicht von Suchmaschinen gecrawlt oder indexiert.

Ein Soft-404-Fehler tritt auf, wenn Ihr Server eine reale Seite für eine URL zurückgibt, die auf Ihrer Website gar nicht vorhanden ist. Dies geschieht meist, wenn Ihr Server fehlerhafte oder nicht vorhandene URLs als korrekt betrachtet und den Nutzer auf eine gültige Seite weiterleitet, z. B. auf eine Startseite oder auf eine benutzerdefinierte 404-Seite.  

Dies ist ein Problem, weil Suchmaschinen einen Großteil ihrer Zeit damit verbringen, nicht oder oftmals doppelt vorhandene URLs auf Ihrer Website zu crawlen und zu indexieren. Dies kann sich negativ auf das Crawling Ihrer Website auswirken, weil die richtigen, eindeutigen URLs möglicherweise nicht so schnell erkannt oder seltener besucht werden, da der Googlebot so viel Zeit für nicht vorhandene Seiten aufwendet.

Wenn Ihre Seite wirklich nicht mehr existiert und es keinen Ersatz gibt, empfehlen wir Ihnen, als Antwort auf eine Anfrage nach einer nicht vorhandenen Seite den Fehlercode 404 (Nicht gefunden) oder 410 (Entfernt) zurückzugeben. Sie können die Nutzererfahrung verbessern, indem Sie Ihre Website so konfigurieren, dass eine benutzerdefinierte 404-Seite angezeigt wird, wenn ein 404-Antwortcode zurückgegeben wird. Beispielsweise könnten Sie eine Seite mit einer Liste Ihrer am häufigsten besuchten Seiten, einem Link zu Ihrer Startseite oder einem Feedback-Link einrichten. Es reicht jedoch nicht aus, nur einfach eine Seite mit einer 404-Nachricht zu erstellen. Sie müssen außerdem den richtigen HTTP-Antwortcode 404 oder 410 zurückgeben.

404

Der Googlebot hat eine URL angefordert, die es auf Ihrer Website nicht gibt.

404-Fehler beheben

Die meisten 404-Fehler haben keinen Einfluss auf das Ranking Ihrer Website in Google und können daher ignoriert werden. Meist beruhen sie auf Tippfehlern oder falschen Websitekonfigurationen. Die Fehler treten außerdem auf, da sich Google verstärkt bemüht, Links in eingebetteten Inhalten wie JavaScript zu erkennen und zu crawlen. Nachstehend finden Sie einige Ansätze für die Untersuchung und Behebung von 404-Fehlern:

  1. Entscheiden Sie, ob sich eine Fehlerbehebung lohnt. Viele, wenn nicht gar die meisten 404-Fehler brauchen nicht behoben zu werden. Sortieren Sie die 404-Fehler nach Priorität und beheben Sie jene, bei denen es erforderlich ist. Die anderen können Sie ignorieren, weil 404-Fehler die Indexierung und das Ranking Ihrer Website nicht beeinträchtigen.
    • Wenn es für eine gelöschte Seite keinen Ersatz und kein Äquivalent gibt, ist es richtig, einen 404-Fehler anzuzeigen.
    • Wenn eine fehlerhafte URL durch ein Skript generiert wird oder die URL nie auf Ihrer Website vorhanden war, ist dies wahrscheinlich nicht weiter problematisch. Es sieht vielleicht in Ihrem Bericht nicht schön aus, aber Sie brauchen dies nicht zu korrigieren, sofern es sich bei der URL nicht um einen oft falsch geschriebenen Link handelt (siehe unten).
  2. Prüfen Sie, wo sich die ungültigen Links befinden. Klicken Sie auf eine URL, um Informationen zu Über diese Seiten verlinkt aufzurufen. Ihr Ansatz für die Fehlerbehebung hängt davon ab, ob sich der Link auf Ihrer eigenen oder einer anderen Website befindet:
    1. Korrigieren Sie Links von Ihrer eigenen Website zu fehlenden Seiten oder löschen Sie sie gegebenenfalls.
      • Wenn die Inhalte verschoben wurden, fügen Sie eine Weiterleitung hinzu.
      • Wenn Sie Inhalte dauerhaft gelöscht haben und nicht durch neue, ähnliche Inhalte ersetzen möchten, können Sie unter der alten URL einen 404- oder 410-Fehler zurückgeben lassen. Zurzeit behandelt Google den Code 410 (Entfernt) wie den Code 404 (Nicht gefunden). Werden anstelle von 404 oder 410 andere Codes für nicht vorhandene Seiten zurückgegeben oder Nutzer auf eine andere Seite (z. B. die Startseite) weitergeleitet, können Probleme auftreten. Solche Seiten werden als Soft 404-Fehler bezeichnet und können für Nutzer und Suchmaschinen verwirrend sein.
      • Wenn die URL unbekannt ist: Gelegentlich können 404-Fehler für URLs ausgegeben werden, die es auf Ihrer Website nie gegeben hat. Diese unerwarteten URLs können eventuell vom Googlebot generiert werden, wenn er versucht, Links zu folgen, die er in JavaScript, Flash-Dateien oder anderen eingebetteten Inhalten gefunden hat oder die nur in einer Sitemap vorkommen. Beispielsweise können Sie auf Ihrer Website Code wie den folgenden verwenden, um Dateidownloads in Google Analytics zu verfolgen:
        <a href="helloworld.pdf"
          onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
          Hello World PDF</a>

        Hier könnte der Googlebot versuchen, die URL http://www.ihrebeispielurl.de/download-helloworld zu crawlen, obwohl es sich nicht wirklich um eine Seite handelt. In diesem Fall kann der Link im Bericht "Crawling-Fehler" als 404-Fehler (Nicht gefunden) angezeigt werden. Google arbeitet daran, solche Crawling-Fehler zu vermeiden. Dieser Fehler hat keinen Einfluss auf das Crawling oder Ranking Ihrer Website.

    2. Korrigieren Sie falsch geschriebene Links von anderen Websites mit 301-Weiterleitungen. Wenn eine legitime URL einen Fehler enthält, z. B. www.ihrebeispielurl.de/roteshue statt www.ihrebeispielurl.de/roteschuhe, liegt das meist daran, dass sich jemand beim Erstellen des Links zu Ihrer Website vertippt hat. In diesem Fall können Sie eine 301-Weiterleitung von der fehlerhaften URL zur korrekten URL erstellen. Sie können auch den Webmaster der Website kontaktieren, auf der sich der fehlerhafte Link befindet, und ihn bitten, den Link zu korrigieren oder zu entfernen.
  3. Ignorieren Sie die übrigen Fehler. Erstellen Sie keine Scheininhalte, leiten Sie nicht zu Ihrer Startseite weiter und blockieren Sie diese URLs nicht mittels robots.txt. All das macht es für uns schwieriger, die Struktur Ihrer Website zu erkennen und korrekt zu verarbeiten. Wir nennen diese Fehler Soft 404-Fehler. Beachten Sie Folgendes: Durch Klicken auf Dieses Problem wurde behoben im Bericht Crawling-Fehler wird der 404-Fehler nur vorübergehend ausgeblendet. Sobald Google wieder versucht, diese URL zu crawlen, tritt er noch einmal auf. Nachdem Google eine URL erfolgreich gecrawlt hat, kann er endlos weiter versuchen, diese URL zu crawlen. Bei Angabe einer 300er-Weiterleitung wird der nächste Crawling-Versuch jedoch aufgeschoben, möglicherweise für sehr lange Zeit.  Beachten Sie, dass bei Übermittlung eines Antrags auf Entfernung einer URL mit dem Tool zum Entfernen von URLs der Fehler nicht aus dem Bericht entfernt wird.

Wenn Sie auf Ihrer Website eine URL nicht erkennen, können Sie sie ignorieren. Diese Fehler treten auf, wenn eine Person eine nicht vorhandene URL Ihrer Website aufruft, z. B. eine URL im Browser oder den Link einer URL falsch eingibt. Wie oben in der Liste beschrieben, können Sie jedoch einige dieser falsch eingegebenen URLs erfassen.

Zugriff verweigert

In der Regel findet Google Webinhalte durch das Verfolgen von Links von einer Seite zur anderen. Damit der Googlebot eine Seite crawlen kann, muss er darauf zugreifen können. Wenn unerwartet Fehler vom Typ "Zugriff verweigert" auftreten, kann das folgende Ursachen haben:

  • Der Googlebot konnte nicht auf eine URL Ihrer Website zugreifen, da eine Anmeldung erforderlich ist, um einige oder alle Inhalte anzusehen.
  • Ihr Server fordert, dass Nutzer sich über einen Proxy authentifizieren, oder Ihr Hostanbieter verwehrt Google möglicherweise den Zugriff auf Ihre Website.

Fehlerbehebung:

  • Testen Sie, ob Ihre robots.txt-Datei ordnungsgemäß funktioniert, und prüfen Sie, ob Google nicht blockiert wird. Mit dem Tool zum Testen der robots.txt-Datei können Sie genau feststellen, wie der Googlebot den Inhalt Ihrer robots.txt-Datei interpretiert. Der Googlebot ist der Google-User-Agent. 
  • Verwenden Sie das Tool Abruf wie durch Google, um genau nachzuvollziehen, wie der Googlebot Ihre Website sieht. Dies kann beim Beheben von Problemen mit den Inhalten Ihrer Website oder mit der Sichtbarkeit in den Suchergebnissen nützlich sein.
Nicht gefolgt

Fehler des Typs "Nicht gefolgt" werden für URLs zurückgegeben, denen Google nicht vollständig folgen konnte. Außerdem enthalten Sie Informationen zu den Ursachen. Wenn der Googlebot nicht dem vollständigen Pfad von URLs auf Ihrer Website folgen konnte, kann das folgende Ursachen haben:

Flash, JavaScript, aktive Inhalte

Manche Funktionen wie JavaScript, Cookies, Sitzungs-IDs, Frames, DHTML oder Flash können es Suchmaschinen erschweren, Ihre Seite zu crawlen. Überprüfen Sie Folgendes:

  • Sie sollten Ihre Website mit einem Textbrowser wie Lynx überprüfen, da sie für viele Suchmaschinen so wie in Lynx dargestellt wird. Wenn aufgrund von Funktionen wie JavaScript, Cookies, Sitzungs-IDs, Frames, DHTML oder Flash verhindert wird, dass Sie Ihre gesamte Website in einem Textbrowser ansehen können, treten beim Durchsuchen Ihrer Website durch Suchmaschinen-Spider möglicherweise Probleme auf.
  • Mit dem Tool Abruf wie durch Google können Sie genau nachvollziehen, wie der Googlebot Ihre Website sieht.
  • Beachten Sie bei der Verwendung dynamischer Seiten, also zum Beispiel bei Seiten, deren URL ein Fragezeichen (?) enthält, dass nicht alle Suchmaschinen sowohl statische als auch dynamische Seiten crawlen. Im Allgemeinen empfehlen wir, Parameter sparsam zu verwenden und möglichst kurz zu halten. Wenn Sie wissen, wie die Parameter auf Ihrer Website funktionieren, teilen Sie Google mit, wie diese verarbeitet werden sollen.

Weiterleitungen

  • Falls Sie dauerhaft von einer Seite zu einer anderen weiterleiten, sollten Sie den richtigen HTTP-Statuscode verwenden, also 301 – Dauerhaft verschoben.
  • Verwenden Sie nach Möglichkeit absolute statt relative Links. Wenn Sie beispielsweise Links zu einer anderen Seite Ihrer Website erstellen, sollten Sie einen Link zu www.example.com/meinseite.html statt nur zu meineseite.html erstellen.
  • Idealerweise sollte jede Seite Ihrer Website über mindestens einen statischen Textlink zugänglich sein. Verringern Sie allgemein die Anzahl der Weiterleitungen, die zum Verfolgen eines Links von einer Seite zu einer anderen erforderlich sind.
  • Überprüfen Sie, ob Ihre Weiterleitungen auf die richtigen Seiten verweisen. Manchmal stoßen wir auf Weiterleitungen, die auf ungültige URLs oder auf sich selbst verweisen. Durch Letzteres entstehen Loop-Fehler.
  • Nehmen Sie keine weitergeleiteten URLs in Ihre Sitemaps auf.
  • URLs sollten so kurz wie möglich sein. Hängen Sie nicht automatisch Informationen wie Sitzungs-IDs an Ihre Weiterleitungs-URLs an.
  • Sorgen Sie dafür, dass Suchrobots Ihre Website ohne Sitzungs-IDs und ohne Argumente, die ihren Weg durch die Website aufzeichnen, crawlen können.
DNS-Fehler

Wird dieser Fehler für URLs zurückgegeben, konnte der Googlebot entweder nicht mit dem DNS-Server kommunizieren oder der Server hatte keinen Eintrag für Ihre Website.

Weitere Informationen zu DNS-Fehlern

Für mobile Seiten spezifische URL-Fehler (Smartphone)
Fehler Beschreibung
Fehlerhafte Weiterleitungen

Der Fehler Fehlerhafte Weiterleitung wird auf der Seite Crawling > Crawling-Fehler im Abschnitt URL-Fehler auf dem Tab Smartphones angezeigt.

Manche Websites verwenden separate URLs für Desktop- und Smartphone-Nutzer. Außerdem sind Desktop-Seiten unter Umständen so konfiguriert, dass Smartphone-Nutzer zur mobilen Website weitergeleitet werden, etwa m.ihrebeispielurl.de. Eine fehlerhafte Weiterleitung tritt auf, wenn Smartphone-Nutzer von einer Desktop-Seite zu einer mobilen Webseite weitergeleitet werden, die nicht für ihre Suchanfrage relevant ist. Ein typisches Beispiel: Alle Seiten der Desktop-Website leiten Smartphone-Nutzer zur Startseite der für Smartphones optimierten Website weiter. In der folgenden Abbildung sind die fehlerhaften Weiterleitungen durch einen roten Pfeil gekennzeichnet:


Diese Art von Weiterleitung unterbricht das Surfen der Nutzer und kann dazu führen, dass sie diese Website nicht mehr besuchen und sich stattdessen auf anderen Websites umsehen.

Im Folgenden finden Sie einige Tipps, mit denen Sie das Sucherlebnis für Mobilgeräte optimieren und fehlerhafte Weiterleitungen vermeiden können:

  • Führen Sie einige Suchanfragen auf Ihrem Smartphone aus oder konfigurieren Sie Ihren Browser so, dass er sich wie ein Smartphone verhält, um zu sehen, wie Ihre Website reagiert.
  • Nutzen Sie die Beispiel-URLs aus dem Bericht als Ansatz, um das Debugging genau an dem Punkt durchzuführen, an dem das Problem in der Serverkonfiguration besteht.
  • Richten Sie Ihren Server so ein, dass Smartphone-Nutzer zur entsprechenden URL auf Ihrer mobilen Website weitergeleitet werden.
  • Falls für eine Seite auf Ihrer Website keine mobile Version vorhanden ist, verwenden Sie die Desktop-Seite und leiten Sie Nutzer nicht zur Startseite der für Smartphones optimierten Website weiter. In diesem Fall ist es besser, nichts zu tun, anstatt das Falsche zu tun.
  • Ziehen Sie Responsive Webdesign in Betracht, über das für Desktop- und Smartphone-Nutzer dieselben Inhalte bereitgestellt werden.
  • Lesen Sie unsere Empfehlungen zur Verwendung separater URLs für Desktop- und Smartphone-Nutzer.
URLs für Smartphones blockiert

Der Fehler "Blockiert" wird auf dem Tab "Smartphones" auf der Seite Crawling > Crawling-Fehler im Abschnitt "URL-Fehler" angezeigt. Wird der Fehler für eine URL auf Ihrer Website zurückgegeben, wurde die URL in Ihrer robots.txt-Datei für den Smartphone-Googlebot blockiert.

Dies ist nicht unbedingt ein für Smartphones spezifischer Fehler; die entsprechenden Desktop-Seiten könnten ebenfalls blockiert sein. Er weist jedoch häufig darauf hin, dass die robots.txt-Datei geändert werden muss, damit URLs für Smartphones gecrawlt werden können. Wenn die Smartphone-fähigen URLs blockiert sind, können die Seiten für Mobilgeräte nicht gecrawlt werden und werden möglicherweise nicht in den Suchergebnissen angezeigt.

Wenn Sie für URLs Ihrer Website den Smartphone-Crawling-Fehler "Blockiert" erhalten, untersuchen Sie die robots.txt-Datei Ihrer Website und kontrollieren Sie, dass Sie nicht versehentlich Teile Ihrer Website für das Crawling durch den Smartphone-Googlebot blockieren.

Weitere Informationen finden Sie in unseren Empfehlungen.

Flash-Inhalte

Der Fehler Flash-Inhalte wird auf der Seite Crawling > Crawling-Fehler im Abschnitt URL-Fehler auf dem Tab Smartphones angezeigt.

Unsere Algorithmen geben für die URLs in diesem Abschnitt an, dass ihr Inhalt überwiegend im Flash-Format gerendert wird. Auf vielen Geräten können diese Seiten nicht gerendert werden, da Flash von iOS und Android-Versionen ab 4.1 nicht unterstützt wird.

Mithilfe von Responsive Webdesign können Sie Ihre Website für die Nutzer von Mobilgeräten optimieren. Google empfiehlt dies zur Erstellung nutzerfreundlicher Websites für alle Geräte.  In Web Fundamentals, einer umfassenden Ressource zur Webentwicklung für alle Gerätetypen, erfahren Sie mehr zu diesem Thema.

Unabhängig davon, wie Sie an das Problem herangehen, sollten Sie dafür sorgen, dass der Googlebot auf alle Assets Ihrer Website (CSS, JavaScript und Bilder) zugreifen kann und dass diese nicht durch die robots.txt-Datei oder in anderer Form blockiert werden. Unsere Algorithmen benötigen solche externen Dateien, um die Designkonfiguration Ihrer Website zu erfassen und entsprechend zu verarbeiten. Verwenden Sie die Funktion Abruf wie durch Google in der Search Console, um zu prüfen, ob unsere Indexierungsalgorithmen auf Ihre Website zugreifen können.

 
War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?