Sicherstellen, dass Googlebot nicht blockiert wird

Wenn der Zugriff des Googlebots auf eine Website blockiert wird, kann ihr Inhalt eventuell nicht mehr richtig durch den Googlebot gecrawlt und indexiert werden. Dies wiederum kann zu einem Ranking-Verlust in den Suchergebnissen von Google führen. Leider blockieren viele Webmaster versehentlich den Zugriff des Googlebot auf ihre Website. Oft ist ihnen das gar nicht bewusst, denn der Googlebot muss auf eine Website zugreifen können, um die Anweisungen in der zugehörigen robots.txt-Datei zu finden und zu berücksichtigen.

Wenn Google auf dieses Problem aufmerksam wird, informieren wir die Eigentümer verifizierter Websites möglicherweise über die Webmaster-Tools darüber, dass der Googlebot blockiert wird.

Problemdiagnose bei blockiertem Googlebot

Wenn Sie vermuten oder von uns darüber benachrichtigt wurden, dass der Zugriff des Googlebots auf Ihre Website blockiert sein könnte, überprüfen Sie Folgendes in den Webmaster-Tools:

  • Crawling-Fehler: Auf dieser Seite werden Fehler aufgeführt, die der Googlebot in letzter Zeit beim Crawlen Ihrer Website festgestellt hat.
  • Ansicht von Google. Diese Seite ermöglicht es Ihnen, eine bestimmte Webseite von Google crawlen zu lassen und kurz darauf die Ergebnisse anzusehen, einschließlich der eventuell aufgetretenen Fehler.

Weitere Hilfe bei der Diagnose und Behebung derartiger Probleme finden Sie im Forum für Webmaster.

Häufig auftretende Ursachen

Wenn der Googlebot nicht auf Ihre Website zugreifen kann, liegt das wahrscheinlich an einer der folgenden Ursachen.

DNS-Probleme

Bei dem Versuch, auf Ihre Website zuzugreifen, war keine Kommunikation mit dem DNS-Server möglich. Wahrscheinlich ist Ihr DNS-Server nicht erreichbar oder es liegt ein Problem mit dem DNS-Routing zu Ihrer Domain vor.

Um das Problem zu beheben, klären Sie mit Ihrem DNS-Provider, ob der Googlebot möglicherweise versehentlich blockiert wird.

Firewalls

In bestimmten Fällen kann der Googlebot eine Website nicht crawlen, weil die Firewall oder das DoS-Schutzsystem falsch konfiguriert wurde. Manchmal geht der Fehler auch vom Content Management-System der Website aus. Schutzsysteme sind ein wichtiger Bestandteil von gutem Hosting und werden häufig so konfiguriert, dass ein ungewöhnlich hohes Aufkommen an Serveranfragen automatisch blockiert wird. Da der Googlebot häufig mehr Anfragen als ein gewöhnlicher Nutzer stellt, kann es passieren, dass er die Schutzsysteme auslöst, dann blockiert wird und Ihre Website nicht mehr crawlen kann.

Um ein solches Problem zu beheben, finden Sie heraus, welcher Teil Ihrer Website-Infrastruktur den Googlebot blockiert, und beseitigen Sie die Blockade. Möglicherweise haben Sie keinen Einfluss auf die Firewall-Einstellungen. Wenden Sie sich in dem Fall an Ihren Hostanbieter.

Absichtliches Blockieren durch den Webmaster

Einige Webmaster verhindern absichtlich, dass der Googlebot ihre Websites erreicht, zum Beispiel durch eine Firewall. Meist steht dahinter nicht das Ziel, den Googlebot völlig zu blockieren, sondern zu steuern, wie die Website gecrawlt und indexiert wird. Überprüfen Sie in dem Fall Folgendes:

Weitere Hilfe

Weitere Hilfe bei der Diagnose und Behebung solcher Probleme finden Sie im Forum für Webmaster.