Suche
Suche löschen
Suche schließen
Google-Apps
Hauptmenü
true

robots.txt-Abruffehler

Was ist ein robots.txt-Abruffehler?

Bevor der Googlebot Ihre Website crawlt, greift er auf Ihre robots.txt-Datei zu, um herauszufinden, ob Ihre Website verhindert, dass Google Seiten oder URLs crawlt. Wenn Ihre robots.txt-Datei vorhanden, aber nicht erreichbar ist, d. h., wenn kein HTTP-Statuscode 200 oder 404 zurückgegeben wird, verschieben wir unser Crawling, da wir keine nicht zugelassenen URLs crawlen. Sobald der Zugriff auf Ihre robots.txt-Datei möglich ist, wird Ihre Website erneut vom Googlebot besucht und gecrawlt. Weitere Informationen zum Protokoll zum Ausschluss von Robots

Fehler mit der robots.txt-Datei beheben

  • Sie brauchen nicht immer eine robots.txt-Datei.
    Sie benötigen die robots.txt-Datei nur, wenn Ihre Website Inhalte aufweist, die nicht von den Suchmaschinen indexiert werden sollen. Wenn Sie möchten, dass Suchmaschinen alle Ihre Websiteinhalte indexieren, benötigen Sie keine robots.txt-Datei – nicht einmal eine leere. Wenn keine robots.txt-Datei für Ihre Website vorhanden ist, gibt Ihr Server den Statuscode 404 zurück, sobald der Googlebot die Datei anfordert, und Google fährt mit dem Crawling Ihrer Website fort. Das ist kein Problem.
  • Vergewissern Sie sich, dass Google auf Ihre robots.txt-Datei zugreifen kann.
    Es ist jedoch möglich, dass wir beim Versuch, Ihre robots.txt-Datei abzurufen, eine 5xx-Fehlermeldung (Unerreichbar) erhalten. Vergewissern Sie sich, dass Ihr Hostanbieter den Googlebot nicht blockiert. Wenn Sie eine Firewall verwenden, sollte Sie sicherstellen, dass diese Google nicht blockiert.
War dieser Artikel hilfreich?
Wie können wir die Seite verbessern?