Vor dem Crawling der Seiten Ihrer Website haben wir versucht, die robots.txt-Datei zu prüfen, um nicht versehentlich Seiten zu crawlen, die Sie durch diese Datei blockiert haben. Wir haben bei diesem Versuch jedoch eine 5xx-Fehlermeldung (Unerreichbar) erhalten. Das Crawling wurde verschoben, damit keine Seiten aus dieser Datei gecrawlt werden.
Eventuell blockiert Ihr Hostanbieter den Googlebot oder die Firewall ist falsch konfiguriert.
Hinweis: Falls sich der Inhalt der robots.txt-Datei in Ihrem Browser von den von Google gecrawlten Inhalten unterscheidet, wenden Sie sich an Ihren Hostanbieter, um Serverregeln zu entfernen, die je nach User-Agent möglicherweise unterschiedliche robots.txt-Inhalte anzeigen.
