robots.txt-Datei mit dem robots.txt-Tester testen

Mit dem robots.txt-Tester können Sie feststellen, ob durch Ihre robots.txt-Datei bestimmte URLs Ihrer Website für die Web-Crawler von Google blockiert werden. Beispielsweise können Sie dieses Tool verwenden, um zu testen, ob der Googlebot-Image-Crawler die URL eines Bilds crawlen kann, das Sie für die Google Bildersuche blockieren möchten.

 

robots.txt-Tester öffnen

 

Sie können eine URL beim robots.txt-Tester einreichen. Das Tool überprüft Ihre robots.txt-Datei genau wie der Googlebot. Dabei wird festgestellt, ob Ihre URL korrekt blockiert wurde.

robots.txt-Datei testen

1. Öffnen Sie den Tester für Ihre Website und scrollen Sie durch den Code der robots.txt-Datei, um die hervorgehobenen Syntaxwarnungen und logischen Fehler zu ermitteln. Unter dem Editor sehen Sie die Anzahl an Syntaxwarnungen und logischen Fehlern in Ihrer Datei. 
2. Geben Sie in das Textfeld unten auf der Seite die URL einer Seite auf Ihrer Website ein.
3. Wählen Sie in der Drop-down-Liste rechts neben dem Textfeld den User-Agent aus, den Sie simulieren möchten.
4. Klicken Sie auf die Schaltfläche Testen, um den Test zu starten.
5. Überprüfen Sie, ob die Schaltfläche Testen nun Zulässig oder Blockiert lautet, um herauszufinden, ob die von Ihnen eingegebene URL für die Web-Crawler von Google blockiert ist.
6. Bearbeiten Sie die Datei und führen Sie den Test gegebenenfalls noch einmal durch. Hinweis: Änderungen, die Sie auf der Seite vornehmen, werden nicht auf Ihrer Website gespeichert. Fahren Sie mit dem nächsten Schritt fort.
7. Fügen Sie die Änderungen in die robots.txt-Datei auf Ihrer Website ein. Dieses Tool nimmt keine Änderungen an der Datei auf Ihrer Website vor, es führt nur Tests in der im Tool gehosteten Kopie durch.

Einschränkungen des robots.txt-Testers:

• Das Tool funktioniert nur mit URL-Präfix-Properties, nicht mit Domain-Properties.
• Die im Editor vorgenommenen Änderungen werden nicht automatisch auf Ihrem Webserver gespeichert. Sie müssen die Inhalte aus dem Editor kopieren und in die robots.txt-Datei auf Ihrem Server einfügen.
• Mit dem robots.txt-Tester wird Ihre robots.txt-Datei nur für User-Agents oder Webcrawler von Google, wie den Googlebot, getestet. Andere Crawler interpretieren die robots.txt-Datei möglicherweise anders.