robots.txt ist der Name einer Textdatei, die Suchmaschinen mitteilt, welche URLs oder Verzeichnisse einer Website nicht gecrawlt werden sollen. Diese Datei enthält Regeln, mit denen einzelne URLs oder ganze Verzeichnisse für bestimmte Crawler (oder alle Crawler) blockiert werden. Sie wird vom Websiteinhaber erstellt und im Basisverzeichnis der Website gespeichert. So wird verhindert, dass die Website Crawling-Anfragen für Seiten oder Ressourcen (z. B. Bilder) ausführt, die für die Anzeige in den Suchergebnissen nicht wichtig genug sind. Wenn Sie eine kleine Website haben, benötigen Sie wahrscheinlich keine robots.txt-Datei.
Verwenden Sie die robots.txt-Datei nicht, um zu verhindern, dass eine Seite in den Suchergebnissen erscheint, sondern nur, um zu verhindern, dass sie gecrawlt wird. Es gibt andere Verfahren, mit denen Sie verhindern können, dass eine Seite oder ein Bild in den Suchergebnissen erscheint. Weitere Informationen zu robots.txt
