robots.txt – это текстовый файл, который создается владельцем сайта и указывает поисковым системам на то, какие URL или каталоги ресурса не следует сканировать. Правила в этом файле запрещают отдельным или всем поисковым роботам сканировать определенные страницы или целые каталоги. Файл хранится в корневом каталоге сайта. Поэтому робот сразу обнаруживает его и вашему серверу не приходится обрабатывать запросы на сканирование страниц или ресурсов (например, изображений), которые не предназначены для показа в результатах поиска. Небольшим сайтам файл robots.txt обычно не нужен.
Файл robots.txt предназначен только для того, чтобы запретить сканирование тех или иных страниц. Если вам нужно предотвратить появление страницы или изображения в результатах поиска, используйте другие средства. Подробнее о файле robots.txt…
