Блокировка URL при помощи файла robots.txt

О файлах robots.txt

robots.txt – это специальный файл, расположенный в корневом каталоге сайта. Веб-мастер указывает в нем, какие страницы и данные не следует индексировать. Файл содержит директивы, описывающие доступ к разделам сайта (так называемый стандарт исключений для роботов). Например, с его помощью можно создать отдельные настройки доступа для поисковых роботов, предназначенных для мобильных устройств и обычных компьютеров.

Файл robots.txt нужен только для сайтов с контентом, который не нужно включать в индекс Google и других поисковых систем.

Чтобы определить, какие URL на вашем сайте будут доступны роботу Googlebot, используйте Инструмент проверки файла robots.txt.

Ограничения robots.txt

Изменяя файл robots.txt, не забывайте о возможных рисках. Иногда для запрета индексирования определенных URL лучше применять другие методы.

  • Инструкции robots.txt носят рекомендательный характер

    Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их. Чтобы надежно защитить информацию от поисковых роботов, воспользуйтесь другими способами – например, парольной защитой файлов на сервере.
  • Каждый поисковый робот использует собственный алгоритм обработки

    Большинство поисковых систем следуют рекомендациям в robots.txt, однако конкретная интерпретация будет зависеть от настроек робота. Советуем ознакомиться с различиями в синтаксисе других систем.
  • Настройки robots.txt не влияют на ссылки с других сайтов

    Googlebot не будет напрямую индексировать содержимое, указанное в файле robots.txt, однако сможет найти эти страницы по ссылкам с других сайтов. Из-за этого в результатах поиска Google могут появиться URL и другие общедоступные сведения – например, текст ссылок на сайт. Чтобы полностью исключить появление URL в результатах поиска Google, используйте robots.txt в сочетании с другими способами блокировки URL: парольной защитой файлов на сервере или метатегов с директивами по индексированию.
Обратите внимание: одновременное применение нескольких методов может привести к конфликтам. Подробнее о настройке этих параметров можно узнать в статье на сайте Google Developers.

Насколько полезна эта статья?

Отзыв зарегистрирован. Спасибо!
  • Совершенно бесполезна
  • Не очень полезна
  • Частично полезна
  • Очень полезна
  • Чрезвычайно полезна