Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню

Блокировка URL при помощи файла robots.txt

О файлах robots.txt

robots.txt – это специальный файл, расположенный в корневом каталоге сайта. Веб-мастер указывает в нем, какие страницы и данные не следует индексировать. Файл содержит директивы, описывающие доступ к разделам сайта (так называемый стандарт исключений для роботов). Например, с его помощью можно создать отдельные настройки доступа для поисковых роботов, предназначенных для мобильных устройств и обычных компьютеров.

Для чего нужен файл robots.txt?

Неграфические файлы

В случае с неграфическими файлами (например, веб-страницами) файл robots.txt используется для управления сканированием. Например, можно запретить сканирование похожих или ненужных страниц, чтобы не перегружать сервер. Нельзя использовать файл robots.txt, чтобы скрыть страницу из результатов Google Поиска. На нее могут ссылаться другие страницы, и она все равно будет проиндексирована. Чтобы заблокировать страницу в результатах поиска, применяйте тег noindex или директиву или установите пароль.

Графические файлы

Файл robots.txt может использоваться для скрытия изображений из результатов поиска. Однако они будут доступны посетителям, и их все ещё можно будет открыть с других страниц.

Файлы ресурсов

С помощью файла robots.txt можно блокировать неважные изображения, скрипты, файлы стилей и другие некритические ресурсы страниц. Если это помешает сканеру Google анализировать страницы, не блокируйте файлы.

Ограничения robots.txt

Изменяя файл robots.txt, не забывайте о связанных с этим методом рисках. Иногда для запрета индексирования определенных URL лучше применять другие методы.

  • Инструкции robots.txt носят рекомендательный характер

    Настройки файла robots.txt являются указаниями, а не прямыми командами. Googlebot и большинство других поисковых роботов следуют инструкциям robots.txt, однако некоторые системы могут игнорировать их. Чтобы надежно защитить информацию от поисковых роботов, воспользуйтесь другими способами – например, парольной защитой файлов на сервере.
  • Каждый поисковый робот использует собственный алгоритм обработки

    Большинство поисковых систем следуют рекомендациям в robots.txt, однако конкретная интерпретация будет зависеть от настроек робота. Советуем ознакомиться с различиями в синтаксисе других систем.
  • Настройки robots.txt не влияют на ссылки с других сайтов

    Googlebot не будет напрямую индексировать содержимое, указанное в файле robots.txt, однако сможет найти эти страницы по ссылкам с других сайтов. Таким образом, URL, а также другие общедоступные сведения, например текст ссылок на сайт, могут появиться в результатах поиска Google. Чтобы полностью исключить появление URL в результатах поиска Google, используйте другие способы: парольную защиту файлов на сервере или метатеги с директивами по индексированию.
Обратите внимание: одновременное применение нескольких методов может привести к конфликтам. Подробнее о настройке этих параметров можно узнать в статье на сайте Google Developers.
Была ли эта статья полезна?