Как работать с инструментом проверки файла robots.txt

С помощью этого инструмента вы можете узнать, запрещает ли файл robots.txt поисковым роботам Google сканировать определенные URL на вашем сайте. Предположим, у вас есть изображение, которое не должно появляться в результатах поиска Google Картинок. Наш инструмент позволит вам проверить, закрыт ли роботу Googlebot-Image доступ к этому файлу.

 

Попробовать

 

Вам потребуется только указать нужный URL. После этого инструмент проверки обработает файл robots.txt так, как это сделал бы робот Googlebot, и определит, закрыт ли доступ к этому адресу.

Процедура проверки

  1. В Search Console выберите ваш сайт, перейдите к инструменту проверки и изучите код в файле robots.txt. Синтаксические и логические ошибки в нем будут выделены, а их количество – указано под окном редактирования. 
  2. Внизу на странице интерфейса укажите нужный URL в специальном текстовом поле.
  3. В раскрывающемся меню справа выберите робота.
  4. Нажмите кнопку ПРОВЕРИТЬ.
  5. Отобразится статус ДОСТУПЕН или НЕДОСТУПЕН. В первом случае роботы Google могут переходить по указанному вами адресу, а во втором – нет.
  6. При необходимости внесите изменения в код, указанный в Search Console, и выполните проверку заново. Внимание! Эти исправления не будут автоматически внесены в файл robots.txt на вашем сайте.
  7. Скопируйте измененный код и добавьте его в файл robots.txt на вашем веб-сервере.

На что следует обратить внимание

  • Инструмент работает только с ресурсами с префиксом в URL и несовместим с доменными ресурсами.
  • Изменения, внесенные в редакторе, не сохраняются на веб-сервере. Необходимо скопировать полученный код и вставить его в файл robots.txt.
  • Инструмент проверки файла robots.txt предоставляет результаты только для агентов пользователя Google и роботов, относящихся к Google (например, для робота Googlebot). Мы не можем гарантировать, что другие поисковые роботы будут обрабатывать код в вашем файле robots.txt аналогичным образом.
Эта информация оказалась полезной?
Как можно улучшить эту статью?