О файле robots.txt

Как работать с инструментом проверки файла robots.txt

С помощью этого инструмента вы можете проверить, запрещает ли файл robots.txt роботу Googlebot сканировать определенные URL на вашем сайте. Например, у вас есть изображение, которое вы не хотите показывать в результатах поиска Google по картинкам. Инструмент позволит вам узнать, закрыт ли роботу Googlebot-Image доступ к этому файлу.

 

Попробовать

 

Вам потребуется только указать нужный URL. После этого инструмент проверки обработает файл robots.txt так, как это сделал бы робот Googlebot, и определит, закрыт ли доступ к этому адресу.

Процедура проверки

  1. В Google Search Console выберите ваш сайт, перейдите к инструменту проверки и просмотрите содержание файла robots.txt. Синтаксические и логические ошибки в нем будут выделены, а их количество – указано под окном редактирования. 
  2. Внизу на странице интерфейса укажите нужный URL в соответствующем окне.
  3. В раскрывающемся меню справа выберите робота.
  4. Нажмите кнопку ПРОВЕРИТЬ.
  5. Отобразится статус ДОСТУПЕН или НЕДОСТУПЕН. В первом случае роботы Google могут переходить по указанному вами адресу, а во втором – нет.
  6. При необходимости внесите изменения в меню и выполните проверку заново. Внимание! Эти исправления не будут автоматически внесены в файл robots.txt на вашем сайте.
  7. Скопируйте измененное содержание и добавьте его в файл robots.txt на вашем веб-сервере.

На что следует обратить внимание

  • Изменения, внесенные в редакторе, не сохраняются на веб-сервере. Необходимо скопировать полученный код и вставить его в файл robots.txt.
  • Инструмент проверки файла robots.txt предоставляет результаты только для агентов пользователя Google и роботов, относящихся к Google (например, для робота Googlebot). Мы не можем гарантировать, что другие поисковые роботы будут так же интерпретировать содержание вашего файла.
Эта информация оказалась полезной?
Как можно улучшить эту статью?