Файл robots.txt недоступен

Перед сканированием вашего сайта мы выполнили обращение к файлу robots.txt, чтобы исключить сканирование страниц, которые не предназначены для показа в результатах поиска. Однако при попытке получить доступ к этому файлу ваш сервер вернул ошибку 5xx (недоступен). Чтобы исключить сканирование страниц, указанных в этом файле, оно было отложено.

Возможно, ваш хостинг-провайдер заблокировал доступ для робота Googlebot или были допущены ошибки в настройке брандмауэра.

Примечание. Если вы видите содержимое файла robots.txt, отличающееся от того, что обнаружили роботы Google, попросите своего хостинг-провайдера удалить все правила нашего сервера, которые могут влиять на передачу агентам пользователей разного содержимого вашего файла robots.txt.

Эта информация оказалась полезной?

Как можно улучшить эту статью?
true
Не знакомы с Search Console?

Ещё не пользовались Search Console? Этот сервис пригодится вам, если вы специалист по поисковой оптимизации, разработчик сайтов или только начали изучать веб-технологии. Начните знакомство с Search Console отсюда.

Поиск
Очистить поле поиска
Закрыть поиск
Приложения Google
Главное меню