Перед сканированием вашего сайта мы выполнили обращение к файлу robots.txt, чтобы исключить сканирование страниц, которые не предназначены для показа в результатах поиска. Однако при попытке получить доступ к этому файлу ваш сервер вернул ошибку 5xx (недоступен). Чтобы исключить сканирование страниц, указанных в этом файле, оно было отложено.
Возможно, ваш хостинг-провайдер заблокировал доступ для робота Googlebot или были допущены ошибки в настройке брандмауэра.
Примечание. Если вы видите содержимое файла robots.txt, отличающееся от того, что обнаружили роботы Google, попросите своего хостинг-провайдера удалить все правила нашего сервера, которые могут влиять на передачу агентам пользователей разного содержимого вашего файла robots.txt.
