Ошибки "Недоступный URL"

При попытке Google обратиться к URL-адресу возникла ошибка. Возможно, возникла ошибка DNS или истек период ожидания ответа на запрос. Возможно, при обращении к странице ваш сервер был отключен или перегружен. Среди возможных причин ошибок "Недоступный URL" можно выделить следующие:

Ошибки 5xx	Полный список кодов состояния HTTP приведен в RFC 2616. Вероятными причинами данной ошибки являются внутренняя ошибка или перегрузка сервера. Если сервер перегружен, он мог вернуть статус перегрузки с запросом к роботу Googlebot выполнять сканирование с меньшей скоростью. В этом случае сканирование дополнительных страниц будет выполнено позже.
Проблема с DNS	При попытке обращения к странице не удалось установить соединение с DNS-сервером. Это могло быть вызвано отключением вашего сервера или проблемами при передаче трафика DNS в ваш домен. Убедитесь в правильности разрешения имени вашего домена и повторите попытку.
Недоступный файл robots.txt	Перед сканированием страниц вашего сайта выполняется обращение к файлу robots.txt, чтобы исключить сканирование страниц, не предназначенных для доступа поисковых систем. Файл robots.txt для вашего сайта был недоступен. Чтобы исключить сканирование страниц, указанных в этом файле, сканирование было отложено. В·таком·случае·сканирование·начнется·только·после·успешного·обращения·к·файлу·robots.txt,·которое·будет·выполнено·позже. Обратите·внимание·на·отличие·от·отклика·на·ошибку·404·при·поиске·файла·robots.txt. Если получена ошибка 404, мы предполагаем, что файла robots.txt не существует, и продолжаем сканирование.
Сеть недоступна	При попытке обращения к странице появляется сетевая ошибка. Эта ошибка регистрируется в случаях, когда при попытке чтения файла с вашего сайта робот Googlebot сталкивается с тем, что время ожидания истекло, или с другой сетевой ошибкой, приводящей к невозможности выполнить запрос. Слишком большое время загрузки страницы, вызванное скоростью формирования динамических страниц Слишком большое время загрузки страницы, вызванное отключением, перегрузкой или неверной конфигурацией сервера Блокировка робота Google со стороны сервера Ошибка настройки DNS.
Сбой соединения	Невозможно установить соединение.
Нет отклика	Сервер завершил соединение до того, как удалось получить отклик.
Усеченный отклик	Сервер завершил соединение до того, как удалось получить полный отклик – возможно, отклик усечен.
В соединении отказано	Сервер отказал в соединении.
Усеченные заголовки	Сервер закрыл подключение до полной передачи заголовков.