Отчет "Ошибки сканирования" по сайтам

Страница Ошибки сканирования содержит информацию о URL, которые робот Google не смог обработать. Также здесь перечислены адреса, возвращающие код ошибки HTTP.

Просмотреть отчет

 

Сведения о статусе сканирования приложений представлены на этой странице.

 

Отчет состоит из двух основных разделов:

  • Ошибки сайта. В этом разделе перечислены основные проблемы за последние 90 дней, из-за которых роботу Googlebot не удалось получить доступ к вашему сайту (нажмите на любое поле с названием ошибки, чтобы открыть диаграмму).
     
  • Ошибки URL. В этом разделе перечислены ошибки, которые возникают, когда Google пытается открыть отдельные страницы (включая страницы мобильных сайтов и приложений Android). Отчеты "Ошибки URL" состоят из нескольких разделов, каждый из которых соответствует определенному механизму сканирования, используемому Google.

Ошибки сайта

Если сайт настроен правильно, то в отчете "Ошибки сканирования" не должно быть ошибок сайта (чаще всего робот Googlebot сканирует именно такие сайты). Если Google обнаружит много ошибок на сайте, мы постараемся отправить вам оповещение, независимо от размера сайта.

При первом просмотре страницы "Ошибки сканирования" вы увидите в разделе "Ошибки сайта" код для каждой из трех категорий: DNS, "Подключение к серверу" и "Доступ к файлу robots.txt". Если вы видите зеленую галочку, значит ошибок не обнаружено. В противном случае можно нажать на название категории, чтобы просмотреть график сканирования за последние 90 дней.

Высокий процент ошибок

Если процент ошибок в любой из трех категорий равен 100, как правило, это означает, что сайт либо не работает, либо в его конфигурации допущены серьезные ошибки. Причин бывает несколько, и вы можете выявить их самостоятельно.

  • Убедитесь, что после реорганизации сайта разрешения для всех его разделов остались прежними.
  • Если вы изменили структуру сайта, проверьте работоспособность внешних ссылок.
  • Проверьте, не возникает ли периодических сбоев в работе новых скриптов.
  • Убедитесь, что все каталоги на месте и не были случайно перемещены или удалены.
Если перечисленных выше проблем на сайте не обнаружено, то высокий процент ошибок может оказаться временным явлением или же может быть вызван внешними факторами (сторонней ссылкой на несуществующие страницы). В любом случае, если мы увидим необычно большое количество ошибок на сайте, вы получите оповещение и сможете выяснить причину.

Низкий процент ошибок

Если процент ошибок для сайта в любой из категорий ниже 100, это может быть кратковременным явлением или же свидетельствовать о перегрузке сайта или ошибках в его конфигурации. Выясните причины самостоятельно или проконсультируйтесь на нашем форуме. Вы можете получить оповещение, даже если в целом процент ошибок очень низкий, поскольку из опыта мы знаем, что ни в одной из этих категорий ошибок быть не должно, если их нет в конфигурации сайта.

Типы ошибок сайта

В разделе Сайт представлены следующие типы ошибок.

Ошибки DNS

Что такое ошибка DNS?

Ошибка DNS означает, что робот Googlebot не может связаться с сервером DNS, либо потому что он не работает, либо из-за проблем с маршрутизацией DNS для вашего домена. Большая часть ошибок и предупреждений, связанных с DNS, не влияет на возможность сканирования страниц роботом Googlebot. Но их появление может означать медленную загрузку, что не нравится посетителям.

Устранение ошибок DNS

  • Убедитесь, что Google может сканировать ваш сайт
    Используйте инструмент Просмотреть как Googlebot для главной страницы сайта. Если он возвращает ее содержание без ошибок, значит можно предположить, что у Google есть доступ к вашему сайту.
  • Если ошибки DNS устранить не удается, обратитесь к своему поставщику услуг DNS.
    Нередко услуги DNS и веб-хостинга предоставляются одним и тем же поставщиком же. 
  • Настройте сервер так, чтобы на запросы с несуществующим именем хоста он выдавал код ошибки HTTP (например, 404 или 500).
    Например, для сайта example.com можно настроить DNS с помощью подстановочных знаков так, чтобы он отвечал на любые запросы к субдоменам (например, foo.example.com, made-up-name.example.com и т. д.). Такой подход можно использовать, если контент на сайте создается пользователями и для каждого аккаунта выделяется отдельный домен (http://username.example.com). Однако в ряде случаев это приводит к дублированию содержания на хостах с разными именами и мешает сканированию сайта роботом Googlebot.

Список ошибок DNS

Тип ошибки Описание
Тайм-аут DNS

Роботу Googlebot не удалось получить доступ к вашему сайту, поскольку DNS-сервер не смог распознать имя хоста (например, www.example.com).

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Свяжитесь с регистратором, чтобы убедиться, что ваш сайт настроен правильно, а также что сервер подключен к Интернету.

DNS-запрос

Роботу Googlebot не удалось получить доступ к вашему сайту, поскольку DNS-сервер не смог распознать имя хоста (например, www.example.com).

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Свяжитесь с регистратором, чтобы убедиться, что ваш сайт настроен правильно, а также что сервер подключен к Интернету.

Ошибки сервера

Что такое ошибка подключения к серверу?

Наличие таких ошибок означает, что робот Googlebot не смог получить доступ к вашему URL, время ожидания запроса истекло или сайт не принимал запросы. Это означает, что Google не может получить доступ к сайту, потому что сервер слишком долго не отвечает или ваш сайт блокирует робота. В этом случае Google перестает отправлять запросы.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок для запросов динамических страниц.
    На динамических сайтах одинаковое содержание может размещаться на страницах с разными URL (например, контент страницы www.example.com/shoes.php?color=red&size=7 идентичен материалам в разделе www.example.com/shoes.php?size=7&color=red).  Значительная задержка отклика у динамических страниц может привести к тайм-ауту. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие значения параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, тайм-аутом или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ Google к сайту.
    Доступ для Google может быть заблокирован в результате системной ошибки, например ошибки в конфигурации DNS, неправильной настройки брандмауэра, защиты от DoS-атак или системы управления контентом. Системы защиты являются важной составляющей хорошо организованного хостинга. Как правило, они настроены таким образом, чтобы автоматически блокировать запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot часто отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать доступ к сайту, не позволяя тем самым выполнить сканирование. В случае такой ошибки необходимо определить, какая часть инфраструктуры вашего веб-сайта запрещает доступ для робота Googlebot, и снять блокировку. Возможно, для этого потребуется обратиться к поставщику услуг хостинга.
  • Контролируйте сканирование и индексирование сайта поисковыми системами.
    Некоторые веб-мастера намеренно закрывают доступ к своим сайтам для робота Googlebot (обычно с помощью брандмауэра, как описано выше). Чаще всего это делается с целью предотвратить сканирование и индексирование какой-либо части сайта. Если вы также используете этот подход, соблюдайте следующие рекомендации: Вы также можете запросить изменение периодичности сканирования роботом Googlebot. Поставщики услуг хостинга также могут подтвердить право собственности на IP-адреса.

Ошибки подключения к серверу

Тип ошибки Описание
Тайм-аут

На сервере истекло время ожидания запроса.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Усеченные заголовки

Роботу Google удалось подключиться к вашему серверу, однако сервер завершил соединение до того, как удалось получить заголовки полностью. Проверьте позже, устранена ли эта ошибка.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Сброс подключения

Запрос, отправленный роботом Googlebot, был успешно обработан сервером, однако содержание по результату запроса получить не удалось, так как произошел сброс подключения. Проверьте позже, устранена ли эта ошибка.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Усеченное тело ответа

Сервер завершил соединение до того, как удалось получить ответ полностью. Тело ответа усечено.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

В подключении отказано

Google не удалось получить доступ к сайту, поскольку сервер отклонил запрос на подключение. Возможно, ваш провайдер хостинга блокирует доступ для робота Googlebot либо допустил ошибки в настройке брандмауэра.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Сбой подключения

Google не удалось подключиться к вашему серверу, поскольку сеть была недоступна или отключена.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Истекло время ожидания подключения

Роботу Googlebot не удалось подключиться к вашему серверу.

Чтобы проверить, может ли робот Googlebot в настоящее время сканировать ваш сайт, воспользуйтесь инструментом Просмотреть как Googlebot. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Убедитесь, что сервер подключен к Интернету. Сервер также может быть перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Ошибка доступа к файлу robots.txt

Что такое ошибка доступа к файлу robots.txt?

Такая ошибка возникает, когда не удается получить файл robots.txt вашего сайта. Перед сканированием сайта и примерно раз в день после этого робот Googlebot загружает созданный вами файл robots.txt, чтобы узнать, какие страницы вы запретили сканировать. Если у вас есть файл robots.txt, но он недоступен (т. е. не возвращает код статуса HTTP 200 или 404), сканирование будет отложено, чтобы избежать индексирования URL, которые вы запретили сканировать. В этом случае робот Googlebot просканирует сайт позднее, после того как сможет получить доступ к файлу robots.txt. Подробнее о протоколе ограничения доступа роботов к содержанию...

Устранение ошибок доступа к файлу robots.txt

  • Файл robots.txt нужен не всегда.
    Файл robots.txt нужен только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы индексировали все страницы вашего сайта, то вам не нужен файл robots.txt, даже пустой. Если файл robots.txt отсутствует, сервер возвратит код статуса 404 в ответ на запрос робота Googlebot, и процесс сканирования сайта будет продолжен. Это не вызовет никаких проблем.
  • Убедитесь, что Google может получить доступ к файлу robots.txt.
    Возможно, ваш сервер вернул ошибку 5xx ("недоступно") при попытке Google получить ваш файл robots.txt. Проверьте, не блокируется ли робот Googlebot вашим поставщиком услуг хостинга.  Если вы используете брандмауэр, убедитесь, что он не блокирует Google.

Ошибки URL

В разделе "Ошибки URL" в отчете есть несколько категорий, в каждой из которых показаны 1000 наиболее распространенных ошибок. Не все ошибки, перечисленные в этом разделе, требуют вашего внимания. Однако вам нужно выявлять ошибки, которые могут оказать негативное влияние на пользователей и помешать роботам Google. Мы упростили эту задачу, разместив в начале списка наиболее важные проблемы (важность определяется такими факторами, как количество ошибок и страниц со ссылками на URL). В частности, следует обратить внимание на ошибки, перечисленные ниже.

  • Исправьте ошибки "Не найдено" для важных URL с переадресацией 301. Ошибки "Не найдено (404)" могут появляться время от времени, но вам нужно обратить внимание на ошибки в URL важных страниц, ссылки на которые есть на других сайтах, старые URL из файла Sitemap, которые уже удалены, URL важных страниц, в которых есть опечатки, и URL популярных страниц, удаленных с сайта. Это позволит сделать наиболее важную для вас информацию доступной для Google и ваших посетителей.
  • Обновите файлы Sitemap.  Удалите неиспользуемые URL из файлов Sitemap. Если вы собираетесь добавить новые файлы Sitemap, то старые нужно удалить (а не перенаправлять их на новые).  
  • Последовательность переадресации должна быть краткой и четкой.  Если у вас есть цепочка последовательной переадресации из нескольких URL (например, страница А > страница Б > страница В > страница Г), ее сканирование и интерпретация могут оказаться проблематичными для робота Googlebot.  Количество переходов в такой последовательности должно быть минимальным.  Подробнее... 
  • Убедитесь, что внешние ссылки на ваши приложения Android настроены правильно.  Подробнее об этом можно узнать на странице Индексирование приложений для Google Поиска.

Просмотр сведений об ошибке URL

Информацию об ошибках URL можно получить разными способами.

  • Нажмите Загрузить, чтобы получить список 1000 наиболее распространенных ошибок для выбранного робота Googlebot ("Интернет", "Смартфоны" и т. д.).
  • Используйте фильтр над таблицей, чтобы найти нужные URL.
  • Чтобы просмотреть сведения об ошибке, нажмите на ссылку для нужного URL или URI приложения.
В сведениях об ошибках URL из разделов "Интернет" и "Обычные телефоны" указывается статус ошибки, список страниц со ссылками на URL, а также ссылка на инструмент Просмотреть как Googlebot. Эта информация поможет устранить проблемы с URL.

Как пометить исправленные ошибки URL

Когда причина ошибки будет устранена, ее можно удалить из списка. Ошибки можно удалять по одной или несколько сразу. Установите флажок возле URL и нажмите Отметить как исправленный. После этого URL будет скрыт.

Если не устранить причину ошибки, URL снова появится в списке после следующего сканирования роботом Googlebot.

Типы ошибок URL

Распространенные ошибки URL
Тип ошибки Описание
Ошибка сервера

Наличие таких ошибок означает, что робот Googlebot не смог получить доступ к вашему URL, время ожидания запроса истекло или сайт не принимал запросы. Поэтому робот Googlebot был вынужден отменить запрос.

Подробнее об ошибках подключения к серверу...

Ошибка 404

Когда посетитель запрашивает страницу, которой нет на вашем сайте, веб-сервер возвращает ошибку 404 ("Не найдено"). Этот код ответа HTTP сообщает браузерам и поисковым системам, что такой страницы не существует. В результате содержание страницы (если оно есть) не сканируется или не индексируется поисковыми системами.

Ложная ошибка 404 регистрируется, когда сервер возвращает существующую страницу по запросу URL, которого нет на вашем сайте. Обычно это происходит потому, что ваш сервер не возвращает ошибку в ответ на запрос с ошибочным или несуществующим URL и перенаправляет пользователя на действующий веб-адрес, например на главную страницу сайта или на специально созданную вами страницу 404.  

В результате поисковые системы обрабатывают несуществующие или повторяющиеся адреса. Это может негативно сказаться на сканировании остальных разделов сайта, потому что существующие уникальные URL будут обнаруживаться нерегулярно и с запозданием из-за того, что робот Googlebot тратит много времени на несуществующие страницы.

Рекомендуем настроить сервер так, чтобы в ответ на запрос несуществующей страницы он всегда возвращал либо код ошибки 404 ("Не найдено"), либо 410 ("Удалено"). Для удобства посетителей вы можете создать собственную страницу 404, которая будет показана, если пользователь запросил несуществующий URL. На такой странице можно разместить, например, список самых популярных разделов сайта, ссылку на главную страницу или контактную информацию. Однако следует помнить, что просто создать страницу, которая выводит сообщение 404, недостаточно. Ваш сервер также должен возвращать правильный код ответа HTTP (404 или 410).

404

Google находит содержание, переходя по ссылкам с одной страницы на другую. Как правило, сообщение "Не найдено" (обычно с кодом статуса HTTP 404) свидетельствует о том, что робот Googlebot попытался получить доступ к несуществующей странице. Это возможно, если последняя была удалена или переименована, а ссылка на нее осталась прежней, или если в ее URL есть опечатка.

Устранение ошибок "Не найдено"

Обычно ошибки 404 не влияют на рейтинг сайта в Google, поэтому их можно игнорировать. Чаще всего они бывают связаны с опечатками, неправильными настройками (например, при автоматической генерации ссылок системой управления контентом) или попытками Google распознать и просканировать ссылки во встроенном контенте (например, в коде JavaScript).  Ниже приведены рекомендации, которые помогут выяснить причины подобных проблем.

  • Просмотреть источник недействительных ссылок можно в разделе Ссылки с этих страниц, нажав на нужный URL.
  • Если источником ссылок является ваш сайт, исправьте или удалите их.
  • Чтобы избежать потерь трафика, используйте переадресацию 301 для ссылок с опечатками, размещенных на других сайтах.
    Так, если URL в ссылке с внешнего сайта незначительно отличается от правильного (например, www.example.com/redshos вместо www.example.com/redshoes), вероятно, при его написании была допущена опечатка. В этом случае рекомендуется не возвращать ошибку 404, а настроить переадресацию 301 на правильный URL, чтобы избежать потери трафика. Вы также можете связаться с веб-мастером сайта и попросить его исправить или удалить недействительную ссылку.

Ошибки 404 не наносят никакого вреда (а во многих случаях даже полезны). Однако предотвратить их появление, контролируя каждую ссылку на свой сайт, практически невозможно. Вместо этого мы рекомендуем вам сосредоточиться на критических ошибках и по мере возможности устранять их.

Когда следует возвращать код статуса 404

Если вы удаляете страницу с сайта, ваши дальнейшие действия будут зависеть от того, хотите вы сохранить контент или нет. 

  • Если вы перемещаете контент на новый URL, настройте переадресацию со старого на новый адрес, чтобы пользователи автоматически попадали на нужную страницу.
  • Если же вы полностью удаляете содержание страницы и на вашем сайте нет похожей информации, старый URL должен возвращать сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 ("Удалено") и 404 ("Не найдено") одинаково. 

Если для несуществующей страницы возвращается код, отличный от 404 и 410, или если вместо возвращения кода 404 выполняется переадресация на другую страницу, это может привести к ошибкам. В таких случаях говорят о ложных ошибках 404, которые вводят в заблуждение не только пользователей, но и поисковые системы.

Непредвиденные ошибки 404

Время от времени на странице ошибок сканирования могут появляться сообщения об ошибках 404 для URL, которых нет на вашем сайте и в Интернете. Робот Googlebot может создавать такие URL при попытке перейти по ссылкам, обнаруженным в коде JavaScript, файлах Flash или другом встроенном содержании.

Например, на вашем сайте может использоваться следующий код для отслеживания загрузки файлов в Google Analytics:


<a href="helloworld.pdf"
  onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
  Всем привет! (PDF)</a>

Обнаружив его, робот Googlebot может попытаться просканировать URL http://www.example.com/download-helloworld, хотя такая страница и не существует. Поэтому для данной ссылки на странице ошибок сканирования в Search Console может появиться сообщение об ошибке 404 ("Не найдено").

Google стремится совершенствовать свои алгоритмы, чтобы выявлять такие проблемы и автоматически решать их. 

Доступ запрещен

Обычно Google находит содержание, переходя по ссылкам с одной страницы на другую. Чтобы просканировать страницу, робот Googlebot должен получить доступ к ней. Ошибки "Доступ запрещен" могут возникнуть по причинам, перечисленным ниже.

  • Роботу Googlebot не удалось получить доступ к URL, поскольку для просмотра содержания на вашем сайте нужно выполнить вход.
  • Файл robots.txt заблокировал роботу Googlebot доступ ко всему сайту либо к отдельным его страницам или каталогам.
  • Для работы с сайтом требуется аутентификация с помощью прокси-сервера, или ваш поставщик услуг хостинга заблокировал доступ к сайту для робота Googlebot.

Как исправить

  • Проверьте работу файла robots.txt и убедитесь, что он не блокирует Google. Инструмент Проверка файла robots.txt позволяет точно увидеть, как робот Googlebot будет интерпретировать содержание файла robots.txt. Агент пользователя Google называется Googlebot. 
  • Чтобы понять, как видит ваш сайт робот Googlebot, используйте инструмент Просмотреть как Googlebot. Это поможет вам, если на сайте есть ошибки или его контент не отображается в результатах поиска Google.
Ошибки невыполнения перехода

В этой категории перечислены URL, на которые робот Googlebot не смог перейти, а также указаны возможные причины. Некоторые из этих причин перечислены ниже.

Flash, JavaScript, активное содержание

Некоторые средства, используемые на сайте, такие как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, могут затруднять процесс его сканирования роботами поисковых систем. Проверьте следующее.

  • Используйте для проверки сайта текстовый браузер (например, Lynx), поскольку большинство поисковых систем видят сайт точно так же, как Lynx. Если вы не сможете просмотреть его целиком из-за таких элементов, как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, то и сканерам поисковых систем тоже будет нелегко его обработать.
  • Используйте инструмент Просмотреть как Googlebot, чтобы увидеть свой сайт в точности так, как его видит робот Googlebot.
  • Если вы используете динамические страницы (например, если в URL содержится символ "?"), следует иметь в виду, что не все сканеры поисковых систем сканируют динамические страницы так же успешно, как и статические. Мы рекомендуем использовать краткие значения параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.

Переадресация

  • Если вы постоянно используете переадресацию с одной страницы на другую, убедитесь, что возвращается правильный код статуса HTTP (301 – Окончательно перемещено).
  • По возможности используйте абсолютные ссылки вместо относительных. (Например, ссылаясь на другую страницу своего сайта, создавайте ссылку на www.example.ru/mypage.html, а не просто на mypage.html.)
  • Рекомендуется, чтобы на каждую страницу сайта вела хотя бы одна статическая текстовая ссылка. Уменьшайте число переадресаций, необходимых для перехода с одной страницы на другую.
  • Убедитесь, что переадресация указывает на правильные страницы! Некоторые страницы указывают сами на себя (ошибка циклической переадресации) или на недействительные URL.
  • Не включайте URL с переадресацией в файлы Sitemap.
  • Длина URL должна быть по возможности минимальной. Убедитесь, что в URL переадресации автоматически не добавляется дополнительная информация (например, идентификатор сеанса).
  • Убедитесь, что поисковые роботы могут сканировать ваш сайт без идентификаторов сеансов и без аргументов, которые позволяют отслеживать пути их передвижения по сайту.
Ошибка DNS

Такие ошибки означают, что робот Googlebot либо не смог получить данные от DNS-сервера, либо на сервере отсутствует запись, связанная с вашим сайтом.

Подробнее об ошибках DNS...

Ошибки URL, характерные только для мобильных устройств (смартфонов)
Ошибка Описание
Неправильные переадресации

Неправильные переадресации отображаются в разделе Ошибки URL на странице Сканирование > Ошибки сканирования > Смартфоны.

На некоторых сайтах обычная и мобильная версии одной и той же страницы имеют разные URL. В этом случае пользователи смартфонов автоматически перенаправляются с обычной версии на мобильную, например m.example.com. О неправильной переадресации говорят, когда страница для компьютера перенаправляет владельцев смартфонов на адрес с нерелевантным контентом (как правило, на главную страницу мобильного сайта). На этой схеме красные стрелки обозначают неправильные переадресации:


Неправильная переадресация вызывает неудобства, и зачастую посетители уходят на другой сайт. Если наши системы обнаруживают такие ошибки, в результатах поиска появляется оповещение:

Ссылка может вести на главную страницу сайта.

Пользователь может открыть сайт, нажав кнопку Все равно перейти. Поскольку скорость мобильного интернет-подключения обычно невысока, пользователь потратит больше времени, чтобы найти нужную страницу. Неправильная переадресация также приводит к проблемам со сканированием, индексацией и ранжированием страниц.

Чтобы оптимизировать свой сайт для смартфонов и избежать ошибок переадресации, выполните следующие действия:

  • Поищите контент своего сайта при помощи смартфона или эмуляции мобильного устройства в компьютерном браузере.
  • Воспользуйтесь примерами URL, приведенными в отчете, чтобы выявить неполадки в настройках сервера.
  • Настройте сервер так, чтобы пользователи смартфонов перенаправлялись на аналогичные страницы мобильного сайта.
  • Если у страницы нет мобильной версии, не настраивайте перенаправление. Пусть на смартфонах открывается обычная версия. В таком случае ошибок не будет.
  • Используйте адаптивный дизайн, который оптимизирует одно и то же содержание как для компьютеров, так и для мобильных устройств.
  • Ознакомьтесь с рекомендациями по настройке разных URL для обычных и мобильных страниц.
Страницы скрыты от робота Googlebot для смартфонов

Ошибки "Заблокировано" отображаются в разделе "Ошибки URL" на странице Сканирование > Ошибки сканирования > Смартфоны. Если такая ошибка возвращается в отношении URL на вашем сайте, это означает, что робот Googlebot для смартфонов не может получить доступ к этому URL из-за настроек файла robots.txt.

Эта ошибка может касаться не только смартфонов, например соответствующие страницы для ПК тоже могут быть заблокированы. Однако это сообщение зачастую указывает на то, что необходимо разрешить сканирование мобильных версий страниц в файле robots.txt. Помните, что если запретить сканирование мобильных версий страниц, они не будут появляться в результатах поиска.

Решить эту проблему несложно: проверьте файл robots.txt на своем сайте и убедитесь, что необходимые страницы не были случайно скрыты от робота Googlebot для смартфонов.

Дополнительные рекомендации относительно URL для мобильных устройств можно получить на этой странице.

Контент в формате Flash

Ошибки c Flash-контентом отображаются в разделе Ошибки URL на странице Сканирование > Ошибки сканирования > Смартфоны.

Там приводятся URL страниц, которые содержат в основном Flash-контент. На многих устройствах эти страницы отображаются неправильно, потому что Flash не поддерживается в iOS и Android версии 4.1 и более поздних. В результатах поиска Google рядом с этими URL показывается следующее сообщение:

Требуется плагин Flash. Сайт может не отображаться на вашем устройстве.

Чтобы у пользователей мобильных устройств не возникало проблем с просмотром вашего сайта, рекомендуем перейти на адаптивный дизайн.  Подробную информацию об этом вы найдете в руководстве Основы веб-дизайна – учебнике по разработке сайтов, подходящих для любых устройств.

Какой бы подход вы ни выбрали для решения этой проблемы, не запрещайте роботу Googlebot доступ к ресурсам сайта (CSS, JavaScript и изображения) и не блокируйте сканирование посредством файла robots.txt или иным образом. Это необходимо для распознавания конфигурации и правильного отображения сайта. Вы можете проверить доступность сайта для сканирования на странице Просмотреть как Googlebot в Search Console.

Ошибки, связанные с Google Новостями

 

Чтобы получать отчеты об ошибках, связанных с Google Новостями, издателям нужно зарегистрировать свой сайт в этом сервисе, создать аккаунт Search Console и добавить в него этот сайт. Затем выполните следующие действия в Search Console:

  • Выберите сайт на главной странице.
  • В Панели инструментов выберите Сканирование > Ошибки сканирования.
  • На вкладке Новости перечислены ошибки сканирования вашего новостного контента.
  • Ошибки сканирования отсортированы по категориям, например "Получение статьи" или "Ошибка названия." При нажатии на одну из этих категорий будет выведен список проблемных URL, и ошибок сканирования, порождаемых ими.
Обратите внимание! Индекс новостей создается автоматически. Мы стараемся сканировать как можно больше материалов, но не можем гарантировать, что в него попадут Благодарим за понимание.
Ошибка Описание
Статья непропорционально короткая

Текст статьи, извлеченный со страницы HTML, слишком короткий по сравнению с другими блоками текста без ссылок на странице. Это применимо к большинству страниц, на которых отображаются сводки новостей или мультимедийное содержание, а не полные новостные статьи. Скорее всего, это неправильный текст.

Рекомендации

Часто причиной этой проблемы являются следующие условия:

  • Слишком много фрагментов для связанных статей– попробуйте сделать эти фрагменты активируемыми по нажатию, чтобы помочь нашему средству извлечения.
  • Функции с длинным описанием, например "Отправить эту статью друзьям". Попробуйте установить стиль display:none или visibility:hidden, чтобы сделать текст невидимым или динамически создавать фрагменты HTML-кода при помощи JavaScript.
  • Комментарии пользователя – комментарии можно включить в кадр iframe, динамически подгружать их при помощи AJAX или переместить на соседнюю страницу.
Статья фрагментирована

Текст статьи, извлеченный со страницы, состоит из отдельных предложений, не сгруппированных в абзацы. Скорее всего, это неправильный текст.

Рекомендации

  • Желательно, чтобы каждый абзац состоял из нескольких предложений.
  • Проверьте пунктуацию в предложениях.
  • Убедитесь, что в абзацах не слишком часто используются теги <br> и <p>. Избегайте нецелесообразного разбиения текста.
  • Удалите со страницы часть текста, не относящегося к статье.
Статья слишком длинная

По всей вероятности, текст статьи, извлеченный со страницы HTML, слишком длинный для новости. Скорее всего это неправильный текст. К числу распространенных причин относятся статьи, содержащие пользовательские комментарии, или HTML-раскладки, в которых есть дополнительные материалы.

Рекомендации

Удалите со страницы часть текста, не относящегося к статье. Если пользователи могут оставлять комментарии на странице, попробуйте один из следующих способов:

  • Включите их в кадр iframe.
  • Используйте динамическую подгрузку с помощью AJAX.
  • Переместите часть комментариев на соседнюю страницу.
Статья слишком короткая

По всей вероятности, текст статьи, извлеченный со страницы HTML, включает слишком мало слов для новостной статьи. Это применимо к большинству страниц, на которых отображаются сводки новостей или мультимедийное содержание, а не полные новостные статьи. Скорее всего, это неправильный текст.

Рекомендации

  • Отформатируйте статьи, разделив текст на абзацы, состоящие из нескольких предложений. Если статья слишком короткая, она не будет включена.
  • В статье должно быть более 80 слов.
Дата не найдена

Google не удалось определить дату публикации статьи.

Рекомендации

Следуйте рекомендациям по форматированию дат ниже.

  • В отдельную строку HTML-кода, между заголовком статьи и самим текстом, поместите точную дату и время размещения статьи.
  • Удалите любые другие даты из HTML-кода страницы со статьей, чтобы избежать ошибки при определении даты публикации поисковым роботом.
  • Если требуется использовать метатег даты, сперва сообщите нам об этом. Он должен иметь вид <meta name="DC.date.issued" content="ГГГГ-ММ-ДД">. Здесь дата указывается в формате W3C – полная дата (ГГГГ-ММ-ДД) или полная дата и время (ГГГГ-ММ-ДДTчч:мм:ссСЧП) с суффиксом часового пояса (СЧП).
  • Создайте файл Sitemap для новостей. Тег <publication_date> позволит Google правильно определить дату публикации статьи.
Дата слишком давняя

Дата этой статьи, обнаруженная в теге publication_date в файле Sitemap или непосредственно на HTML-странице, слишком давняя.

Рекомендации

  • Статья должна быть опубликована не более двух дней назад. В настоящее время собираются только статьи, опубликованные в течение последних двух дней.
  • Следуйте рекомендациям по форматированию дат ниже.
Пустая статья

По всей вероятности, со страницы HTML извлечен пустой текст статьи.

Рекомендации

  • Убедитесь, что полный текст вашей статьи есть в исходном коде страниц статьи (а не встроен, например, в файл JavaScript или в окно iframe).
  • Убедитесь, что в исходном коде статей не используется стиль, например display:none или visibility:hidden.
  • Убедитесь, что ссылки на статьи ведут непосредственно на страницы статей, а не на промежуточную страницу с функцией переадресации JavaScript.
Ошибка при извлечении

Нам не удалось извлечь статью со страницы. Это происходит, когда мы не можем определить действительное название, тело статьи или временную метку для статьи. Мы перечисляем URL-адреса с этой ошибкой, чтобы предоставить вам сведения о том, почему некоторые статьи могут не появиться в Google Новостях.

Рекомендации

  • Убедитесь, что название, текст и временная метка статей доступны для сканирования (присутствуют в виде текста, а не как изображения). В настоящий момент эта ошибка выводится преимущественно для справки. Мы постоянно улучшаем методы извлечения, чтобы эта ошибка появлялась как можно реже.
  • Отправьте файл Sitemap для новостей.
Не найдено ни одного предложения

По всей вероятности, текст статьи, извлеченный со страницы HTML, не содержит словосочетаний со знаками препинания. Эта ошибка позволяет предотвратить неправильное разбиение текста.

Рекомендации

  • Если статья не содержит словосочетаний со знаками препинания, ее не удастся включить в Google Новости. Убедитесь, что текст статей состоит из предложений и что теги <br> и <p> в абзацах используются не слишком часто.
  • Полный текст каждой статьи должен быть доступен в исходном коде соответствующих страниц (а не встроен в файл JavaScript, например).
  • Проверьте ссылки на статьи. Нужно, чтобы они вели непосредственно на страницы статей, а не на промежуточную страницу с переадресацией JavaScript.
Внешняя переадресация

Раздел или страница статьи выполняет переадресацию на URL в другом домене.

Рекомендации

  • Все страницы разделов и статьи должны находиться в домене сайта, включенного в Google Новости.
  • Если вы не используете внешние переадресации, убедитесь, что никто посторонний не изменял ваш сайт. Подробнее о взломанных сайтах...
Страница слишком велика

Превышен максимально допустимый размер раздела или страницы статьи.

Рекомендация

  • Максимально допустимый размер исходной страницы HTML – 256 КБ.
Недопустимое название

Название статьи, извлеченное с HTML-страницы, позволяет предположить, что она не является новостной статьей.

Рекомендация

  • Часто эту проблему можно решить, включив название статьи в тег <title> страницы и сделав это название заметным для читателей, например с помощью тега <h1>. Подробнее...
Заголовок не найден

Нам не удалось извлечь заголовок статьи со страницы HTML.

Рекомендации

Не удалось распаковать

Робот Googlebot определил, что страница сжата, но не смог ее распаковать. Это может быть связано с нестабильным интернет-подключением, а также неправильной конфигурацией веб-сервера или ошибками его ПО.

Рекомендация

  • Проверьте сеть/веб-сервер.
Неподдерживаемый тип содержания

Тип содержания HTTP этой страницы не поддерживается Google Новостями.

Рекомендация

  • Для статей атрибут content-type должен иметь значение text/html, text/plain или application/xhtml+xml.
Была ли эта статья полезна?