Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню

Отчет о статусе сканирования сайтов

Из-за ошибок сканирования ваши страницы могут не появляться в результатах поиска Google

Отчет Ошибки сканирования содержит информацию об URL, которые робот Google не смог обработать. Также здесь перечислены адреса, которые возвращают код ошибки HTTP.

Просмотреть отчет

 

Сведения о статусе сканирования приложений представлены на этой странице.

 

Отчет состоит из двух основных разделов:

  • Ошибки сайта. В этом разделе перечислены основные проблемы за последние 90 дней, из-за которых роботу Googlebot не удалось получить доступ ко всему вашему сайту. Нажмите на любое окно с названием ошибки, чтобы просмотреть диаграмму.
     
  • Ошибки URL. В этом разделе перечислены ошибки, которые появлялись, когда робот Googlebot пытался обработать отдельные страницы на обычном сайте или его мобильной версии. Отчеты "Ошибки URL" состоят из нескольких разделов, каждый из которых соответствует определенному алгоритму сканирования, используемому Google.

Ошибки сайта

Если сайт настроен правильно, то в разделе Ошибки сканирования, как правило, не должно быть сообщений. Если Google обнаружит много ошибок на сайте, мы постараемся отправить вам оповещение, независимо от размера сайта.

При первом просмотре страницы "Ошибки сканирования" вы увидите в разделе "Ошибки сайта" код для каждой из трех категорий: DNS, "Подключение к серверу" и "Доступ к файлу robots.txt". Если вы видите зеленую галочку, значит ошибок не обнаружено. В противном случае можно нажать на название категории, чтобы просмотреть график сканирования за последние 90 дней.

Высокий процент ошибок

Если процент ошибок в любой из трех категорий равен 100, как правило, это означает, что сайт либо не работает, либо в его конфигурации допущены серьезные ошибки. Причин бывает несколько, и вы можете выявить их самостоятельно.

  • Убедитесь, что после реорганизации сайта разрешения для всех его разделов остались прежними.
  • Если вы изменили структуру сайта, проверьте работоспособность внешних ссылок.
  • Проверьте, не возникает ли периодических сбоев в работе новых скриптов.
  • Убедитесь, что все каталоги на месте и не были случайно перемещены или удалены.
Если перечисленных выше проблем на сайте не обнаружено, то высокий процент ошибок может оказаться временным явлением или же может быть вызван внешними факторами (сторонней ссылкой на несуществующие страницы). В любом случае, если мы увидим необычно большое количество ошибок на сайте, вы получите оповещение и сможете выяснить причину.

Низкий процент ошибок

Если процент ошибок для сайта в любой из категорий ниже 100, это может быть кратковременным явлением или же свидетельствовать о перегрузке сайта или ошибках в его конфигурации. Выясните причины самостоятельно или проконсультируйтесь на нашем форуме. Вы можете получить оповещение, даже если в целом процент ошибок очень низкий, поскольку из опыта мы знаем, что ни в одной из этих категорий ошибок быть не должно, если их нет в конфигурации сайта.

Типы ошибок сайта

В разделе Сайт представлены следующие типы ошибок.

Ошибки DNS

Что такое ошибка DNS?

Ошибка DNS означает, что робот Googlebot не может связаться с сервером DNS, либо потому что он не работает, либо из-за проблем с маршрутизацией DNS для вашего домена. Большая часть ошибок и предупреждений, связанных с DNS, не влияет на возможность сканирования страниц роботом Googlebot. Но их появление может означать медленную загрузку, что не нравится посетителям.

Устранение ошибок DNS

  • Убедитесь, что Google может сканировать ваш сайт
    Используйте инструмент Просмотреть как Googlebot для главной страницы сайта. Если он возвращает ее содержание без ошибок, значит можно предположить, что у Google есть доступ к вашему сайту.
  • Если ошибки DNS устранить не удается, обратитесь к своему поставщику услуг DNS.
    Нередко услуги DNS и веб-хостинга предоставляются одним и тем же поставщиком же. 
  • Настройте сервер так, чтобы на запросы с несуществующим именем хоста он выдавал код ошибки HTTP (например, 404 или 500).
    Например, для сайта example.com можно настроить DNS с помощью подстановочных знаков так, чтобы выдавались ответы на любые запросы к субдоменам. Примеры: foo.example.com, made-up-name.example.com и т. д. Такой подход можно использовать, если контент на сайте создается пользователями и для каждого аккаунта выделяется отдельный домен (http://username.example.com). Однако в ряде случаев это приводит к дублированию содержания на хостах с разными именами и мешает сканированию сайта роботом Googlebot.

Список ошибок DNS

Тип ошибки Описание
Тайм-аут DNS

Роботу Googlebot не удалось получить доступ к вашему сайту, поскольку DNS-сервер вовремя не ответил на запрос.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Свяжитесь с регистратором, чтобы убедиться, что ваш сайт настроен правильно, а также что сервер подключен к Интернету.

DNS-запрос

Роботу Googlebot не удалось получить доступ к вашему сайту, поскольку DNS-сервер не смог распознать имя хоста (например, www.example.com).

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Свяжитесь с регистратором, чтобы убедиться, что ваш сайт настроен правильно, а также что сервер подключен к Интернету.

Ошибки сервера

Что такое ошибка подключения к серверу?

Наличие таких ошибок означает, что робот Googlebot не смог получить доступ к вашему URL, время ожидания запроса истекло или сайт не принимал запросы. Поэтому робот Googlebot был вынужден отменить запрос.

Устранение ошибок подключения к серверу

  • Сократите количество загрузок для запросов динамических страниц.
    На динамических сайтах одинаковый контент может размещаться на страницах с разными URL. Например, содержание страницы www.example.com/shoes.php?color=red&size=7 идентично материалам на странице www.example.com/shoes.php?size=7&color=red.  Значительная задержка отклика у динамических страниц может привести к тайм-ауту. Также сервер может вернуть статус "Перегрузка", чтобы робот Googlebot сканировал сайт медленнее. Мы рекомендуем использовать краткие значения параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.
  • Убедитесь, что сервер, на котором размещен ваш сайт, не отключен и не перегружен, а также проверьте его конфигурацию.
    Если не удалось устранить проблемы с подключением, тайм-аутом или откликом, обратитесь к поставщику услуг хостинга и попробуйте увеличить пропускную способность сайта.
  • Проверьте, не блокируется ли доступ Google к сайту.
    У поискового робота Google могут быть проблемы с доступом к сайту из-за системной ошибки, например ошибки конфигурации DNS или некорректных настроек брандмауэра, защиты от DoS-атак и системы управления контентом. Любой хостинг-провайдер, оказывающий услуги высокого качества, использует систему защиты. Как правило, она автоматически блокирует запросы к серверу, если их количество существенно превышает обычный уровень. Поскольку робот Googlebot зачастую отправляет больше запросов, чем обычный пользователь, системы защиты могут расценить это как угрозу и заблокировать роботу доступ к сайту, не позволяя выполнить сканирование. Чтобы исправить эту ошибку, выясните, какой элемент инфраструктуры вашего сайта препятствует сканированию, и снимите блокировку. Если у вас нет доступа к настройкам брандмауэра, обратитесь к хостинг-провайдеру.
  • Используйте корректные методы для контроля сканирования и индексирования сайта.
    Некоторые веб-мастера намеренно блокируют роботу Googlebot доступ к своим сайтам, например с помощью брандмауэра, как описано выше. Чаще всего это делается с целью предотвратить сканирование и индексирование только отдельных веб-страниц, а не всего сайта. Если вы используете этот метод, обратите внимание на следующее: Вы также можете запросить изменение периодичности сканирования роботом Googlebot. Поставщики услуг хостинга также могут подтвердить право собственности на IP-адреса.

Ошибки подключения к серверу

Тип ошибки Описание
Тайм-аут

На сервере истекло время ожидания запроса.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Усеченные заголовки

Роботу Google удалось подключиться к вашему серверу, однако сервер завершил соединение до того, как удалось получить заголовки полностью. Проверьте позже, устранена ли эта ошибка.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Сброс подключения

Запрос, отправленный роботом Googlebot, был успешно обработан сервером, однако содержание по результату запроса получить не удалось, так как произошел сброс подключения. Проверьте позже, устранена ли эта ошибка.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Усеченное тело ответа

Сервер завершил соединение до того, как удалось получить ответ полностью. Тело ответа усечено.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

В подключении отказано

Google не удалось получить доступ к сайту, поскольку сервер отклонил запрос на подключение. Возможно, ваш провайдер хостинга блокирует доступ для робота Googlebot либо допустил ошибки в настройке брандмауэра.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Сбой подключения

Google не удалось подключиться к вашему серверу, поскольку сеть была недоступна или отключена.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при отображении содержания главной страницы вашего сайта с помощью этого инструмента не возникают ошибки, значит ваш сайт доступен для робота Googlebot.

Истекло время ожидания подключения

Роботу Googlebot не удалось подключиться к вашему серверу.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при проверке главной страницы с помощью этого инструмента не возникают ошибки, значит сайт доступен нашим роботам.

Убедитесь, что сервер подключен к Интернету. Сервер также может быть перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Нет отклика

Google удалось подключиться к вашему серверу, но подключение было закрыто до получения данных от сервера.

Чтобы выяснить, может ли робот Googlebot в настоящее время обрабатывать ваш сайт, воспользуйтесь Сканером Google. Если при проверке главной страницы с помощью этого инструмента не возникают ошибки, значит сайт доступен нашим роботам.

Возможно, сервер перегружен или настроен неверно. Если ошибка повторится, обратитесь к провайдеру хостинга.

Ошибка доступа к файлу robots.txt

Что такое ошибка доступа к файлу robots.txt?

Эта ошибка имеет место, если Google не может получить файл robots.txt с вашего сайта. Перед сканированием сайта и примерно раз в день после этого Googlebot проверяет файл robots.txt, чтобы узнать, какие страницы вы запретили обрабатывать. Если файл robots.txt существует, но недоступен (т. е. не возвращает код статуса HTTP 200 или 404), мы отложим сканирование, чтобы избежать обработки URL, которые вы запретили сканировать. В таких случаях робот Googlebot просканирует ваш сайт позднее, когда получит доступ к файлу robots.txt. Подробнее о протоколе исключения для роботов...

Как исправить ошибки, связанные с файлом robots.txt

  • Использование файла robots.txt не является обязательным.
    Этот файл нужен только в тех случаях, когда на сайте есть контент, который поисковые системы не должны индексировать. Если вы хотите, чтобы ваш сайт полностью индексировался, вам вообще не требуется размещать в своем домене файл robots.txt (даже пустой). Если этот файл отсутствует, то, когда робот Googlebot запросит его, сервер выдаст код статуса 404 и сканирование сайта продолжится. Это не вызовет никаких проблем.
  • Убедитесь, что Google может получить доступ к файлу robots.txt.
    Возможно, ваш сервер вернул ошибку 5xx ("недоступно") при попытке Google получить ваш файл robots.txt. Проверьте, не блокируется ли робот Googlebot вашим поставщиком услуг хостинга.  Если вы используете брандмауэр, убедитесь, что он не блокирует Google.

Ошибки URL

В разделе "Ошибки URL" в отчете есть несколько категорий, в каждой из которых показаны 1000 наиболее распространенных ошибок. Не все ошибки, перечисленные в этом разделе, требуют вашего внимания. Однако вам нужно выявлять ошибки, которые могут оказать негативное влияние на пользователей и помешать роботам Google. Мы упростили эту задачу, разместив в начале списка наиболее важные проблемы (важность определяется такими факторами, как количество ошибок и страниц со ссылками на URL). В частности, следует обратить внимание на ошибки, перечисленные ниже.

  • Исправьте ошибки "Не найдено" для важных URL с переадресацией 301. Ошибки "Не найдено (404)" могут появляться время от времени, но вам нужно обратить внимание на ошибки в URL важных страниц, ссылки на которые есть на других сайтах, старые URL из файла Sitemap, которые уже удалены, URL важных страниц, в которых есть опечатки, и URL популярных страниц, удаленных с сайта. Это позволит сделать наиболее важную для вас информацию доступной для Google и ваших посетителей.
  • Обновите файлы Sitemap.  Удалите неиспользуемые URL из файлов Sitemap. Если вы собираетесь добавить новые файлы Sitemap, то старые нужно удалить (а не перенаправлять их на новые).  
  • Последовательность переадресации должна быть краткой и четкой.  Если у вас есть цепочка последовательной переадресации из нескольких URL (например, страница А > страница Б > страница В > страница Г), ее сканирование и интерпретация могут оказаться проблематичными для робота Googlebot.  Количество переходов в такой последовательности должно быть минимальным.  Подробнее...

Просмотр сведений об ошибке URL

Информацию об ошибках URL можно получить разными способами.

  • Нажмите Загрузить, чтобы получить список 1000 наиболее распространенных ошибок для выбранного робота Googlebot ("Интернет", "Смартфоны" и т. д.).
  • Используйте фильтр над таблицей, чтобы найти нужные URL.
  • Чтобы просмотреть сведения об ошибке, нажмите на ссылку нужного URI приложения или URL.
В сведениях об ошибках URL, связанных с основной и мобильной версиями сайта, указывается статус каждой ошибки, список страниц со ссылками на URL, а также ссылка на Сканер Google для сайтов. Эти данные помогут вам устранить неполадки с соответствующими URL.

Как указать, что ошибка URL исправлена

Когда причина ошибки будет устранена, ее можно удалить из списка. Ошибки можно удалять по одной или несколько сразу. Установите флажок возле URL и нажмите Отметить как исправленный. После этого URL будет скрыт. Учтите, что эта функция внедрена лишь для вашего удобства. Если поисковый робот Google обнаружит эту ошибку при следующем сканировании, URL страницы вновь появится в списке.

Типы ошибок URL

Распространенные ошибки URL
Тип ошибки Описание
Ошибка сервера

Наличие таких ошибок означает, что робот Googlebot не смог получить доступ к вашему URL, время ожидания запроса истекло или сайт не принимал запросы. Поэтому робот Googlebot был вынужден отменить запрос.

Подробнее об ошибках подключения к серверу...

Ошибка 404

Когда посетитель запрашивает страницу, которой нет на вашем сайте, веб-сервер возвращает ошибку 404 ("Не найдено"). Этот код ответа HTTP сообщает браузерам и поисковым системам, что такой страницы не существует. В результате содержание страницы (если оно есть) не сканируется или не индексируется поисковыми системами.

Ложная ошибка 404 регистрируется, когда сервер возвращает существующую страницу по запросу URL, которого нет на вашем сайте. Обычно это происходит потому, что ваш сервер не возвращает ошибку в ответ на запрос с ошибочным или несуществующим URL и перенаправляет пользователя на действующий веб-адрес, например на главную страницу сайта или на специально созданную вами страницу 404.  

В результате поисковые системы обрабатывают несуществующие или повторяющиеся адреса. Это может негативно сказаться на сканировании остальных разделов сайта, потому что существующие уникальные URL будут обнаруживаться нерегулярно и с запозданием из-за того, что робот Googlebot тратит много времени на несуществующие страницы.

Если на сайте действительно нет такой страницы и замены для нее, рекомендуем настроить сервер так, чтобы в ответ на запрос несуществующей страницы он всегда возвращал либо код ошибки 404 ("Не найдено"), либо 410 ("Удалено"). Для удобства посетителей вы можете создать собственную страницу 404, которая будет показана, если пользователь запросил несуществующий URL. На такой странице можно разместить, например, список самых популярных разделов сайта, ссылку на главную страницу или контактную информацию. Однако следует помнить, что просто создать страницу, которая выводит сообщение 404, недостаточно. Ваш сервер также должен возвращать правильный код ответа HTTP (404 или 410).

404

Googlebot запросил URL, которого не существует на вашем сайте.

Исправление ошибок 404

Обычно ошибки 404 не влияют на рейтинг сайта в Google, поэтому их можно игнорировать. Чаще всего они бывают связаны с опечатками, неправильными настройками или попытками Google распознать и просканировать ссылки во встроенном контенте (например, в коде JavaScript). Ниже приведены рекомендации, которые помогут выяснить причины подобных проблем.

  1. Решите, нужно ли исправлять эту ошибку. Большинство ошибок 404 не стоит устранять. Отсортируйте ошибки по приоритету и исправьте только самые важные. Остальные можно игнорировать: они не влияют на индексирование и рейтинг сайта.
    • Если для удаленной страницы нет замены на сайте, ошибку 404 нужно исправить.
    • Если это неправильно сгенерированный URL или такой страницы никогда не было сайте, не стоит переживать. Вы можете увидеть ошибку в отчете, но ее не требуется исправлять, если она не связана с опечаткой в URL.
  2. Просмотрите страницы-источники ссылок с ошибками. Просмотреть источник недействительных ссылок можно в разделе Ссылки с этих страниц, нажав на нужный URL. Выполните нужное действие в зависимости от того, является ли источником ссылок ваш сайт или другой сайт.
    1. Исправьте ссылки, если источником является ваш сайт, или удалите их.
      • Если контент перемещен, добавьте переадресацию.
      • Если контент страницы полностью удален и на вашем сайте нет похожей информации, старый URL должен возвращать сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 ("Удалено") и 404 ("Не найдено") одинаково. Если для несуществующей страницы возвращается код, отличный от 404 и 410, или если вместо возвращения кода 404 выполняется переадресация на другую страницу, это может привести к ошибкам. В таких случаях говорят о ложных ошибках 404, которые вводят в заблуждение не только пользователей, но и поисковые системы.
      • Если URL вам неизвестен. Иногда появляются ошибки 404 для URL, которых никогда не было на сайте. Робот Googlebot может создавать такие URL при попытке перейти по ссылкам, обнаруженным в коде JavaScript, в файлах Flash или в другом встроенном или существующем только на карте сайта контенте. Например, на вашем сайте может использоваться следующий код для отслеживания скачиваний файлов в Google Analytics:
        <a href="helloworld.pdf"
          onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
          Всем привет! (PDF)</a>

        Обнаружив его, робот Googlebot может попытаться просканировать URL http://www.example.com/download-helloworld, хотя такой страницы нет. Поэтому для данной ссылки на странице ошибок сканирования в Search Console может появиться сообщение об ошибке 404 ("Не найдено"). Мы работаем над тем, чтобы такие сообщения не появлялись. Они не влияют на сканирование и рейтинг сайта.

    2. Настройте переадресацию 301 для неверных ссылок с других сайтов. Так, если URL в ссылке с внешнего сайта незначительно отличается от правильного (например, www.example.com/redshoos вместо www.example.com/redshoes), вероятно, при его написании была допущена опечатка. В этом случае рекомендуется настроить переадресацию 301 на правильный URL, чтобы избежать потери трафика. Также можно обратиться к веб-мастеру сайта, на котором расположена недействительная ссылка, и попросить его исправить или удалить ее.
  3. Не обращайте внимания на остальные ошибки. Не создавайте для таких URL ненужный контент, переадресации на главную страницу и не блокируйте их в файле robots.txt. В этом случае нам будет сложнее определить структуру сайта и правильно его обрабатывать. Такие ошибки 404 мы называем ложными. Обратите внимание! Если вы нажмете Проблема устранена в отчете Search Console, ошибки 404 исчезнут лишь на время и появятся снова при следующем сканировании URL. После одного удачного сканирования Google будет каждый раз пытаться повторно просканировать URL. Добавьте переадресацию 300, чтобы отложить сканирование на продолжительное время.  Обратите внимание, что если отправить запрос на удаление URL с помощью инструмента удаления URL, ошибка из отчета не исчезнет.

Если вы считаете, что URL не относится к вашему сайту, ошибку можно игнорировать. Подобная ситуация возможна, когда пользователь пытается перейти по URL, которого нет на вашем сайте, например неправильно указывает его в адресной строке браузера. О том, как выявить такие URL, читайте ниже.

Доступ запрещен

Обычно Google находит контент, переходя по ссылкам с одной страницы на другую. Чтобы просканировать страницу, робот Googlebot должен получить доступ к ней. Ошибки "Доступ запрещен" могут возникнуть по причинам, перечисленным ниже.

  • Роботу Googlebot не удалось получить доступ к URL, поскольку для просмотра контента на вашем сайте нужно выполнить вход.
  • Для работы с сайтом требуется аутентификация с помощью прокси-сервера, или ваш хостинг-провайдер заблокировал доступ к сайту для робота Googlebot.

Как исправить:

  • Проверьте работу файла robots.txt и убедитесь, что он не блокирует роботов Google. Инструмент Проверка файла robots.txt позволяет точно увидеть, как робот Googlebot будет интерпретировать содержание файла robots.txt. Наш агент пользователя называется Googlebot. 
  • Чтобы понять, как видит ваш сайт робот Googlebot, используйте Сканер Google для сайтов. Это поможет вам, если на сайте есть ошибки или его контент не отображается в результатах поиска Google.
Ошибки невыполнения перехода

В этой категории перечислены URL, на которые робот Googlebot не смог перейти, а также указаны возможные причины. Некоторые из этих причин приведены ниже.

Flash, JavaScript, активный контент

Некоторые средства, используемые на сайте, такие как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, могут затруднять его сканирование поисковыми роботами. Выполните следующие рекомендации:

  • Используйте для проверки сайта текстовый браузер (например, Lynx), поскольку большинство поисковых систем видят сайт точно так же, как Lynx. Если вы не сможете просмотреть его целиком из-за таких элементов, как JavaScript, файлы cookie, идентификаторы сеансов, фреймы, DHTML или Flash, то и сканеры поисковых систем не смогут его полностью обработать.
  • Используйте Сканер Google для сайтов, чтобы увидеть свой сайт в точности так, как его видит робот Googlebot.
  • Если вы используете динамические страницы (например, если в URL есть символ "?"), следует иметь в виду, что не все сканеры поисковых систем сканируют динамические страницы так же успешно, как и статические. Мы рекомендуем использовать краткие значения параметров и не злоупотреблять ими. Если вы знаете, как используются параметры на вашем сайте, вы можете сообщить Google, как их следует обрабатывать.

Переадресация

  • Если вы хотите навсегда переместить контент с одной страницы на другую и используете для этого переадресацию, убедитесь в том, что страница возвращает правильный код статуса HTTP (301 – "Окончательно перемещено").
  • По возможности используйте абсолютные ссылки вместо относительных. Например, ссылаясь на другую страницу своего сайта, создавайте ссылку на www.example.ru/mypage.html, а не просто на mypage.html.
  • Рекомендуется, чтобы на каждую страницу сайта вела хотя бы одна статическая текстовая ссылка. Уменьшайте число переадресаций, необходимых для перехода с одной страницы на другую.
  • Убедитесь, что переадресация указывает на правильные страницы! Некоторые страницы указывают сами на себя (ошибка циклической переадресации) или на недействительные URL.
  • Не включайте URL с переадресацией в файлы Sitemap.
  • Длина URL должна быть по возможности минимальной. Убедитесь, что в URL переадресации автоматически не добавляется дополнительная информация (например, идентификатор сеанса).
  • Убедитесь, что поисковые роботы могут сканировать ваш сайт без идентификаторов сеансов и без аргументов, которые позволяют отслеживать пути их передвижения по сайту.
Ошибка DNS

Такие ошибки означают, что робот Googlebot либо не смог получить данные от DNS-сервера, либо на сервере отсутствует запись, связанная с вашим сайтом.

Подробнее об ошибках DNS...

Ошибки URL, характерные только для мобильных устройств (смартфонов)
Ошибка Описание
Неправильные переадресации

Неправильные переадресации отображаются в разделе Ошибки URL на странице Сканирование > Ошибки сканирования > Смартфоны.

На некоторых сайтах обычная и мобильная версии одной и той же страницы имеют разные URL. В этом случае пользователи смартфонов автоматически перенаправляются с обычной версии на мобильную, например m.example.com. О неправильной переадресации говорят, когда страница для компьютера перенаправляет владельцев смартфонов на адрес с нерелевантным контентом (как правило, на главную страницу мобильного сайта). На этой схеме красные стрелки обозначают неправильные переадресации:


Такая ошибка доставляет пользователям неудобства и зачастую они просто уходят на другой сайт.

Чтобы оптимизировать свой сайт для смартфонов и избежать ошибок переадресации, выполните следующие действия:

  • Выполните поиск своего сайта при помощи смартфона или эмуляции мобильного устройства в компьютерном браузере.
  • Воспользуйтесь примерами URL из отчета, чтобы выявить неполадки в настройках сервера.
  • Настройте сервер так, чтобы пользователи смартфонов перенаправлялись с обычных страниц на их мобильные версии.
  • Если у страницы нет мобильной версии, не настраивайте перенаправление. Пусть на смартфонах открывается обычная версия. В таком случае ошибок не будет.
  • Используйте адаптивный дизайн, чтобы показывать один и тот же контент на компьютерах и мобильных устройствах.
  • Ознакомьтесь с рекомендациями по настройке разных URL для обычных и мобильных страниц.
Страницы скрыты от робота Googlebot для смартфонов

Ошибки "Заблокировано" отображаются в разделе "Ошибки URL" на странице Сканирование > Ошибки сканирования > Смартфоны. Если такая ошибка возвращается в отношении URL на вашем сайте, это означает, что робот Googlebot для смартфонов не может получить доступ к этому URL из-за настроек файла robots.txt.

Эта ошибка может касаться не только смартфонов, например соответствующие страницы для ПК тоже могут быть заблокированы. Однако это сообщение зачастую указывает на то, что необходимо разрешить сканирование мобильных версий страниц в файле robots.txt. Помните, что если запретить сканирование мобильных версий страниц, они не будут появляться в результатах поиска.

Решить эту проблему несложно: проверьте файл robots.txt на своем сайте и убедитесь, что необходимые страницы не были случайно скрыты от робота Googlebot для смартфонов.

Дополнительные рекомендации относительно URL для мобильных устройств можно получить на этой странице.

Контент в формате Flash

Ошибки c Flash-контентом отображаются в разделе Ошибки URL на странице Сканирование > Ошибки сканирования > Смартфоны.

Там приводятся URL страниц, которые содержат в основном Flash-контент. На многих устройствах эти страницы отображаются неправильно, потому что Flash не поддерживается в Android версии 4.1 и более поздних, а также в iOS.

Чтобы у пользователей мобильных устройств не возникало проблем с просмотром вашего сайта, рекомендуем перейти на адаптивный дизайн.  Подробную информацию об этом вы найдете в руководстве Основы веб-дизайна – учебнике по разработке сайтов, подходящих для любых устройств.

Какой бы подход вы ни выбрали для решения этой проблемы, не запрещайте роботу Googlebot доступ к ресурсам сайта (CSS, JavaScript и изображениям) и не блокируйте сканирование посредством файла robots.txt или иным образом. Это необходимо для распознавания конфигурации и правильного отображения сайта. Вы можете проверить доступность сайта для сканирования на странице Сканер Google для сайтов в Search Console.

Ошибки, связанные с Google Новостями

 

Чтобы получать отчеты об ошибках, связанных с Google Новостями, нужно зарегистрировать свой сайт в этом сервисе, создать аккаунт Search Console и добавить в него сайт. Затем необходимо выполнить следующие действия в Search Console:

  • Выберите сайт на главной странице.
  • В Панели инструментов выберите Сканирование > Ошибки сканирования.
  • На вкладке Новости перечислены ошибки сканирования вашего новостного контента.
  • Ошибки сканирования отсортированы по категориям, например "Получение статьи" или "Ошибка названия." При нажатии на одну из этих категорий будет выведен список проблемных URL и ошибок сканирования, к которым они приводят. Учтите, что при сканировании ссылок на страницах, которые вы отправили в Google Новости, Google может искать связанные с новостями ошибки и на остальных страницах вашего сайта. Такие ошибки необходимо устранять только на тех страницах, которые вы хотите включить в Google Новости.
Обратите внимание, что наш индекс новостей создается автоматически. Мы стараемся сканировать как можно больше материалов, но не можем гарантировать, что в него попадут Благодарим за понимание.
Ошибка Описание
Статья непропорционально короткая

Текст статьи, извлеченный со страницы HTML, слишком короткий по сравнению с другими блоками текста без ссылок на странице. Это применимо к большинству страниц, на которых отображаются сводки новостей или мультимедийное содержание, а не полные новостные статьи. Эта ошибка позволяет предотвратить неправильное разбиение текста.

Рекомендации

Часто причиной этой проблемы являются следующие условия:

  • Слишком много фрагментов для связанных статей– попробуйте сделать эти фрагменты активируемыми по нажатию, чтобы помочь нашему средству извлечения.
  • Функции с длинным описанием, например "Отправить эту статью друзьям". Попробуйте установить стиль display:none или visibility:hidden, чтобы сделать текст невидимым или динамически создавать фрагменты HTML-кода при помощи JavaScript.
  • Комментарии пользователя – комментарии можно включить в кадр iframe, динамически подгружать их при помощи AJAX или переместить на соседнюю страницу.
Статья фрагментирована

Текст статьи, извлеченный со страницы, состоит из отдельных предложений, не сгруппированных в абзацы. Эта ошибка позволяет предотвратить неправильное разбиение текста.

Рекомендации

  • Желательно, чтобы каждый абзац состоял из нескольких предложений.
  • Проверьте пунктуацию в предложениях.
  • Убедитесь, что в абзацах не слишком часто используются теги <br> и <p>. Избегайте нецелесообразного разбиения текста.
  • Удалите со страницы часть текста, не относящегося к статье.
Статья слишком длинная

По всей вероятности, текст статьи, извлеченный с HTML-страницы, слишком длинный для новости. Эта ошибка позволяет предотвратить неправильное разбиение текста. К числу распространенных причин относятся статьи, содержащие пользовательские комментарии, или макеты HTML, в которых есть дополнительные материалы.

Рекомендации

Удалите со страницы часть текста, не относящегося к статье. Если пользователи могут оставлять комментарии на странице, попробуйте один из следующих способов:

  • размещайте комментарии в iframe;
  • динамически подгружайте их с помощью AJAX;
  • переместите часть комментариев на соседнюю страницу.
Статья слишком короткая

По всей вероятности, текст статьи, извлеченный с HTML-страницы, содержит слишком мало слов для новостной статьи. Это применимо к большинству страниц, на которых отображаются сводки новостей или мультимедийное содержание, а не полные новостные статьи. Эта ошибка позволяет предотвратить неправильное разбиение текста.

Рекомендации

  • Отформатируйте статьи, разделив текст на абзацы, состоящие из нескольких предложений. Если статья слишком короткая, она не будет включена в индекс.
  • В статье должно быть более 80 слов.
Дата не найдена

Google не удалось определить дату публикации статьи.

Рекомендации

Форматируйте даты так, как указано ниже.

  • В отдельную строку HTML-кода, между заголовком статьи и самим текстом, поместите точную дату и время размещения статьи.
  • Удалите любые другие даты из HTML-кода страницы со статьей, чтобы избежать ошибки при определении даты публикации поисковым роботом.
  • Если требуется использовать метатег даты, сперва сообщите нам об этом. Он должен иметь вид <meta name="DC.date.issued" content="ГГГГ-ММ-ДД">. Здесь дата указывается в формате W3C – полная дата (ГГГГ-ММ-ДД) или полная дата и время (ГГГГ-ММ-ДДTчч:мм:ссСЧП) с суффиксом часового пояса (СЧП).
  • Создайте файл Sitemap для новостей. Тег <publication_date> позволит Google правильно определить дату публикации статьи.
Слишком давняя дата

Дата этой статьи, обнаруженная в теге publication_date в файле Sitemap или непосредственно на HTML-странице, слишком давняя.

Рекомендации

  • Статья должна быть опубликована не более двух дней назад. В настоящее время собираются только статьи, опубликованные в течение последних двух дней.
  • Форматируйте даты так, как указано выше.
Пустая статья

По всей вероятности, с HTML-страницы извлечен пустой текст статьи.

Рекомендации

  • Убедитесь, что полный текст вашей статьи есть в исходном коде страниц статьи (а не встроен, например, в файл JavaScript или в окно iframe).
  • Убедитесь, что в исходном коде статей не используется стиль, например display:none или visibility:hidden.
  • Убедитесь, что ссылки на статьи ведут непосредственно на страницы статей, а не на промежуточную страницу с функцией переадресации JavaScript.
Ошибка при извлечении

Нам не удалось извлечь статью со страницы. Это происходит, когда мы не можем определить действительное название, тело статьи или временную метку для статьи. Мы перечисляем URL с этой ошибкой, чтобы предоставить вам сведения о том, почему некоторые статьи могут не появиться в Google Новостях.

Рекомендации

  • Убедитесь, что название, текст и временная метка статей доступны для сканирования (присутствуют в виде текста, а не как изображения). В настоящий момент эта ошибка выводится преимущественно для справки. Мы постоянно улучшаем методы извлечения, чтобы эта ошибка появлялась как можно реже.
  • Отправьте файл Sitemap для новостей.
Не найдено ни одного предложения

По всей вероятности, текст статьи, извлеченный со HTML-страницы, не содержит словосочетаний со знаками препинания. Эта ошибка позволяет предотвратить неправильное разбиение текста.

Рекомендации

  • Если статья не содержит словосочетаний со знаками препинания, ее не удастся включить в Google Новости. Убедитесь, что текст статей состоит из предложений и что теги <br> и <p> в абзацах используются не слишком часто.
  • Полный текст каждой статьи должен быть доступен в исходном коде соответствующих страниц (а не встроен в файл JavaScript, например).
  • Проверьте ссылки на статьи. Нужно, чтобы они вели непосредственно на страницы статей, а не на промежуточную страницу с переадресацией JavaScript.
Внешняя переадресация

Раздел или страница статьи выполняет переадресацию на URL в другом домене.

Рекомендации

  • Все страницы разделов и статьи должны находиться в домене сайта, включенного в Google Новости.
  • Если вы не используете внешние переадресации, убедитесь, что никто посторонний не изменял ваш сайт. Подробнее о взломанных сайтах...
Страница слишком велика

Превышен максимально допустимый размер раздела или страницы статьи.

Рекомендации

  • Максимально допустимый размер исходной страницы HTML – 256 КБ.
Недопустимое название

Название статьи, извлеченное с HTML-страницы, позволяет предположить, что она не является новостной статьей.

Рекомендации

  • Часто эту проблему можно решить, включив название статьи в тег <title> страницы и сделав это название заметным для читателей, например с помощью тега <h1>. Подробнее...
Заголовок не найден

Нам не удалось извлечь заголовок статьи с HTML-страницы.

Рекомендации

Не удалось распаковать

Робот Googlebot определил, что страница сжата, но не смог ее распаковать. Это может быть связано с нестабильным интернет-подключением, а также неправильной конфигурацией веб-сервера или ошибками его ПО.

Рекомендации

  • Проверьте сеть или веб-сервер.
Неподдерживаемый тип содержания

Тип контента HTTP этой страницы не поддерживается Google Новостями.

Рекомендации

  • При публикации статей указывайте в content-type значение text/html, text/plain или application/xhtml+xml.
Была ли эта статья полезна?
Как можно улучшить эту статью?