Отчет о статистике сканирования сайтов

В отчете "Статистика сканирования" (только для сайтов) представлена информация о действиях робота Googlebot на ваших веб-страницах за последние 90 дней. В ней учитывается весь доступный роботу контент, например файлы CSS, JavaScript, Flash и PDF, а также изображения.

Открыть отчет

Статистика сканирования предоставляется только по подтвержденным сайтам.

Данные в отчете

Если проблем нет, в отчете вы увидите диаграмму, показатели которой относительно стабильны и возрастают лишь с увеличением объема информации на сайте. Если наблюдается резкий скачок, следуйте инструкциям ниже.

Почему снизилась скорость сканирования?

Скорость сканирования должна оставаться примерно на одном уровне на протяжении периода в одну-две недели. Резко снизиться она может по следующим причинам:

  • Вы добавили новое или очень объемное правило в файл robots.txt. Убедитесь, что вы не блокируете страницы без веских на то причин. Нельзя закрывать доступ к ресурсам, которые необходимы роботу Googlebot для определения контента сайта, например файлам CSS и JavaScript.
  • На страницах сайта есть некорректная разметка HTML, неподдерживаемый контент, или на нем размещены только изображения. Робот Googlebot не сможет обработать такие разделы. Используйте Сканер Google для сайтов, чтобы узнать, как робот Googlebot воспринимает ваши страницы.
  • Если сайт медленно отвечает на запросы, робот Googlebot не будет отправлять их, чтобы не перегружать сервер. Проверьте в отчете, не снизилась ли скорость отклика вашего сайта.
  • Если на сервере возникают ошибки, робот Googlebot не будет отправлять запросы, чтобы не перегружать сервер. В этом случае рекомендуем просмотреть отчет об ошибках сканирования.
  • Убедитесь, что вы не уменьшали максимальную скорость сканирования.
  • Если веб-страницы редко обновляются или содержат информацию не очень высокого качества, мы сканируем их не очень часто.  Попросите ваших знакомых и коллег или сторонних специалистов оценить ваш сайт и подумайте, как его можно улучшить.

Почему увеличилась скорость сканирования?

Если вы недавно обновили сайт или на нем содержится полезная информация, мы можем сканировать его чаще обычного. Вот что можно предпринять, если робот Googlebot посещает ваш сайт слишком часто и это приводит к перегрузке сервера:

  • Убедитесь, что мы сканируем именно ваш сайт. Также советуем проверить информацию о визитах поискового робота в ваших журналах.
  • Если нужно срочно заблокировать сканирование, настройте возвращение кода ошибки 503 в ответ на запросы робота.
  • Запретите сканирование страниц в файле robots.txt.
  • В качестве кратковременного решения проблемы можно указать максимальную скорость сканирования в Search Console. Не рекомендуется ограничивать скорость в течение продолжительного времени. Лучше запретите обработку отдельных страниц, открыв роботу доступ к остальным.
  • Убедитесь, что страницы с бесконечными элементами (бесконечный календарь или страница поиска) заблокированы в файле robots.txt или содержат теги nofollow.
  • Если URL-адреса на вашем сайте менялись или соответствующих страниц больше нет, по их запросу должен появляться верный код ошибки: 404 или 410 для несуществующих страниц, 301 для перемещенных навсегда страниц, 302 для временно перемещенных, 503 для временно недоступных страниц, 500 для внутренней ошибки сервера.

 

Была ли эта статья полезна?
Как можно улучшить эту статью?