Настройка частоты сканирования сайта роботом Googlebot

Частота сканирования – это количество запросов в секунду, которое робот Googlebot отправляет на ваш сайт. Например, это может быть 5 запросов в секунду.

Изменить частоту сканирования сайта нельзя. Но если вы хотите, чтобы мы быстрее проиндексировали новый контент на нем, то можете запросить повторное сканирование.

Рекомендации

Google использует сложные алгоритмы, чтобы определить оптимальную частоту сканирования того или иного сайта. Наша цель заключается в том, чтобы обработать как можно больше страниц на вашем сайте за один раз, не оказывая излишней нагрузки на сервер.

Если Google отправляет слишком много запросов в секунду, вы можете ограничить их количество

применительно к корневому уровню сайта, например www.example.com и http://subdomain.example.com. При этом заданная вами частота сканирования будет максимальным пределом для робота Googlebot. Обратите внимание, что Googlebot не всегда будет достигать указанного предела.

Мы не рекомендуем ограничивать частоту сканирования, если только вы не уверены, что именно запросы робота Googlebot перегружают ваш сервер.

Невозможно изменить количество запросов к разделам сайта, находящимся не на корневом уровне, таким как www.example.com/folder.

Как ограничить частоту сканирования

  1. Откройте страницу настроек частоты сканирования и выберите нужный ресурс.
    • Если в этом разделе указано, что сканирование выполняется с частотой, которую Google считает оптимальной, то снизить ее можно только одним способом – отправив специальный запрос. Увеличить же ее нельзя.
    • Если записи об оптимальной частоте нет, выберите подходящий вариант и ограничьте число запросов в секунду по своему усмотрению. Новое значение будет действовать в течение 90 дней.

Как использовать экстренное ограничение частоты сканирования

Если роботы Googlebot сканируют ваш сайт слишком часто и это приводит к проблемам со сканированием, попробуйте решить эту проблему, выполнив описанные ниже действия.

  1. Определите, какой поисковый робот Google наиболее активно посещает ваш сайт. Изучите журналы сайта или отчет о статистике сканирования.
  2. Быстрое решение:
    • В качестве простого решения попробуйте с помощью файла robots.txt запретить доступ к своим страницам агенту пользователя, перегружающему сайт (например, роботу Googlebot или AdsBot). Для получения результата могут понадобиться сутки.
    • Если у вас есть инструменты, позволяющие автоматически отслеживать трафик и при необходимости принимать меры, то в случае приближения к лимиту на количество обращений к сайту начинайте возвращать сообщение с кодом состояния HTTP 5XX/429. Однако не следует возвращать код состояния 5XX или 429 более трех дней подряд, так как в этом случае Google может принять решение о снижении частоты сканирования вашего сайта на длительный срок.
  3. Если у вас есть доступ к странице настроек частоты сканирования, попробуйте выбрать подходящий вариант в ее меню.
  4. Через два или три дня, когда частота сканирования роботами Google изменится в соответствии с настройками, можно будет удалить правила блокировки из файла robots.txt или прекратить возвращать сообщения с кодами ошибок.
  5. Если излишнюю нагрузку оказывает робот AdsBot, вероятно, вы добавили слишком много страниц для таргетинга динамических поисковых объявлений (при помощи правила URL_Equals или фида страниц). Если ваш сервер не справляется с запросами на сканирование, вам следует ограничить количество целевых страниц для таргетинга объявлений, уменьшить число добавляемых за один раз URL или увеличить пропускную способность сервера. Обратите внимание, что робот AdsBot будет сканировать ваши страницы каждые две недели. Если вы не устраните причину проблемы, она возникнет повторно.
  6. Имейте в виду, что если вы ограничили частоту сканирования в Search Console, то через 90 дней Google снова начнет корректировать ее в автоматическом режиме.
Эта информация оказалась полезной?
Как можно улучшить эту статью?
Поиск
Удалить поисковый запрос
Закрыть поиск
Приложения Google
Главное меню
Поиск по Справочному центру
true
83844
false