Настройка частоты сканирования сайта роботом Googlebot

Частота сканирования – это количество запросов в секунду, которое робот Googlebot отправляет на ваш сайт. Например, это может быть 5 запросов в секунду.

Изменить частоту сканирования сайта нельзя. Но если вы хотите, чтобы мы быстрее проиндексировали новый контент на нем, то можете запросить повторное сканирование.

Рекомендации

Google использует сложные алгоритмы, чтобы определить оптимальную частоту сканирования того или иного сайта. Наша цель заключается в том, чтобы обработать как можно больше страниц на вашем сайте за один раз, не оказывая излишней нагрузки на сервер.

Если Google отправляет слишком много запросов в секунду, вы можете ограничить их количество

применительно к корневому уровню сайта, например www.example.com и http://subdomain.example.com. При этом заданная вами частота сканирования будет максимальным пределом для робота Googlebot. Обратите внимание, что Googlebot не всегда будет достигать указанного предела.

Мы не рекомендуем ограничивать частоту сканирования, если только вы не уверены, что именно запросы робота Googlebot перегружают ваш сервер.

Невозможно изменить количество запросов к разделам сайта, находящимся не на корневом уровне, таким как www.example.com/folder.

Как ограничить частоту сканирования

  1. Откройте страницу настроек частоты сканирования, относящуюся к вашему ресурсу.
    • Если в этом разделе указано, что сканирование выполняется с частотой, которую Google считает оптимальной, то снизить ее можно только одним способом – отправив специальный запрос. Увеличить же ее нельзя.
    • Если записи об оптимальной частоте нет, выберите подходящий вариант и ограничьте число запросов в секунду по своему усмотрению. Новое значение будет действительным в течение 90 дней.

 

Эта информация оказалась полезной?
Как можно улучшить эту статью?