Как Google сканирует страницы на нескольких языках

Если страницы вашего сайта отображаются в зависимости от языка посетителя, робот Google может не просканировать весь их контент. Причина заключается в том, что его IP-адреса по умолчанию относятся к США. Кроме того, робот отправляет запросы HTTP без параметра Accept-Language в заголовке.

Важно! Мы рекомендуем использовать для разных языков отдельные URL с атрибутами rel=alternate и hreflang.

 

Сканирование по географическим районам

Googlebot использует IP-адреса, находящиеся как в США, так и за их пределами.

Мы рекомендуем, чтобы ваш сайт рассматривал посещения робота Googlebot из той или иной страны как посещения обычного пользователя. К примеру, если вы запрещаете доступ к своему контенту пользователям из США, а из Австралии – разрешаете, ваш сервер должен также блокировать запросы Googlebot из США и принимать – из Австралии.

Прочие сведения

  • Googlebot использует одну и ту же строку агента пользователя для всех конфигураций сканирования. Подробнее...
  • С помощью обратного DNS-запроса вы можете проверить робота Googlebot, который обращается к вашему серверу из какого-либо географического региона.
  • Убедитесь, что вы последовательно применяете протокол ограничения доступа роботов к контенту на разных языках. Ограничения тегов meta и файла robots.txt должны совпадать для каждого языка.
Была ли эта статья полезна?
Как можно улучшить эту статью?