Поисковые роботы Google (агенты пользователя)

Узнайте, с помощью каких роботов Google сканирует ресурсы в Интернете

Под этим термином понимаются любые программы, которые автоматически обнаруживают и сканируют веб-сайты, переходя по ссылкам от страницы к странице. Наш основной поисковый робот называется Googlebot. В таблице ниже приведены сведения о ключевых поисковых роботах Google, которые попадают в журналы источников ссылок. Также вы узнаете, как указывать данные этих роботов в файле robots.txt, в метатегах robots и в командах X-Robots-Tag HTTP.

В приведенной ниже таблице токен агента пользователя указан в строке User-agent: в файле robots.txt. Как показано в таблице, некоторые роботы соответствуют нескольким токенам. При этом для каждого робота следует использовать лишь один подходящий токен. Приведенный ниже перечень не является исчерпывающим, но содержит информацию о наиболее распространенным роботах.

Не всегда робот сообщает правильную информацию о себе. Чтобы убедиться, что робот Googlebot был на вашем сайте, используйте обратный DNS-запрос .
Поисковый робот Токены агента пользователя (применяются в файлах robots.txt) Полная строка агента пользователя (указана в файлах журнала сайта)
APIs-Google
  • APIs-Google
APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense
  • Mediapartners-Google
Mediapartners-Google

AdsBot Mobile Web Android

(проверяет качество рекламы на веб-страницах, предназначенных для устройств Android)

  • AdsBot-Google-Mobile
Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

(проверяет качество рекламы на веб-страницах, предназначенной для устройств iOS)

  • AdsBot-Google-Mobile
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(проверяет качество рекламы на веб-страницах, предназначенных для компьютеров)

  • AdsBot-Google
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot Images
  • Googlebot-Image
  • Googlebot
Googlebot-Image/1.0
Googlebot News
  • Googlebot-News
  • Googlebot
Googlebot-News
Googlebot Video
  • Googlebot-Video
  • Googlebot
Googlebot-Video/1.0

Googlebot

(версия для веб-страниц, предназначенных для компьютеров)

  • Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    ИЛИ (в редких случаях)
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot

(версия для веб-страниц, оптимизированных для смартфонов)

  • Googlebot

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
  • Mediapartners-Google
(Различные типы мобильных устройств) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

(проверяет качество рекламы в приложениях для устройств Android, действует в соответствии с теми же правилами, что и Google AdsBot)

  • AdsBot-Google-Mobile-Apps
AdsBot-Google-Mobile-Apps

Агенты пользователя в файлах robots.txt

Если в файле robots.txt указаны инструкции для нескольких агентов пользователя, робот Google выполнит наиболее строгие. Если вы хотите, чтобы наши роботы могли сканировать ваш сайт полностью, этот файл вообще не нужен. Чтобы запретить или разрешить всем поисковым роботам Google доступ к тому или иному контенту, укажите в качестве агента пользователя Googlebot. Так, если вам нужно, чтобы все страницы сайта отображались в результатах поиска Google, а также чтобы на страницах отображались объявления AdSense, не используйте файл robots.txt. Если нужно закрыть некоторые разделы для всех роботов Google, сделайте это для агента пользователя Googlebot. Это приведет к блокировке всех остальных роботов.

Вы также можете указывать специальные правила для определенных агентов пользователя. Предположим, вам нужно, чтобы все страницы вашего сайта отображались в Google Поиске, но при этом хотите запретить сканирование изображений, находящихся в личном каталоге. В таком случае в файле robots.txt запретите агенту пользователя Googlebot-Image сканировать файлы в каталоге /personal. При этом робот Googlebot по-прежнему будет иметь доступ к файлам во всех каталогах. Запись должна выглядеть следующим образом:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
Рассмотрим другой пример. Вы хотите разместить рекламу на всех страницах, но они при этом не должны отображаться в Google. Для этого заблокируйте доступ к содержанию агенту пользователя Googlebot, но оставьте его доступным агенту пользователя Mediapartners-Google следующим образом:
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Агенты пользователя в метатеге robots

Некоторые страницы содержат несколько тегов meta, в которых указаны инструкции для различных поисковых роботов. Примеры:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

В этом случае Google будет использовать все запрещающие инструкции, а Googlebot выполнит обе директивы: noindex и nofollow. Подробнее об управлении сканированием и индексированием сайта роботами Google...

Была ли эта статья полезна?
Как можно улучшить эту статью?