Проверка робота Googlebot

Проверить, действительно ли робот, обращающийся к вашему серверу, является роботом Googlebot (или другим агентом пользователя Google), можно с помощью обратного DNS-запроса. Убедившись, что имя относится к домену googlebot.com, используйте прямой DNS-запрос по этому имени робота Googlebot. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники.

Пример:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer 
crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, установивших к ним жесткую привязку. Лучший способ определить обращение робота Googlebot – по агенту пользователя (Googlebot).