Проверить, является ли робот, осуществляющий доступ к вашему серверу, роботом Googlebot, можно, выполнив обратный поиск в DNS и убедившись, что имя относится к домену googlebot.com, а затем выполнив прямой поиск в DNS по этому имени робота googlebot. Это полезно сделать, если у вас есть подозрения, что под видом робота Googlebot к вашему сайту обращаются спамеры или другие злоумышленники.
Рассмотрим пример.
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer
crawl-66-249-66-1.googlebot.com.
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Компания Google не публикует "белые списки" IP-адресов для веб-мастеров. Это связано с тем, что эти диапазоны IP-адресов могут измениться, что создаст проблемы для веб-мастеров, которые установили к ним жесткую привязку. Наилучший способ идентифицировать доступ робота Googlebot - с помощью агента user-agent (Googlebot).