Como verificar o Googlebot

É possível verificar se um bot que acessa seu servidor realmente é o Googlebot (ou outro user agent do Google) usando uma busca DNS reversa, verificando se o nome está no domínio googlebot.com e, em seguida, executando uma busca DNS de encaminhamento usando o nome desse Googlebot. Isso será útil se você estiver preocupado com o fato de que criadores de spam ou outros encrenqueiros acessem seu site, alegando serem o Googlebot.

Por exemplo:

> host 66.249.66.1
1.66.249.66.in-addr.arpa indicador do nome de domínio 
crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com tem o endereço 66.249.66.1

O Google não posta uma lista pública de endereços IP de webmasters na lista de permissões. Isso não é feito porque os intervalos de endereços IP podem ser alterados, causando problemas para os webmasters que os codificaram. A melhor maneira de identificar os acessos pelo Googlebot é por meio do user agent (Googlebot).