Verifica di Googlebot

Se un web crawler accede al tuo server, puoi verificare che si tratti di Googlebot (o un altro user-agent di Google). Ciò risulta utile se sei preoccupato che spammer o altri utenti malintenzionati accedano al tuo sito facendosi passare per Googlebot. Google non pubblica un elenco di indirizzi IP pubblicamente accessibile che i webmaster possono aggiungere alla whitelist, Infatti, gli intervalli degli indirizzi IP possono cambiare, causando problemi ai webmaster che ne hanno eseguito l'hard-coding. Perciò è necessario eseguire una ricerca DNS come descritto di seguito.

Come verificare che il chiamante è Googlebot:

  1. Esegui una ricerca DNS inversa in base agli indirizzi IP che accedono al tuo sito e che sono elencati nei tuoi log, utilizzando il comando host.
  2. Verifica che il nome del dominio rientri in googlebot.com o google.com.
  3. Esegui una ricerca DNS in base al nome del dominio ottenuto al passaggio 1 utilizzando il comando host. Verifica che l'indirizzo IP che accede al tuo sito corrisponda a quello indicato nei log.

Esempio 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

Esempio 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

È stato utile?
Come possiamo migliorare l'articolo?