Googlebot controleren

U kunt controleren of een webcrawler die toegang tot uw server heeft, daadwerkelijk Googlebot (of een andere Google-user-agent) is. Dit is handig als u zich zorgen maakt dat spammers of andere kwaadwillende personen uw site bezoeken terwijl ze beweren Googlebot te zijn. Google publiceert geen openbare lijst van toegestane IP-adressen voor webmasters. Dit komt omdat deze IP-adresbereiken kunnen veranderen, wat problemen kan veroorzaken voor webmasters die ze hebben hardgecodeerd. U moet daarom een DNS-lookup uitvoeren zoals hieronder beschreven.

Controleren of Googlebot de aanroeper is:

  1. Voer vanuit uw logboeken een reverse-DNS-lookup uit voor het IP-adres dat toegang probeert te krijgen. Gebruik hiervoor de opdracht host.
  2. Controleer of de domeinnaam googlebot.com of google.com is.
  3. Voer een forward-DNS-lookup uit voor de domeinnaam die is opgehaald in stap 1. Gebruik hiervoor de opdracht host voor de opgehaalde domeinnaam. Controleer of deze overeenkomt met het oorspronkelijke IP-adres uit uw logboeken dat toegang probeerde te krijgen.

Voorbeeld 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

Voorbeeld 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

Was dit nuttig?
Hoe kunnen we dit verbeteren?