Googlebot überprüfen

Sie können überprüfen, ob es sich bei dem Web-Crawler, der auf Ihren Server zugreift, um den Googlebot oder einen anderen User-Agent von Google handelt. Dies ist hilfreich, wenn Sie befürchten, dass Spammer oder bösartige Nutzer auf Ihre Website zugreifen und sich dabei als Googlebot ausgeben. Google stellt keine öffentliche Liste mit IP-Adressen zur Verfügung, die Webmaster auf die weiße Liste setzen können. Der Grund hierfür ist, dass sich die IP-Adressbereiche ändern können und dies für Webmaster, die sie hartcodiert haben, zu Problemen führt. Daher müssen Sie einen DNS-Lookup wie im Folgenden beschrieben ausführen.

So verifizieren Sie den Googlebot als den Anrufer:

  1. Führen Sie einen umgekehrten DNS-Lookup nach der zugreifenden IP-Adresse aus Ihren Protokollen mithilfe des host-Befehls aus.
  2. Verifizieren Sie, dass der Domainname entweder googlebot.com oder google.com lautet.
  3. Führen Sie einen vorwärtsgerichteten DNS-Lookup nach dem in Schritt 1 abgerufenen Domainnamen aus. Wenden Sie dazu den host-Befehl auf den abgerufenen Domainnamen an. Verifizieren Sie, dass es sich bei diesem Domainnamen um die ursprüngliche zugreifende IP-Adresse aus Ihren Protokollen handelt.

Beispiel 1:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

Beispiel 2:

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

War das hilfreich?
Wie können wir die Seite verbessern?