A Googlebot ellenőrzése

Ellenőrizheti, hogy a szerveréhez hozzáférni próbáló webes robot valóban a Googlebot-e (vagy egy másik Google user-agent). Ez akkor lehet hasznos, ha aggódik, hogy spam vagy egyéb rosszindulatú program fér hozzá webhelyéhez a Googlebot nevében. A Google nem hoz nyilvánosságra IP-címeket tartalmazó engedélyezési listát a webmesterek számára. Ennek oka, hogy ezek az IP-címtartományok módosulhatnak, ami problémákat okozhat a webmestereknek, akik kódolták azokat. Ezért DNS-keresést kell futtatnia a következő pontban leírtak szerint.

A Googlebot azonosítása hívóként:

  1. Futtasson fordított DNS-keresést naplóiban a hozzáférni próbáló IP-címre a host parancs segítségével.
  2. Ellenőrizze, hogy a domainnév a googlebot.com vagy google.com domain része-e.
  3. Az 1. lépésben lekért domainnéven futtasson sima DNS-keresést a host parancs segítségével. Ellenőrizze, hogy ez megegyezik-e az eredeti, hozzáférni próbáló IP-címmel, amely naplóiban szerepel.

1. példa

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

 

2. példa

> host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

> host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

 

Hasznos volt ez a cikk?
Hogyan fejleszthetnénk?