Googlebot

A Googlebot a Google webes robotjának általános neve. A Googlebot elnevezés valójában két különböző feltérképező robotot takar: az egyik asztali robot, amely asztali számítógépet használó felhasználót szimulál, a másik pedig mobilos robot, amely mobileszközt használó felhasználót szimulál.

Webhelyét valószínűleg a Googlebot Desktop (az asztali robot) és a Googlebot Smartphone (a mobilos robot) is feltérképezi. A Googlebot altípusa a kérésben szereplő felhasználóiügynök-karakterlánc alapján azonosítható, azonban mindkét feltérképező robot ugyanazt a terméktokent (felhasználóiügynök-tokent) veszi figyelembe a robots.txt fájlban, ezért a fájl használatával nincs lehetőség a mobilos vagy az asztali Googlebot szelektív megcélzására.

Ha webhelyét már az elsőként a mobilos verzió feltérképezésére konvertáltuk a Google-nál, akkor a Googlebot feltérképezési kéréseinek többsége a mobilos feltérképező robottól érkezik majd, az asztali robot csak kevesebb feltérképezést végez. A még konvertálás előtt álló webhelyek esetében a kérések többsége az asztali feltérképező robottól érkezik. Mindkét esetben igaz, hogy a kevesebb kérést indító robot csak azokat az URL-eket térképezi fel, amelyeket a másik robot már feltérképezett.

 

Hogyan fér hozzá a Googlebot a webhelyemhez?

A legtöbb webhely esetében a Googlebot általában néhány másodperces gyakoriságnál többször nem kezdeményez hozzáférést a webhelyhez. Mindazonáltal a hálózati késések miatt rövid időszakokban valamivel magasabbnak tűnhet a feltérképezési gyakoriság.

A Googlebotot úgy terveztük, hogy egyidejűleg több ezer számítógépen fusson, hogy az internet növekedésével együtt javulhasson teljesítménye és kiterjedtsége. A sávszélesség-használat csökkentésének érdekében jellemzően úgy helyezzük el a feltérképező robotokat a hálózaton, hogy közel legyenek a feltérképezendő webhelyekhez. Ennélfogva a naplókban több olyan számítógép is megjelenhet, amelyek mind a google.com-ról származnak és felhasználói ügynökük a Googlebot. Célunk, hogy minden látogatás során a lehető legtöbb oldalt térképezzük fel webhelyén, ugyanakkor ne vegyük túlságosan igénybe szervere sávszélességét. Ha webhelye nehezen kezeli a Google feltérképezési kéréseit, kérheti a feltérképezés gyakoriságának módosítását.

A webhely Googlebot általi látogatásainak megakadályozása

Majdhogynem lehetetlen úgy titokban tartani egy szervert, hogy nem tesz közzé rá mutató linkeket. Ha például valaki az Ön „titkos” szerveréről más webszerverre mutató linket követ, a „titkos” URL megjelenhet a „referrer” címkében, és a másik szerver tárolhatja, valamint közzé is teheti a „referrer” naplójában. Az interneten számos elavult és nem működő link is található. Ha valaki az Ön webhelyére irányuló, de hibás linket tesz közzé, vagy nem igazodik az Ön szerverén történt változásokhoz a meglévő link frissítésével, akkor a Googlebot helytelen URL-t próbál majd feltérképezni webhelyén.

Számos lehetőség áll rendelkezésére, ha szeretné megakadályozni, hogy a Googlebot feltérképezze a webhelyén található tartalmakat. Felhívjuk figyelmét, hogy a következők eltérő tevékenységek: a Googlebot megakadályozása az oldal feltérképezésében, a Googlebot megakadályozása az oldal indexelésében, valamint annak megakadályozása, hogy az oldal mind a feltérképező robotok, mind a felhasználók számára hozzáférhető legyen.

A Googlebot ellenőrzése

Mielőtt letiltaná a Googlebotot, vegye figyelembe, hogy a Googlebot felhasználóiügynök-karakterláncát gyakran hamisítják más robotok. Fontos, hogy ellenőrizze a problémásnak talált kérések származását. A leghatékonyabban úgy ellenőrizheti, hogy a kérések tényleg a Googlebottól származnak-e, hogy fordított DNS-keresést hajt végre a kérés forrásának IP-címén.

A Googlebot és minden más megbízható keresőmotor tiszteletben tartja a robots.txt-ben megadott direktívákat, ám a spamelők és más rosszindulatú emberek nem. A Google aktívan küzd a spamelők ellen; ha spam jellegű oldalakat vagy webhelyeket lát a Google Keresés találatai között, jelentheti a spamet a Google felé.

 

Hasznosnak találta?
Hogyan fejleszthetnénk?