Googlebot

Googlebot je obecný název prohledávače Google. Zahrnuje dva různé typy prohledávačů: prohledávač pro počítače, který simuluje uživatele na počítači, a prohledávač pro mobily, který simuluje uživatele na mobilním zařízení.

Váš web pravděpodobně bude procházet jak Googlebot pro počítače, tak Googlebot pro mobily. Podtyp Googlebota zjistíte podle řetězec user-agent v požadavku. Oba typy prohledávače se však řídí stejným produktovým tokenem v souboru robots.txt (token user-agent). Pomocí souboru robots.txt proto nelze selektivně cílit na Googlebota pro počítače ani na Googlebota pro mobily.

Pokud byl váš web na Googlu převeden na indexování se zaměřením na mobily, většina požadavků při procházení Googlebotem bude prováděna prostřednictvím prohledávače pro mobily a jen menšina prostřednictvím prohledávače pro počítače. U webů, které dosud nebyly převedeny, bude většina procházení probíhat prostřednictvím prohledávače pro počítače. V obou případech prochází sekundární prohledávač pouze adresy URL, které již prošel primární prohledávač.

 

Jak Googlebot prochází váš web

Na většinu webů by Googlebot neměl posílat požadavky na soubory častěji než v průměru jednou za několik sekund. Vzhledem ke zpožděním se však může stát, že se tato frekvence bude krátkodobě jevit jako o něco vyšší.

Googlebot je navržen tak, aby běžel současně na tisících počítačů. Zlepšuje to jeho výkon a umožňuje to rozšiřovat jej podle toho, jak se rozrůstá web. Abychom méně zatěžovali datové linky, spouštíme také mnoho prohledávačů na počítačích v blízkosti webů, které by mohly procházet. V protokolech proto mohou být uvedeny návštěvy uživatelského agenta Googlebot z různých počítačů v doméně google.com. Naším cílem je při každé návštěvě procházet co možná nejvíce stránek z vašeho webu, aniž bychom zcela vyčerpali celou rychlost připojení vašeho serveru. Má-li váš web se zvládnutím požadavků Googlu při procházení problémy, můžete požádat o změnu rychlosti procházení.

Blokování přístupu Googlebota k webu

Je téměř nemožné uchovat webový server v tajnosti tím, že na něj nebudete publikovat žádné odkazy. Jakmile někdo pomocí odkazu z vašeho „tajného“ serveru navštíví jiný webový server, může se vaše „tajná“ adresa URL objevit ve značce referrer a druhý webový server ji může uchovat a zveřejnit v protokolu odkazujících serverů. Na webu se také vyskytuje mnoho zastaralých a nefunkčních odkazů. Pokud někdo zveřejní nesprávný odkaz na váš web nebo neaktualizuje odkazy podle změn na vašem serveru, pokusí se Googlebot na vašem webu projít nesprávný odkaz.

Chcete-li Googlebotu zabránit v procházení obsahu vašeho webu, máte několik možností. Mějte na paměti, že zabránit Googlebotu v procházení stránky, zabránit Googlebotu v indexování stránky a zablokovat na stránku přístup prohledávačům i uživatelům jsou tři různé věci.

Ověření Googlebota

Než se Googlebota rozhodnete zablokovat, upozorňujeme, že řetězec user-agent používaný Googlebotem často zneužívají jiné prohledávače. Je důležité ověřit, zda problematický požadavek skutečně pochází z Googlu. Nejlepším způsobem, jak ověřit, zda požadavek skutečně pochází od Googlebota, je použít pro zdrojovou IP adresu požadavku reverzní vyhledávání DNS.

Googlebot a roboti všech seriózních vyhledávačů budou příkazy v souboru robots.txt respektovat, nicméně někteří lotři a autoři spamu je nerespektují. Společnost Google proti autorům spamu aktivně bojuje. Pokud si ve výsledcích Vyhledávání Google všimnete spamových stránek nebo webů, můžete Googlu nahlásit spam.

 

Pomohly vám tyto informace?
Jak bychom článek mohli vylepšit?