Informace o souboru robots.txt

Časté dotazy o webových robotech

Všeobecné dotazy ohledně webových robotů

Dotazy ohledně souboru robots.txt

Dotazy ohledně metaznaček robots

Dotazy ohledně záhlaví HTTP X-Robots-Tag

Chybí vám zde nějaký častý dotaz? Neváhejte jej zveřejnit v našem fóru nápovědy pro webmastery, kde naleznete další pomoc.

Všeobecné dotazy ohledně webových robotů

Musí moje webové stránky obsahovat soubor robots.txt?

Ne. Když prohledávač Googlebot navštíví webové stránky, nejprve se pokoušíme načíst soubor robots.txt, a tím vlastně žádáme o oprávnění k procházení. Webové stránky bez souboru robots.txt, metaznaček robots nebo záhlaví HTTP X-Robots-Tag jsou většinou procházeny a indexovány jako obvykle.

Jakou metodu mám použít?

Záleží na situaci. Ve zkratce lze říci, že každá z metod má své opodstatnění:

  1. Soubor robots.txt: Použijte jej, pokud vám procházení obsahu způsobuje problémy se serverem. Můžete například zakázat procházení stránek s kalendářem, ve kterých se dá posouvat donekonečna. Pomocí souboru robots.txt neblokujte soukromý obsah (k tomu použijte ověření na straně serveru), ani neřešte kanonizaci (viz centrum nápovědy). Pokud si chcete být jisti, že určitá adresa URL není indexována, použijte metaznačku robots nebo záhlaví HTTP X-Robots-Tag.
  2. Metaznačka robots: Použijte ji, pokud potřebujete mít kontrolu nad způsobem zobrazení určité stránky HTML ve výsledcích vyhledávání (nebo chcete zajistit, aby se nezobrazovala).
  3. Záhlaví HTTP X-Robots-Tag: Použijte jej, pokud potřebujete mít kontrolu nad způsobem zobrazení obsahu jiného formátu než HTML ve výsledcích vyhledávání (nebo chcete zajistit, aby se nezobrazoval).

Mohu pomocí těchto metod odstranit web někoho jiného?

Ne. Tyto metody lze použít pouze u webů, kde můžete upravovat kód a přidávat soubory. Chcete-li odstranit obsah z webu třetí strany, kontaktujte webmastera a požádejte jej, aby obsah odstranil.

Jak zpomalím rychlost, kterou Google moje webové stránky prochází?

Nastavení rychlosti procházení můžete upravit ve svém účtu Google Search Console.

Dotazy ohledně souboru robots.txt

Používám jeden soubor robots.txt pro více webů. Mohu namísto relativní cesty použít celou adresu URL?

Ne. Direktivy v souboru robots.txt (s výjimkou direktivy „Sitemap:“) jsou platné pouze v rámci relativních cest.

Mohu soubor robots.txt umístit do podadresáře?

Ne. Soubor se musí nacházet v adresáři, který je na webu umístěn nejvýše.

Chci zablokovat soukromou složku. Mohu ostatním zabránit ve čtení mého souboru robots.txt?

Ne. Soubor robots.txt mohou číst nejrůznější uživatelé. Pokud složky nebo názvy souborů obsahu mají být neveřejné, nesmí být v souboru robots.txt uvedeny. Nedoporučujeme poskytovat jiné soubory robots.txt na základě identifikátoru user-agent nebo jiných atributů.

Je třeba povolit procházení pomocí direktivy allow?

Ne, direktivu allow zahrnovat nemusíte. Direktiva allow slouží k přepsání direktiv disallow ve stejném souboru robots.txt.

Co se stane, když soubor robots.txt bude obsahovat chybu nebo použiji nepodporovanou direktivu?

Prohledávače bývají velmi flexibilní a drobné chyby v souboru robots.txt je obvykle neovlivní. Přinejhorším se může stát, že chybné nebo nepodporované direktivy budou ignorovány. Nezapomínejte ale, že při interpretaci souboru robots.txt vám Google neumí číst myšlenky. Interpretujeme takový soubor robots.txt, který načteme. Pokud tedy víte, že soubor robots.txt obsahuje problémy, většinou není obtížné je odstranit.

Pomocí jakého programu mám soubor robots.txt vytvořit?

Použít můžete libovolný program, který vytvoří platný textový soubor. Obvykle se soubory robots.txt vytváří v programech Notepad, TextEdit, vi nebo emacs. Další informace o vytváření souborů robots.txt. Po vytvoření soubor ověřte pomocí nástroje na testování souborů robots.txt.

Pokud Googlu zakážu procházení stránky pomocí direktivy disallow v souboru robots.txt, zmizí stránka z výsledků vyhledávání?

Pokud Googlu zakážete procházení určité stránky, pravděpodobně bude z indexu Google odstraněna. 

Direktiva Disallow v souboru robots.txt nicméně nezaručuje, že se stránka ve výsledcích vyhledávání nezobrazí: Google i přesto může na základě externích informací (jako jsou příchozí odkazy) rozhodnout, že je stránka relevantní. Chcete-li stránku z indexování výslovně vyloučit, je třeba namísto toho použít metaznačku robots noindex nebo záhlaví HTTP X-Robots-Tag. V takovém případě byste v souboru robots.txt neměli stránku zakazovat, protože je nutné ji projít, aby prohledávač značku uviděl a řídil se jí.

Jak dlouho trvá, než se změny v souboru robots.txt projeví ve výsledcích vyhledávání?

Nejprve je třeba obnovit soubor robots.txt uložený v mezipaměti (obsah obvykle ukládáme do mezipaměti maximálně po dobu jednoho dne). I když zjistíme změnu, procházení a indexování je složitý proces a u jednotlivých adres URL někdy trvá dost dlouho. Proto vám nedokážeme sdělit přesný časový harmonogram. Také připomínáme, že i když váš soubor robots.txt zakáže přístup k určité adrese URL, příslušná adresa může ve výsledcích zůstat viditelná, ačkoliv ji nemůžeme procházet. Chcete-li odstranění zablokovaných stránek z Googlu urychlit, odešlete žádost o odstranění prostřednictvím služby Google Search Console.

Jak dočasně pozastavím veškeré procházení mého webu?

Veškeré procházení můžete dočasně pozastavit, když u všech adres URL, včetně souboru robots.txt, budete vracet kód odpovědi HTTP 503. Poté budeme pravidelně zkoušet, zda je soubor robots.txt opět přístupný. Chcete-li zakázat procházení, nedoporučujeme kvůli tomu měnit soubor robots.txt.

Můj server nerozlišuje velká a malá písmena. Jak zcela zakážu procházení určitých složek?

Direktivy v souboru robots.txt velká a malá písmena rozlišují. V tomto případě doporučujeme pomocí metod kanonizace zajistit, aby byla indexována pouze jedna verze adresy URL. Pomocí tohoto postupu soubor robots.txt zjednodušíte. Pokud takto postupovat nemůžete, doporučujeme vypsat nejčastější kombinace názvů složek nebo názvy co nejvíce zkrátit (namísto celého názvu použít jen několik prvních znaků). Například namísto vypsání všech variant malých a velkých písmen ve složce s názvem „/MojeSoukromáSložka“ můžete vypsat varianty názvu „/MojeS“ (pokud jistě víte, že těmito prvními znaky nezačíná žádná jiná adresa URL, kterou lze procházet). Pokud ale není problémem samotné procházení, může být lepší namísto souboru robots.txt použít metaznačku robots nebo záhlaví HTTP X-Robots-Tag.

U všech adres URL včetně souboru robots.txt vracím odpověď 403 „Zakázáno“. Proč web i nadále procházíte?

Kód výsledku 403 (stejně jako všechny další kódy výsledku 4xx) je chápán jako znamení, že soubor robots.txt není k dispozici. Z tohoto důvodu prohledávače obvykle předpokládají, že mohou procházet všechny adresy URL příslušného webu. Chcete-li procházení webu zablokovat, musíte soubor robots.txt vracet běžným způsobem (s kódem výsledku 200 „OK“) a vložit do něj vhodnou direktivu „disallow“.

Dotazy ohledně metaznaček robots

Nahrazuje metaznačka robots soubor robots.txt?

Ne. Soubor robots.txt určuje, ke kterým stránkám budeme mít přístup. Metaznačka robots určuje, zda bude stránka indexována, ale aby tato značky byla viditelná, je třeba stránku procházet. Pokud procházení stránky způsobuje problémy (například pokud stránka způsobuje vysoké zatížení serveru), měli byste použít soubor robots.txt. Metaznačku robots můžete použít, pokud je pro vás rozhodující pouze to, zda stránka bude či nebude zobrazována ve výsledcích vyhledávání.

Lze pomocí metaznačky robots vyloučit z indexování určitou část stránky?

Ne, metaznačka robots se nastavuje na úrovni stránky.

Mohu metaznačku robots používat mimo sekci <head>?

Ne, metaznačka robots se aktuálně musí na stránce nacházet v sekci <head>.

Dokáže metaznačka robots zakázat procházení?

Ne. I když metaznačka robots bude mít hodnotu noindex, příslušnou adresu URL budeme muset jednou za čas projít, abychom ověřili, zda se metaznačka nezměnila.

Jaký je rozdíl mezi metaznačkou robots nofollow a atributem odkazu rel="nofollow"?

Metaznačka robots nofollow se vztahuje na všechny odkazy na stránce. Atribut odkazu rel="nofollow" se vztahuje pouze na konkrétní odkazy na stránce. Další informace o atributu odkazu rel="nofollow" naleznete v článcích centra nápovědy o spamu generovaném uživateliatributu rel="nofollow".

Dotazy ohledně záhlaví HTTP X-Robots-Tag

Jak pro adresu URL ověřím záhlaví X-Robots-Tag?

Záhlaví serveru můžete snadno zobrazit pomocí webového nástroje na kontrolu záhlaví severu nebo funkce Načíst jako Googlebot ve službě Google Search Console.

Pomohly vám tyto informace?
Jak bychom článek mohli vylepšit?