Přehled souborů robots.txt ukazuje, které soubory robots.txt Google našel pro 20 nejvýznamnějších hostitelů vašeho webu, čas posledního procházení a případná upozornění či chyby. V nouzových situacích pomocí něj také můžete požádat o opětovné projití souboru robots.txt.
Tento přehled je k dispozici pouze pro služby na úrovni domény. Je tyto k dispozici pro tyto typy služeb:
- pro služby typu Doména (například example.com nebo m.example.com),
- pro služby s předponou adresy URL bez cesty, například https://example.com/, ale nikoliv https://example.com/cesta/.
Otevřít přehled souborů robots.txt
Zobrazení souborů robots.txt a stavu procházení
U služeb typu Doména přehled obsahuje soubory robots.txt z 20 nejvýznamnějších hostitelů v dané službě.
O každém souboru robots.txt, který služba Search Console zkontroluje, uvidíte následující informace:
- Cesta souboru – Úplná adresa URL, na které Google zkontroloval přítomnost souboru robots.txt. Adresa URL bude v přehledu uvedena pouze v případě, že někdy během uplynulých 30 dní měla stav Načteno nebo Nenačteno. Viz Umístění souborů robots.txt.
- Stav načtení – Stav poslední žádosti o načtení tohoto souboru. Možné jsou tyto hodnoty:
- Nenačteno – Nenalezeno (404): Při žádosti o tento soubor došlo k chybě 404 (soubor neexistuje). Pokud jste soubor robots.txt na uvedené adrese URL publikovali, ale zobrazuje se vám tato chyba, zkuste zkontrolovat adresu URL a zjistit, zda nedochází k problémům s dostupností. Soubor, který má 30 dní stav Nenalezeno (404), se již v přehledu nebude zobrazovat (Google ho však bude na pozadí kontrolovat i nadále). Pokud žádnou chybu souboru robots.txt nevidíte, nejedná se o problém a znamená to, že Google může procházet všechny adresy URL na vašem webu. Přečtěte si však úplné podrobnosti o tom, jak se Google chová v případě chyby souboru robots.txt.
- Nenačteno – jakýkoliv jiný důvod: Při žádosti o tento soubor došlo k jinému problému. Viz Seznam problémů s indexováním.
- Načteno: Při posledním pokusu o procházení byl úspěšně poskytnut soubor robots.txt. Případné problémy zjištěné při jeho analýze budou uvedeny ve sloupci Problémy. Řádky s problémy Google ignoruje a používá ty, které dokáže analyzovat.
- Poslední kontrola – Datum, kdy se Google naposledy pokusil tuto adresu URL procházet, v místním čase.
- Velikost – Velikost načteného souboru v bajtech. Pokud se poslední pokus o načtení nezdařil, bude toto pole prázdné.
- Problémy – V tabulce jsou uvedeny všechny problémy s analýzou obsahu souboru při posledním načtení. Chyba brání použití pravidla. Upozornění použití pravidla nebrání. Přečtěte si, jak se Google chová v případě chyb souboru robots.txt. Problémy s analýzou můžete vyřešit pomocí validátoru souborů robots.txt.
Zobrazení naposledy načtené verze
Poslední načtenou verzi souboru robots.txt zobrazíte tak, že na něj v seznamu souborů v přehledu kliknete. Pokud soubor robots.txt obsahuje chyby nebo upozornění, budou v zobrazeném obsahu souboru zvýrazněny. Chyby a upozornění můžete procházet pomocí kláves se šipkami.
Zobrazení dříve načtených verzí
Pokud chcete zobrazit žádosti o načtení konkrétního souboru robots.txt za posledních 30 dní, klikněte na něj v seznamu souborů v přehledu a poté klikněte na Verze. Obsah konkrétní verze souboru zobrazíte tak, že na ni kliknete. V historii jsou zahrnuty pouze žádosti, u kterých se načtený soubor lišil od předchozí žádosti o načtení souboru.
Pokud Google při posledním pokusu o načtení narazil na chybu, bude až 30 dní používat poslední úspěšně načtenou verzi bez chyb.
Požádání o opětovné projití
Když v souboru robots.txt opravíte chybu nebo provedete kritickou změnu, můžete požádat o jeho opětovné projití.
Kdy požádat o opětovné projití
Obecně o opětovné projití souborů robots.txt není třeba žádat, protože je Google prochází často. Požádat o opětovné projití souboru robots.txt však může být vhodné za následujících okolností:
- Změnili jste pravidla v souboru robots.txt tak, abyste odblokovali některé důležité adresy URL, a chcete o tom Google rychle informovat. (Upozorňujeme, že nezaručujeme, že budou okamžitě znovu projity odblokované adresy URL.)
- Opravili jste chybu načtení nebo jinou kritickou chybu.
Jak požádat o opětovné projití
Pokud chcete požádat o opětovné projití, vyberte ikonu dalších nastavení 
Weby v hostingových službách
Pokud je váš web hostován ve hostingové službě, úprava souboru robots.txt nemusí být snadná. V takovém případě si přečtěte dokumentaci hostitelské služby ohledně toho, jak Googlu zabránit v procházení nebo indexování konkrétních stránek. (Většina uživatelů chce zabránit zobrazování souborů ve Vyhledávání Google, nikoliv procházení souborů Googlem. Pokud se to týká i vás, vyhledejte informace hostingové služby o tom, jak stránky zablokovat před vyhledávači.)
Co se stane, když Google soubor robots.txt nedokáže načíst nebo přečíst
Pokud Google v doméně nebo subdoméně soubor robots.txt nenajde, předpokládá, že u daného hostitele může procházet všechny adresy URL.
Pokud Google soubor robots.txt najde, ale nemůže ho načíst, postupuje takto:
- Prvních 12 hodin Google web přestane procházet, ale bude se soubor robots.txt nadále pokoušet načíst.
- Pokud se Googlu nepodaří načíst novou verzi, bude následujících 30 dní používat poslední funkční verzi, přičemž se bude nadále pokoušet načíst novou verzi. Poslední funkční verzi najdete v historii verzí.
- Pokud chyby nebudou opraveny ani po 30 dnech:
- Pokud je web pro Google všeobecně dostupný, bude se Google chovat, jako by na něm žádný soubor robots.txt nebyl (ale bude i nadále kontrolovat, zda není k dispozici nová verze).
- Pokud se u webu vyskytnou problémy s všeobecnou dostupností, přestane ho Google procházet, přičemž bude i nadále pravidelně žádat o soubor robots.txt.
Pokud Google najde soubor robots.txt a dokáže ho načíst: Google čte soubor po řádcích. Pokud je na některém řádku chyba nebo ho nelze analyzovat na pravidlo v souboru robots.txt, bude přeskočen. Pokud v souboru nejsou žádné platné řádky, Google ho považuje za prázdný soubor robots.txt, což znamená, že pro web nejsou deklarována žádná pravidla.
Umístění souborů robots.txt
Terminologie:
- Protokol (také nazývaný schéma) je buď HTTP, nebo HTTPS.
- Hostitel je všechno, co v adrese URL následuje za protokolem (http:// nebo https://), až po cestu. Hostitel m.de.example.com tedy zahrnuje tři možné hostitele: m.de.example.com, de.example.com a example.com. Každý z těchto hostitelů může mít svůj vlastní soubor robots.txt.
- Původ je kombinace protokolu a hostitele. Tedy například https://example.com/ nebo https://m.example.co.es/.
Podle standardu RFC 9309 musí být soubor robots.txt v kořenovém adresáři každé kombinace protokolu a hostitele webu.
- Search Console vybírá 20 nejvýznamnějších hostitelů podle rychlosti procházení. Pro každou doménu mohou být v přehledu uvedeny až dva původy, což znamená, že v tabulce může být uvedeno až 40 řádků. Pokud adresu URL souboru robots.txt pro jednoho ze svých hostitelů nemůžete najít, vytvořte službu typu Doména pro chybějící subdoménu.
- U každého hostitele kontroluje Search Console dvě adresy URL:
- http://<hostitel>/robots.txt
- https://<hostitel>/robots.txt
- Pokud bude soubor robots.txt na adrese URL po dobu 30 dní uveden jako Nenalezeno, Search Console ji v tomto přehledu nebude zobrazovat, ale Google ji na pozadí bude i nadále kontrolovat. U všech ostatních výsledků bude zkontrolovaná adresa URL v přehledu uvedena.
U služby s předponou adresy URL na úrovni hostitele (například https://example.com/) kontroluje Search Console pouze jeden původ. To znamená, že u služby https://example.com kontroluje Search Console pouze adresu https://example.com/robots.txt, nikoli http://example.com/robots.txt nebo https://m.example.com/robots.txt.
Běžné úkony
Zobrazení souboru robots.txt
Pokud některý soubor robots.txt uvedený v tomto přehledu chcete otevřít, klikněte na něj v seznamu souborů robots.txt. Kliknutím na Otevřít aktivní soubor robots.txt ho otevřete v prohlížeči.
V prohlížeči můžete otevřít kterýkoliv soubor robots.txt na internetu. Informace o tom, kterou adresu URL navštívit, naleznete níže.
Kde se soubory robots.txt nacházejí
Soubor robots.txt se nachází v kořenovém adresáři protokolu a domény. Adresu URL určíte tak, že z adresy URL souboru odstraníte vše za hostitelem (a volitelným portem) a přidáte „/robots.txt“. Pokud je soubor robots.txt k dispozici, můžete ho navštívit v prohlížeči. Subdomény ani nadřazené domény soubory robots.txt nedědí a na každou stránku se může vztahovat pouze jeden soubor robots.txt. Zde je pár příkladů:
| Adresa URL souboru | Adresa URL souboru robots.txt, která se na daný soubor může vztahovat |
|---|---|
| http://example.com/domovskastranka | http://example.com/robots.txt |
| https://m.de.example.com/nejaka/stranka/mojestranka | https://m.de.example.com/robots.txt |
| https://example.com?idstranky=234#ukotveni | https://example.com/robots.txt |
| https://obrazky.example.com/kvetiny/narcis.png | https://obrazky.example.com/robots.txt |
Zjištění, který soubor robots.txt se na stránku nebo obrázek vztahuje
Adresu URL souboru robots.txt, který se na stránku nebo obrázek vztahuje, zjistíte takto:
- Zjistěte přesnou adresu URL stránky nebo obrázku. V případě obrázku klikněte v prohlížeči Google Chrome pravým tlačítkem a vyberte Kopírovat adresu URL obrázku.
- Odstraňte konec adresy URL za doménou nejvyšší úrovně (například .com, .org, .co.il) a přidejte na konec řetězec „/robots.txt“. Soubor robots.txt pro adresu https://obrazky.example.com/kvetiny/narcis.png je tedy na adrese https://obrazky.example.com/robots.txt.
- Otevřením dané adresy URL v prohlížeči si ověřte, zda existuje. Pokud prohlížeč soubor otevřít nedokáže, znamená to, že daný soubor neexistuje.
Otestování, zda je Google blokován souborem robots.txt
- Pokud chcete otestovat, zda je určitá adresa URL blokována souborem robots.txt, můžete dostupnost adresy URL otestovat nástrojem Kontrola adresy URL.
- Pokud chcete otestovat, jaký vliv má konkrétní pravidlo v souboru robots.txt na soubor, který na webu ještě není, nebo pokud chcete otestovat nové pravidlo, můžete použít některý z nástrojů třetích stran na testování souborů robots.txt.
Další informace
- Co je to soubor robots.txt a jak se používá?
- Implementace souboru robots.txt
