Přehled souborů robots.txt

Ověřte si, zda Google dokáže zpracovat vaše soubory robots.txt

Přehled souborů robots.txt ukazuje, které soubory robots.txt Google našel pro 20 nejvýznamnějších hostitelů vašeho webu, čas posledního procházení a případná upozornění či chyby. V nouzových situacích pomocí něj také můžete požádat o opětovné projití souboru robots.txt.

Soubor robots.txt slouží k zabránění vyhledávačům v procházení webu. Pokud chcete zabránit zobrazování obsahu ve výsledcích vyhledávání, použijte direktivu noindex.

Tento přehled je k dispozici pouze pro služby na úrovni domény. Je tyto k dispozici pro tyto typy služeb:

  • pro služby typu Doména (například example.com nebo m.example.com),
  • pro služby s předponou adresy URL bez cesty, například https://example.com/, ale nikoliv https://example.com/cesta/.

Otevřít přehled souborů robots.txt

 

Zobrazení souborů robots.txt a stavu procházení

U služeb typu Doména přehled obsahuje soubory robots.txt z 20 nejvýznamnějších hostitelů v dané službě.

O každém souboru robots.txt, který služba Search Console zkontroluje, uvidíte následující informace:

  • Cesta souboru – Úplná adresa URL, na které Google zkontroloval přítomnost souboru robots.txt. Adresa URL bude v přehledu uvedena pouze v případě, že někdy během uplynulých 30 dní měla stav Načteno nebo Nenačteno. Viz Umístění souborů robots.txt.
  • Stav načtení – Stav poslední žádosti o načtení tohoto souboru. Možné jsou tyto hodnoty:
    • Nenačteno – Nenalezeno (404): Při žádosti o tento soubor došlo k chybě 404 (soubor neexistuje). Pokud jste soubor robots.txt na uvedené adrese URL publikovali, ale zobrazuje se vám tato chyba, zkuste zkontrolovat adresu URL a zjistit, zda nedochází k problémům s dostupností. Soubor, který má 30 dní stav Nenalezeno (404), se již v přehledu nebude zobrazovat (Google ho však bude na pozadí kontrolovat i nadále). Pokud žádnou chybu souboru robots.txt nevidíte, nejedná se o problém a znamená to, že Google může procházet všechny adresy URL na vašem webu. Přečtěte si však úplné podrobnosti o tom, jak se Google chová v případě chyby souboru robots.txt.
    • Nenačteno – jakýkoliv jiný důvod: Při žádosti o tento soubor došlo k jinému problému. Viz Seznam problémů s indexováním.
    • Načteno: Při posledním pokusu o procházení byl úspěšně poskytnut soubor robots.txt. Případné problémy zjištěné při jeho analýze budou uvedeny ve sloupci Problémy. Řádky s problémy Google ignoruje a používá ty, které dokáže analyzovat.
  • Poslední kontrola – Datum, kdy se Google naposledy pokusil tuto adresu URL procházet, v místním čase.
  • Velikost – Velikost načteného souboru v bajtech. Pokud se poslední pokus o načtení nezdařil, bude toto pole prázdné.
  • Problémy – V tabulce jsou uvedeny všechny problémy s analýzou obsahu souboru při posledním načtení. Chyba brání použití pravidla. Upozornění použití pravidla nebrání. Přečtěte si, jak se Google chová v případě chyb souboru robots.txt. Problémy s analýzou můžete vyřešit pomocí validátoru souborů robots.txt.

Zobrazení naposledy načtené verze

Poslední načtenou verzi souboru robots.txt zobrazíte tak, že na něj v seznamu souborů v přehledu kliknete. Pokud soubor robots.txt obsahuje chyby nebo upozornění, budou v zobrazeném obsahu souboru zvýrazněny. Chyby a upozornění můžete procházet pomocí kláves se šipkami.

Zobrazení dříve načtených verzí

Pokud chcete zobrazit žádosti o načtení konkrétního souboru robots.txt za posledních 30 dní, klikněte na něj v seznamu souborů v přehledu a poté klikněte na Verze. Obsah konkrétní verze souboru zobrazíte tak, že na ni kliknete. V historii jsou zahrnuty pouze žádosti, u kterých se načtený soubor lišil od předchozí žádosti o načtení souboru.

Pokud Google při posledním pokusu o načtení narazil na chybu, bude až 30 dní používat poslední úspěšně načtenou verzi bez chyb.

Požádání o opětovné projití

Když v souboru robots.txt opravíte chybu nebo provedete kritickou změnu, můžete požádat o jeho opětovné projití.

Kdy požádat o opětovné projití

Obecně o opětovné projití souborů robots.txt není třeba žádat, protože je Google prochází často. Požádat o opětovné projití souboru robots.txt však může být vhodné za následujících okolností:

  • Změnili jste pravidla v souboru robots.txt tak, abyste odblokovali některé důležité adresy URL, a chcete o tom Google rychle informovat. (Upozorňujeme, že nezaručujeme, že budou okamžitě znovu projity odblokované adresy URL.)
  • Opravili jste chybu načtení nebo jinou kritickou chybu.

Jak požádat o opětovné projití

Pokud chcete požádat o opětovné projití, vyberte ikonu dalších nastavení vedle souboru v seznamu souborů robots.txt a klikněte na Požádat o opětovné projití.

Weby v hostingových službách

Pokud je váš web hostován ve hostingové službě, úprava souboru robots.txt nemusí být snadná. V takovém případě si přečtěte dokumentaci hostitelské služby ohledně toho, jak Googlu zabránit v procházení nebo indexování konkrétních stránek. (Většina uživatelů chce zabránit zobrazování souborů ve Vyhledávání Google, nikoliv procházení souborů Googlem. Pokud se to týká i vás, vyhledejte informace hostingové služby o tom, jak stránky zablokovat před vyhledávači.)

Co se stane, když Google soubor robots.txt nedokáže načíst nebo přečíst

Pokud Google v doméně nebo subdoméně soubor robots.txt nenajde, předpokládá, že u daného hostitele může procházet všechny adresy URL.

Pokud Google soubor robots.txt najde, ale nemůže ho načíst, postupuje takto:

  1. Prvních 12 hodin Google web přestane procházet, ale bude se soubor robots.txt nadále pokoušet načíst.
  2. Pokud se Googlu nepodaří načíst novou verzi, bude následujících 30 dní používat poslední funkční verzi, přičemž se bude nadále pokoušet načíst novou verzi. Poslední funkční verzi najdete v historii verzí.
  3. Pokud chyby nebudou opraveny ani po 30 dnech:
    • Pokud je web pro Google všeobecně dostupný, bude se Google chovat, jako by na něm žádný soubor robots.txt nebyl (ale bude i nadále kontrolovat, zda není k dispozici nová verze).
    • Pokud se u webu vyskytnou problémy s všeobecnou dostupností, přestane ho Google procházet, přičemž bude i nadále pravidelně žádat o soubor robots.txt.

Pokud Google najde soubor robots.txt a dokáže ho načíst: Google čte soubor po řádcích. Pokud je na některém řádku chyba nebo ho nelze analyzovat na pravidlo v souboru robots.txt, bude přeskočen. Pokud v souboru nejsou žádné platné řádky, Google ho považuje za prázdný soubor robots.txt, což znamená, že pro web nejsou deklarována žádná pravidla.

Umístění souborů robots.txt

Terminologie:

  • Protokol (také nazývaný schéma) je buď HTTP, nebo HTTPS.
  • Hostitel je všechno, co v adrese URL následuje za protokolem (http:// nebo https://), až po cestu. Hostitel m.de.example.com tedy zahrnuje tři možné hostitele: m.de.example.com, de.example.com a example.com. Každý z těchto hostitelů může mít svůj vlastní soubor robots.txt.
  • Původ je kombinace protokolu a hostitele. Tedy například https://example.com/ nebo https://m.example.co.es/.

Podle standardu RFC 9309 musí být soubor robots.txt v kořenovém adresáři každé kombinace protokolu a hostitele webu.

Služba typu Doména:

  1. Search Console vybírá 20 nejvýznamnějších hostitelů podle rychlosti procházení. Pro každou doménu mohou být v přehledu uvedeny až dva původy, což znamená, že v tabulce může být uvedeno až 40 řádků. Pokud adresu URL souboru robots.txt pro jednoho ze svých hostitelů nemůžete najít, vytvořte službu typu Doména pro chybějící subdoménu.
  2. U každého hostitele kontroluje Search Console dvě adresy URL:
    • http://<hostitel>/robots.txt
    • https://<hostitel>/robots.txt
  3. Pokud bude soubor robots.txt na adrese URL po dobu 30 dní uveden jako Nenalezeno, Search Console ji v tomto přehledu nebude zobrazovat, ale Google ji na pozadí bude i nadále kontrolovat. U všech ostatních výsledků bude zkontrolovaná adresa URL v přehledu uvedena.

U služby s předponou adresy URL na úrovni hostitele (například https://example.com/) kontroluje Search Console pouze jeden původ. To znamená, že u služby https://example.com kontroluje Search Console pouze adresu https://example.com/robots.txt, nikoli http://example.com/robots.txt nebo https://m.example.com/robots.txt.

Běžné úkony

Zobrazení souboru robots.txt

Pokud některý soubor robots.txt uvedený v tomto přehledu chcete otevřít, klikněte na něj v seznamu souborů robots.txt. Kliknutím na Otevřít aktivní soubor robots.txt ho otevřete v prohlížeči.

V prohlížeči můžete otevřít kterýkoliv soubor robots.txt na internetu. Informace o tom, kterou adresu URL navštívit, naleznete níže.

Kde se soubory robots.txt nacházejí

Soubor robots.txt se nachází v kořenovém adresáři protokolu a domény. Adresu URL určíte tak, že z adresy URL souboru odstraníte vše za hostitelem (a volitelným portem) a přidáte „/robots.txt“. Pokud je soubor robots.txt k dispozici, můžete ho navštívit v prohlížeči. Subdomény ani nadřazené domény soubory robots.txt nedědí a na každou stránku se může vztahovat pouze jeden soubor robots.txt. Zde je pár příkladů:

Adresa URL souboru Adresa URL souboru robots.txt, která se na daný soubor může vztahovat
http://example.com/domovskastranka http://example.com/robots.txt
https://m.de.example.com/nejaka/stranka/mojestranka https://m.de.example.com/robots.txt
https://example.com?idstranky=234#ukotveni https://example.com/robots.txt
https://obrazky.example.com/kvetiny/narcis.png https://obrazky.example.com/robots.txt

Zjištění, který soubor robots.txt se na stránku nebo obrázek vztahuje

Adresu URL souboru robots.txt, který se na stránku nebo obrázek vztahuje, zjistíte takto:

  1. Zjistěte přesnou adresu URL stránky nebo obrázku. V případě obrázku klikněte v prohlížeči Google Chrome pravým tlačítkem a vyberte Kopírovat adresu URL obrázku.
  2. Odstraňte konec adresy URL za doménou nejvyšší úrovně (například .com, .org, .co.il) a přidejte na konec řetězec „/robots.txt“. Soubor robots.txt pro adresu https://obrazky.example.com/kvetiny/narcis.png je tedy na adrese https://obrazky.example.com/robots.txt.
  3. Otevřením dané adresy URL v prohlížeči si ověřte, zda existuje. Pokud prohlížeč soubor otevřít nedokáže, znamená to, že daný soubor neexistuje.

Otestování, zda je Google blokován souborem robots.txt

Další informace

Pomohly vám tyto informace?

Jak bychom článek mohli vylepšit?
Vyhledávání
Vymazat vyhledávání
Zavřít vyhledávání
Aplikace Google
Hlavní nabídka
6206105775836013057
true
Prohledat Centrum nápovědy
true
true
true
true
true
83844