Přehled souborů robots.txt

Ověřte si, zda Google dokáže zpracovat vaše soubory robots.txt

Přehled souborů robots.txt ukazuje, které soubory robots.txt Google našel pro 20 nejvýznamnějších hostitelů vašeho webu, čas posledního procházení a případná upozornění či chyby. V nouzových situacích pomocí něj také můžete požádat o opětovné projití souboru robots.txt.

Soubor robots.txt slouží k zabránění vyhledávačům v procházení webu. Pokud chcete zabránit zobrazování obsahu ve výsledcích vyhledávání, použijte direktivu noindex.

Tento přehled je k dispozici pouze pro služby na úrovni domény. Je k dispozici pro tyto typy služeb:

  • pro služby typu Doména (například example.com nebo m.example.com),
  • pro služby s předponou adresy URL bez cesty, například https://example.com/, ale nikoliv https://example.com/cesta/.

Otevřít přehled souborů robots.txt

 

Zobrazení souborů robots.txt a stavu procházení

U služeb typu Doména přehled obsahuje soubory robots.txt z 20 nejvýznamnějších hostitelů v dané službě.

O každém souboru robots.txt, který služba Search Console zkontroluje, uvidíte následující informace:

  • Cesta souboru – Úplná adresa URL, na které Google zkontroloval přítomnost souboru robots.txt. Adresa URL bude v přehledu uvedena pouze v případě, že někdy během uplynulých 30 dní měla stav Načteno nebo Nenačteno. Viz Umístění souborů robots.txt.
  • Stav načtení – Stav poslední žádosti o načtení tohoto souboru. Možné jsou tyto hodnoty:
    • Nenačteno – Nenalezeno (404): Při žádosti o tento soubor došlo k chybě 404 (soubor neexistuje). Pokud jste soubor robots.txt na uvedené adrese URL publikovali, ale zobrazuje se vám tato chyba, zkuste zkontrolovat adresu URL a zjistit, zda nedochází k problémům s dostupností. Soubor, který má 30 dní stav Nenalezeno (404), se již v přehledu nebude zobrazovat (Google ho však bude na pozadí kontrolovat i nadále). Pokud soubor robots.txt nemáte, není to problém. Znamená to, že Google může procházet všechny adresy URL na vašem webu. Přečtěte si však úplné podrobnosti o tom, jak se Google chová v případě chyby souboru robots.txt.
    • Nenačteno – jakýkoliv jiný důvod: Při žádosti o tento soubor došlo k jinému problému. Viz Seznam problémů s indexováním.
    • Načteno: Při posledním pokusu o procházení byl úspěšně poskytnut soubor robots.txt. Případné problémy zjištěné při jeho analýze budou uvedeny ve sloupci Problémy. Řádky s problémy Google ignoruje a používá ty, které dokáže analyzovat.
  • Poslední kontrola – Datum, kdy se Google naposledy pokusil tuto adresu URL procházet, v místním čase.
  • Velikost – Velikost načteného souboru v bajtech. Pokud se poslední pokus o načtení nezdařil, bude toto pole prázdné.
  • Problémy – V tabulce jsou uvedeny všechny problémy s analýzou obsahu souboru při posledním načtení. Chyba brání použití pravidla. Upozornění použití pravidla nebrání. Přečtěte si, jak se Google chová v případě chyb souboru robots.txt. Problémy s analýzou můžete vyřešit pomocí validátoru souborů robots.txt.

Zobrazení naposledy načtené verze

Poslední načtenou verzi souboru robots.txt zobrazíte tak, že na něj v seznamu souborů v přehledu kliknete. Pokud soubor robots.txt obsahuje chyby nebo upozornění, budou v zobrazeném obsahu souboru zvýrazněny. Chyby a upozornění můžete procházet pomocí kláves se šipkami.

Zobrazení dříve načtených verzí

Pokud chcete zobrazit žádosti o načtení konkrétního souboru robots.txt za posledních 30 dní, klikněte na něj v seznamu souborů v přehledu a poté klikněte na Verze. Obsah konkrétní verze souboru zobrazíte tak, že na ni kliknete. V historii jsou zahrnuty pouze žádosti, u kterých se načtený soubor lišil od předchozí žádosti o načtení souboru.

Pokud Google při posledním pokusu o načtení narazil na chybu, bude až 30 dní používat poslední úspěšně načtenou verzi bez chyb.

Požádání o opětovné projití

Když v souboru robots.txt opravíte chybu nebo provedete kritickou změnu, můžete požádat o jeho opětovné projití.

Kdy požádat o opětovné projití

Obecně o opětovné projití souborů robots.txt není třeba žádat, protože je Google prochází často. Požádat o opětovné projití souboru robots.txt však může být vhodné za následujících okolností:

  • Změnili jste pravidla v souboru robots.txt tak, abyste odblokovali některé důležité adresy URL, a chcete o tom Google rychle informovat. (Upozorňujeme, že nezaručujeme, že budou okamžitě znovu projity odblokované adresy URL.)
  • Opravili jste chybu načtení nebo jinou kritickou chybu.

Jak požádat o opětovné projití

Pokud chcete požádat o opětovné projití, vyberte ikonu dalších nastavení vedle souboru v seznamu souborů robots.txt a klikněte na Požádat o opětovné projití.

Weby v hostingových službách

Pokud je váš web hostován ve hostingové službě, úprava souboru robots.txt nemusí být snadná. V takovém případě si přečtěte dokumentaci hostitelské služby ohledně toho, jak Googlu zabránit v procházení nebo indexování konkrétních stránek.

Většina uživatelů chce zabránit zobrazování souborů ve Vyhledávání Google, nikoliv procházení souborů Googlem. Pokud se to týká i vás, vyhledejte informace hostingové služby o tom, jak stránky zablokovat před vyhledávači.

Umístění souborů robots.txt

Terminologie:

  • Protokol (také nazývaný schéma) je buď HTTP, nebo HTTPS.
  • Hostitel je všechno, co v adrese URL následuje za protokolem (http:// nebo https://), až po cestu. Hostitel m.de.example.com tedy zahrnuje tři možné hostitele: m.de.example.com, de.example.com a example.com. Každý z těchto hostitelů může mít svůj vlastní soubor robots.txt.
  • Původ je kombinace protokolu a hostitele. Tedy například https://example.com/ nebo https://m.example.co.es/.

Podle standardu RFC 9309 musí být soubor robots.txt v kořenovém adresáři každé kombinace protokolu a hostitele webu.

Služba typu Doména:

  1. Search Console vybírá 20 nejvýznamnějších hostitelů podle rychlosti procházení. Pro každou doménu mohou být v přehledu uvedeny až dva původy, což znamená, že v tabulce může být uvedeno až 40 řádků. Pokud adresu URL souboru robots.txt pro jednoho ze svých hostitelů nemůžete najít, vytvořte službu typu Doména pro chybějící subdoménu.
  2. U každého hostitele kontroluje Search Console dvě adresy URL:
    • http://<host>/robots.txt
    • https://<host>/robots.txt
  3. Pokud bude soubor robots.txt na adrese URL po dobu 30 dní uveden jako Nenalezeno, Search Console ji v tomto přehledu nebude zobrazovat, ale Google ji na pozadí bude i nadále kontrolovat. U všech ostatních výsledků bude zkontrolovaná adresa URL v přehledu uvedena.

U služby s předponou adresy URL na úrovni hostitele (například https://example.com/) kontroluje Search Console pouze jeden původ. To znamená, že u služby https://example.com kontroluje Search Console pouze adresu https://example.com/robots.txt, nikoli http://example.com/robots.txt nebo https://m.example.com/robots.txt.

Běžné úkony

Zobrazení souboru robots.txt

Pokud některý soubor robots.txt uvedený v tomto přehledu chcete otevřít, klikněte na něj v seznamu souborů robots.txt. Kliknutím na Otevřít aktivní soubor robots.txt ho otevřete v prohlížeči.

V prohlížeči můžete otevřít kterýkoliv soubor robots.txt na internetu. Informace o tom, kterou adresu URL navštívit, naleznete níže.

Kde se soubory robots.txt nacházejí

Soubor robots.txt se nachází v kořenovém adresáři protokolu a domény. Adresu URL určíte tak, že z adresy URL souboru odstraníte vše za hostitelem (a volitelným portem) a přidáte „/robots.txt“. Pokud je soubor robots.txt k dispozici, můžete ho navštívit v prohlížeči. Subdomény ani nadřazené domény soubory robots.txt nedědí a na každou stránku se může vztahovat pouze jeden soubor robots.txt. Zde je pár příkladů:

Adresa URL souboru Adresa URL souboru robots.txt, která se na daný soubor může vztahovat
http://example.com/home http://example.com/robots.txt
https://m.de.example.com/some/page/here/mypage https://m.de.example.com/robots.txt
https://example.com?idstranky=234#ukotveni https://example.com/robots.txt
https://images.example.com/flowers/daffodil.png https://images.example.com/robots.txt

Zjištění, který soubor robots.txt se na stránku nebo obrázek vztahuje

Adresu URL souboru robots.txt, který se na stránku nebo obrázek vztahuje, zjistíte takto:

  1. Zjistěte přesnou adresu URL stránky nebo obrázku. V případě obrázku klikněte v prohlížeči Google Chrome pravým tlačítkem a vyberte Kopírovat adresu URL obrázku.
  2. Odstraňte konec adresy URL za doménou nejvyšší úrovně (například .com, .org, .co.il) a přidejte na konec řetězec „/robots.txt“. Soubor robots.txt pro adresu https://obrazky.example.com/kvetiny/narcis.png je tedy na adrese https://obrazky.example.com/robots.txt.
  3. Otevřením dané adresy URL v prohlížeči si ověřte, zda existuje. Pokud prohlížeč soubor otevřít nedokáže, znamená to, že daný soubor neexistuje.

Otestování, zda je Google blokován souborem robots.txt

  • Pokud chcete otestovat, zda je určitá adresa URL blokována souborem robots.txt, můžete dostupnost adresy URL otestovat nástrojem Kontrola adresy URL.
  • Pokud jste vývojář, podívejte se na open source knihovnu robots.txt od Googlu, kterou používá i Vyhledávání Google. Pomocí tohoto nástroje můžete soubory robots.txt otestovat místně na počítači.

Další informace

Pomohly vám tyto informace?

Jak bychom článek mohli vylepšit?

Potřebujete další pomoc?

Vyzkoušejte tyto další kroky:

Vyhledávání
Vymazat vyhledávání
Zavřít vyhledávání
Aplikace Google
Hlavní nabídka
2178484254429673908
true
Prohledat Centrum nápovědy
true
true
true
true
true
83844
false
false
false
false