Vyhledávání
Vymazat vyhledávání
Zavřít vyhledávání
Aplikace Google
Hlavní nabídka

Blokování adres URL pomocí souboru robots.txt

Informace o souborech robots.txt

Soubor robots.txt je textový soubor v kořenovém adresáři webu, který označuje části webu, které nemají procházet prohledávače vyhledávačů. Tento soubor využívá standard pro zakázání přístupu robotům, což je protokol s malou sadou příkazů, pomocí kterých lze omezit přístup k jednotlivým sekcím webu podle druhu prohledávače (lze např. rozlišit mobilní a webové prohledávače).

K čemu soubor robots.txt slouží?

Jiné než obrázkové soubory

V případě jiných než obrázkových souborů (tedy webových stránek) doporučujeme pomocí souboru robots.txt pouze řídit provoz procházení, protože obvykle není žádoucí, aby byl váš server zahlcen prohledávačem Googlu nebo abyste utráceli rozpočet za procházení nedůležitých nebo podobných stránek na svém webu. Soubor robots.txt nepoužívejte ke skrývání webových stránek z výsledků Vyhledávání Google. Na vaši stránku totiž mohou vést i jiné stránky, a na základě toho může být vaše stránka indexována, protože soubor robots.txt nebude použit. Pokud chcete stránku blokovat z výsledků vyhledávání, použijte jinou metodu, například ochranu heslem nebo značky či direktivy noindex.

Obrázkové soubory

Soubor robots.txt zabraňuje zobrazování obrázkových souborů ve výsledcích vyhledávání Google. (Nezabraňuje ale ostatním stránkám či uživatelům, aby na váš obrázek odkazovali.)

Zdrojové soubory

Soubor robots.txt můžete použít k blokování zdrojových souborů, jako jsou nedůležité obrázky, skripty nebo soubory stylů, pokud jste přesvědčeni, že když se stránky načtou bez těchto zdrojů, nebude to na ně mít zásadní vliv. Pokud ale kvůli absenci těchto zdrojů bude pro prohledávač Google obtížné stránce porozumět, neblokujte je. V opačném případě Google nebude moci správně analyzovat stránky, které z těchto zdrojů vycházejí.

Vysvětlení omezeného použití souborů robots.txt

Před vytvořením souboru robots.txt byste měli znát rizika tohoto způsobu blokování adres URL. Někdy může být vhodné zvážit další mechanismy, aby bylo zajištěno, že vaše adresy URL nelze na internetu vyhledat.

  • Instrukce v souboru robots.txt jsou jen pokyny

    Instrukce v souborech robots.txt nemohou vynutit chování prohledávače na vašem webu. Jedná se pouze o pokyny pro prohledávače, které váš web navštíví. Zatímco Googlebot a další důvěryhodné prohledávače se pokyny v souboru robots.txt řídí, některé prohledávače je mohou ignorovat. Pokud proto chcete své informace před prohledávači ochránit, doporučujeme použít jiné metody, například chránit soukromé soubory na serveru heslem.
  • Různé prohledávače si syntaxi vykládají po svém

    Ačkoli se důvěryhodné prohledávače pokyny v souboru robots.txt řídí, každý z nich se je může vyložit po svém. Je potřeba znát správnou syntaxi pro různé prohledávače, protože některé z nich nemusejí určitým pokynům rozumět.
  • Pokyny v souboru robots.txt nemohou zabránit odkazování na vaše adresy URL z jiných webů

    Ačkoli Google nebude obsah blokovaný souborem robots.txt procházet ani indexovat, zablokovanou adresu URL můžeme najít na jiných místech internetu a na základě toho ji indexovat. V důsledku toho se adresa URL (a případně také další veřejně dostupné informace, například text odkazů na stránky) může ve výsledcích Vyhledávání Google i přesto objevit. Zobrazování adresy URL ve výsledcích Vyhledávání Google můžete zcela zabránit, když použijete jiné způsoby blokování adresy URL, jako je ochrana souborů na serveru pomocí hesla nebo použití metaznačky noindex nebo záhlaví odpovědi.
Poznámka: Když zkombinujete několik pokynů ohledně procházení a indexování, může dojít k tomu, že některé instrukce budou v rozporu s jinými. Přečtěte si, jak pokyny správně nakonfigurovat, v sekci o kombinování pokynů ohledně procházení, indexování a zobrazování v dokumentaci na webu Google Developers.
Pomohl vám tento článek?