Blokování adres URL pomocí souboru robots.txt

Informace o souborech robots.txt

Soubor robots.txt je textový soubor v kořenovém adresáři webu, který označuje části webu, které nemají procházet prohledávače vyhledávačů. Tento soubor využívá standard pro zakázání přístupu robotům, což je protokol s malou sadou příkazů, pomocí kterých lze omezit přístup k jednotlivým sekcím webu podle druhu prohledávače (lze např. rozlišit mobilní a webové prohledávače).

Soubor robots.txt potřebujete, pouze pokud na webu máte obsah, který Googlem a dalšími vyhledávači nemá být indexován.

Chcete-li otestovat, ke kterým adresám URL na vašich webových stránkách má Google přístup a ke kterým ne, zkuste použít Nástroj na testování souborů robots.txt.

Vysvětlení omezeného použití souborů robots.txt

Před vytvořením souboru robots.txt byste měli znát rizika tohoto způsobu blokování adres URL. Někdy může být vhodné zvážit další mechanismy, aby bylo zajištěno, že vaše adresy URL nelze na internetu vyhledat.

  • Instrukce v souboru robots.txt jsou jen pokyny

    Instrukce v souborech robots.txt nemohou vynutit chování prohledávače na vašem webu. Jedná se pouze o pokyny pro prohledávače, které váš web navštíví. Zatímco Googlebot a další důvěryhodné prohledávače se pokyny v souboru robots.txt řídí, některé prohledávače je mohou ignorovat. Pokud proto chcete své informace před prohledávači ochránit, doporučujeme použít jiné metody, například chránit soukromé soubory na serveru heslem.
  • Různé prohledávače si syntaxi vykládají po svém

    Ačkoli se důvěryhodné prohledávače pokyny v souboru robots.txt řídí, každý z nich se je může vyložit po svém. Je potřeba znát správnou syntaxi pro různé prohledávače, protože některé z nich nemusejí určitým pokynům rozumět.
  • Pokyny v souboru robots.txt nemohou zabránit odkazování na vaše adresy URL z jiných webů

    Ačkoli Google nebude obsah blokovaný souborem robots.txt procházet ani indexovat, zablokovanou adresu URL můžeme najít na jiných místech internetu a na základě toho ji indexovat. V důsledku toho se adresa URL (a případně také další veřejně dostupné informace, například text odkazů na stránky) může ve výsledcích Vyhledávání Google i přesto objevit. Zobrazování adresy URL ve výsledcích Vyhledávání Google můžete zcela zabránit, když použijete soubor robots.txt v kombinaci s dalšími způsoby blokování adresy URL, jako je ochrana souborů na serveru pomocí hesla nebo vložení metaznaček s pokyny ohledně indexování do kódu HTML.
Poznámka: Když zkombinujete několik pokynů ohledně procházení a indexování, může dojít k tomu, že některé instrukce budou v rozporu s jinými. Přečtěte si, jak pokyny správně nakonfigurovat, v sekci o kombinování pokynů ohledně procházení, indexování a zobrazování v dokumentaci na webu Google Developers.
Pomohl vám tento článek?
Ano
Ne