Textový soubor robots.txt vyhledávačům sděluje, které adresy URL nebo adresáře na webu nemají procházet. Obsahuje pravidla, která blokují jednotlivé adresy URL nebo celé adresáře před konkrétními prohledávači (nebo před všemi prohledávači). Vytvořením a umístěním tohoto souboru do domovského adresáře webu může vlastník webu zajistit, aby web neplýtval časem a energií v souvislosti s procházením stránek nebo zdrojů (jako jsou obrázky), které nejsou dostatečně důležité k zobrazení ve výsledcích vyhledávání. Pokud je váš web malý, pravděpodobně soubor robots.txt nepotřebujete.
Soubor robots.txt nepoužívejte k tomu, abyste zabránili zobrazení stránky ve výsledcích vyhledávání. Slouží pouze k zabránění procházení. K zabránění zobrazení stránky nebo obrázku ve výsledcích vyhledávání se používají jiné techniky. Další informace o souboru robots.txt
