A robots.txt egy szövegfájl neve, amely jelzi a keresőmotoroknak, hogy az adott webhely mely URL-jeit vagy könyvtárait ne térképezzék fel. Ez a fájl olyan szabályokat tartalmaz, amelyek egyes URL-eket vagy teljes könyvtárakat tiltanak le az adott feltérképező robotok (vagy az összes feltérképező robot) számára. A webhelytulajdonos hozza létre és tárolja a webhely főkönyvtárában annak megakadályozására, hogy a webhely időt és energiát fordítson a feltérképezési kérelmek teljesítésére olyan oldalak vagy források (például képek) esetén, amelyek nem elég fontosak ahhoz, hogy megjelenjenek a keresési találatok között. Ha az Ön webhelye kicsi, akkor valószínűleg nincs szüksége robots.txt fájlra.
A robots.txt fájlt ne annak megakadályozására használja, hogy egy adott oldal megjelenjen a keresési találatok között, hanem csak arra, hogy megakadályozza a feltérképezését. Adott oldalak vagy képek keresési találatok között való megjelenését más módszerek segítségével akadályozhatja meg. További információ a robots.txt fájlról.
