robots.txt is de naam van een tekstbestand dat zoekmachines laat weten welke URL's of directory's op een site niet moeten worden gecrawld. Dit bestand bevat regels die afzonderlijke URL's of hele directory's blokkeren voor specifieke crawlers (of alle crawlers). Het bestand wordt gemaakt door de website-eigenaar en opgeslagen in de homedirectory van de site om te voorkomen dat de site tijd en energie besteedt aan crawlverzoeken voor pagina's of bronnen (zoals afbeeldingen) die niet belangrijk genoeg zijn om te worden weergegeven in zoekresultaten. Als je een kleine site hebt, heb je waarschijnlijk geen robots.txt-bestand nodig.
Gebruik robots.txt niet om te voorkomen dat een pagina wordt weergegeven in zoekresultaten, maar alleen om te voorkomen dat de pagina wordt gecrawld. Andere technieken worden gebruikt om te voorkomen dat een pagina of afbeelding wordt weergegeven in zoekresultaten. Meer informatie over robots.txt
