Se denomina "robots.txt" al archivo de texto que indica a los buscadores qué URLs o directorios de un sitio no se deben rastrear. Este archivo contiene reglas que bloquean URLs concretas o directorios completos para que no los detecte un rastreador específico (o cualquier rastreador). El propietario del sitio web crea este archivo, y se almacena en el directorio principal del sitio para evitar que el sitio invierta tiempo y energía sirviendo solicitudes de rastreo para páginas o recursos (como imágenes) que no son lo suficientemente importantes como para aparecer en los resultados de búsqueda. Si tu sitio es pequeño, lo más probable es que no necesites un archivo robots.txt.
No uses el archivo robots.txt para hacer que una página no aparezca en los resultados de búsqueda, úsalo únicamente para conseguir que no se rastree. Para hacer que una página o imagen no aparezca en los resultados de búsqueda, se usan otras técnicas. Más información sobre robots.txt
