"robots.txt" est le nom d'un fichier texte qui indique aux moteurs de recherche les URL ou les répertoires d'un site à ne pas explorer. Ce fichier contient des règles qui bloquent des URL individuelles ou des répertoires entiers pour des robots d'exploration spécifiques (ou tous les robots d'exploration). Il est créé par le propriétaire du site Web et stocké dans le répertoire d'accueil du site afin d'empêcher le site de consacrer du temps et de l'énergie à répondre aux demandes d'exploration de pages ou de ressources (telles que des images) qui ne sont pas suffisamment importantes pour apparaître dans les résultats de recherche. Si votre site est de taille modeste, vous n'aurez probablement pas besoin d'un fichier robots.txt.
N'utilisez pas le fichier robots.txt pour empêcher l'affichage d'une page dans les résultats de recherche, mais uniquement pour empêcher son exploration. D'autres techniques permettent d'empêcher l'affichage d'une page ou d'une image dans les résultats de recherche. En savoir plus sur le fichier robots.txt
