robots.txt è il nome di un file di testo che indica ai motori di ricerca quali URL o directory di un sito non devono essere sottoposti a scansione. Questo file contiene regole che bloccano singoli URL o intere directory per crawler specifici (o per tutti i crawler). Viene creato dal proprietario del sito web e memorizzato nella home directory del sito per impedire di sprecare tempo ed energie a gestire le richieste di scansione per pagine o risorse (ad esempio immagini) non abbastanza importanti da comparire nei risultati di ricerca. Se hai un sito di piccole dimensioni, probabilmente non hai bisogno di un file robots.txt.
Non utilizzare il file robots.txt per impedire che una pagina venga visualizzata nei risultati di ricerca, ma solo per evitare che venga sottoposta a scansione. Per impedire la visualizzazione di una pagina o di un'immagine nei risultati di ricerca, vengono utilizzate altre tecniche. Scopri di più sul file robots.txt
