Un file robots.txt limita l'accesso al tuo sito da parte dei robot dei motori di ricerca che eseguono la scansione del Web. Questi bot sono automatici e, prima di accedere alle pagine di un sito, effettuano un controllo per verificare la presenza di un file robots.txt che impedisce loro di accedere a determinate pagine. Tutti i robot affidabili rispetteranno le istruzioni in un file robots.txt, anche se alcuni potrebbero interpretarle diversamente. Tuttavia, non è possibile imporre l'applicazione di un file robots.txt e alcuni spammer potrebbero ignorarlo. Per questo motivo, ti consigliamo di proteggere mediante password le informazioni riservate.
Sarà necessario un file robots.txt solo se sul tuo sito sono presenti contenuti che desideri vengano esclusi dall'indicizzazione dei motori di ricerca. Se desideri che i motori di ricerca eseguano l'indicizzazione di tutti i contenuti del tuo sito, non sarà necessario un file robots.txt (nemmeno vuoto).
Anche se Google non eseguirà la scansione o l'indicizzazione dei contenuti delle pagine bloccate dal file robots.txt, potrà comunque indicizzare gli URL trovati su altre pagine web. Di conseguenza, l'URL della pagina e, potenzialmente, anche altre informazioni disponibili pubblicamente, quali il testo di ancoraggio nei link al sito o il titolo fornito dall'Open Directory Project (www.dmoz.org), possono essere visualizzati nei risultati di ricerca di Google.
Per poter utilizzare un file robots.txt, devi avere accesso alla directory principale del tuo dominio (se non sei sicuro di avere accesso, contatta il tuo servizio di hosting web). Se non hai accesso alla directory principale di un dominio, puoi limitare l'accesso utilizzando il metatag robots.