robots.txt é o nome do arquivo de texto que informa aos mecanismos de pesquisa quais URLs ou diretórios de um site não devem ser rastreados. O arquivo tem regras que bloqueiam certos URLs ou diretórios inteiros para todos os rastreadores ou alguns deles. Ele é criado pelo proprietário do site e armazenado no diretório principal para evitar que se gastem tempo e energia atendendo às solicitações de rastreamento de páginas ou recursos (como imagens) que não são importantes o suficiente para aparecer nos resultados da pesquisa.Em casos de sites pequenos, geralmente não é necessário um arquivo robots.txt.
Use o robots.txt apenas para evitar o rastreamento, e não para impedir que uma página apareça nos resultados da pesquisa. Para isso, use outras técnicas. Saiba mais sobre o arquivo robots.txt.
