robots.txt, arama motorlarına bir sitedeki hangi URL'lerin veya dizinlerin taranmaması gerektiğini bildiren bir metin dosyasının adıdır. Bu dosya, belirli tarayıcılar (veya tüm tarayıcılar) için tek tek URL'leri ya da dizinlerin tamamını engelleyen kurallar içerir. Web sitesi sahibi tarafından oluşturulur ve sitenin, arama sonuçlarında gösterilecek kadar önemli olmayan sayfalara ya da kaynaklara (ör. görseller) tarama istekleri göndererek zaman ve enerji harcamasını önlemek için sitenin ana dizininde saklanır. Küçük ölçekli bir siteyseniz muhtemelen robots.txt dosyasına ihtiyacınız yoktur.
robots.txt dosyasını, bir sayfanın arama sonuçlarında görünmesini engellemek için değil, yalnızca taranmasını önlemek için kullanın. Bir sayfanın veya görselin arama sonuçlarında görünmesini engellemek için başka teknikler kullanılır. Robots.txt hakkında daha fazla bilgi