robots.txt to nazwa pliku tekstowego informującego wyszukiwarki o tym, które adresy URL lub katalogi w witrynie nie powinny być indeksowane. Plik zawiera reguły, które blokują poszczególne adresy URL lub całe katalogi przed dostępem określonych (lub wszystkich) robotów. Tworzony jest przez właściciela witryny i zapisywany w katalogu głównym witryny. Dzięki niemu witryna nie marnuje czasu i energii na obsługę żądań indeksowania stron lub zasobów (np. obrazów), które nie są na tyle ważne, żeby musiały pojawiać się w wynikach wyszukiwania. Jeśli witryna jest mała, prawdopodobnie nie potrzebujesz pliku robots.txt.
Plik robots.txt nie służy do zapobiegania wyświetlaniu strony w wynikach wyszukiwania – jego zadaniem jest tylko zapobieganie jej zindeksowaniu. Jeśli nie chcesz, aby jakieś strony lub obrazy wyświetlały się w wynikach wyszukiwania, użyj innych technik. Więcej informacji o plikach robots.txt
