"robots.txt" là tên của một tệp văn bản cho công cụ tìm kiếm biết những URL hoặc thư mục trên trang web mà công cụ tìm kiếm không nên thu thập dữ liệu. Tệp này chứa các quy tắc chặn một số trình thu thập dữ liệu cụ thể (hoặc mọi trình thu thập dữ liệu) truy cập một số URL riêng lẻ hoặc toàn bộ thư mục. Tệp này do chủ sở hữu trang web tạo và lưu trữ trong thư mục gốc của trang web nhằm ngăn việc trang web phải tiêu tốn thời gian và hiệu suất cho việc phân phát yêu cầu thu thập dữ liệu trên những trang hoặc tài nguyên (chẳng hạn như hình ảnh) không đáng để xuất hiện trong kết quả tìm kiếm. Nếu có một trang web nhỏ, có thể bạn không cần đến tệp robots.txt.
Đừng dùng tệp robots.txt để ngăn một trang xuất hiện trong kết quả tìm kiếm mà chỉ nên dùng để ngăn Google thu thập dữ liệu trên trang đó. Bạn có thể dùng các kỹ thuật khác để ngăn trang hoặc hình ảnh xuất hiện trong kết quả tìm kiếm. Tìm hiểu thêm về tệp robots.txt
