robots.txt คือชื่อไฟล์ข้อความที่จะบอกให้เครื่องมือค้นหารู้ว่า URL หรือไดเรกทอรีใดในเว็บไซต์ที่ไม่ควรทำการ Crawl โดยไฟล์นี้จะมีกฎที่บล็อก URL แต่ละรายการหรือทั้งไดเรกทอรีจาก Crawler บางตัว (หรือ Crawler ทั้งหมด) อยู่ ซึ่งเป็นกฎที่เจ้าของเว็บไซต์สร้างขึ้นและจัดเก็บไว้ในไดเรกทอรีหลัก เพื่อป้องกันไม่ให้เว็บไซต์ต้องเสียเวลาและพลังงานจากการตอบสนองคำขอให้ทำการ Crawl กับหน้าหรือทรัพยากร (เช่น รูปภาพ) ที่ไม่มีความสำคัญมากพอจะปรากฏในผลการค้นหา หากคุณเป็นเว็บไซต์เล็กๆ ก็อาจไม่ต้องใช้ไฟล์ robots.txt แต่อย่างใด
อย่าใช้ robots.txt เพื่อป้องกันไม่ให้หน้าเว็บปรากฏในผลการค้นหา แต่ใช้เพื่อป้องกันไม่ให้ระบบต้องทำการ Crawl เท่านั้น เพราะมีการใช้เทคนิคอื่นๆ เพื่อป้องกันไม่ให้หน้าเว็บหรือรูปภาพปรากฏในผลการค้นหาอยู่แล้ว ดูข้อมูลเพิ่มเติมเกี่ยวกับ robots.txt