robots.txt एक टेक्स्ट फ़ाइल का नाम होता है. इससे सर्च इंजन को यह पता चलता है कि किसी साइट के किन यूआरएल या डायरेक्ट्री को क्रॉल नहीं किया जाना चाहिए. इस फ़ाइल में ऐसे नियम होते हैं जो अलग-अलग यूआरएल या पूरी डायरेक्ट्री को किसी खास क्रॉलर (या सभी क्रॉलर) के लिए ब्लॉक करते हैं. इसे वेबसाइट मालिक बनाते हैं और इसे साइट की होम डायरेक्ट्री में सेव किया जाता है. इससे ऐसे पेजों और रिसॉर्स (जैसे कि इमेज) को दिखाने और क्रॉल करने के अनुरोधों पर समय बर्बाद करने से साइट को रोका जा सकता है जो खोज नतीजों में दिखाए जाने के लिए ज़रूरी नहीं हैं. अगर आपकी साइट छोटी है, तो शायद आपको robots.txt फ़ाइल की ज़रूरत न पड़े.
robots.txt का इस्तेमाल, किसी पेज को खोज नतीजों में दिखाने से रोकने के लिए न करें. उसे सिर्फ़ क्रॉल किए जाने से रोकने के लिए इसका इस्तेमाल करें. किसी पेज या इमेज को खोज नतीजों में दिखाने से रोकने के लिए, दूसरी तकनीकों का इस्तेमाल किया जाता है. robots.txt के बारे में ज़्यादा जानें