robots.txt के बारे में जानकारी

robots.txt परीक्षक के साथ अपने robots.txt का परीक्षण करें

robots.txt परीक्षक टूल आपको दिखाता है कि आपकी robots.txt फ़ाइल आपकी साइट पर Google वेब क्रॉलर को विशिष्ट URL के लिए अवरोधित करती है या नहीं. उदाहरण के लिए, आप यह परीक्षण करने के लिए इस टूल का उपयोग कर सकते हैं कि क्या Googlebot-Image क्रॉलर उस चित्र के URL को क्रॉल कर सकता है जिसे आप Google चित्र खोज से अवरोधित करना चाहते हैं.

 

robots.txt परीक्षक खोलें

 

आप robots.txt परीक्षक टूल में एक URL सबमिट कर सकते हैं. टूल Googlebot की तरह कार्य करता है जैसे आपकी robots.txt फ़ाइल की जांच कर पाता है और सत्यापित करता है कि आपका URL उचित तरीके से अवरोधित किया गया है.

अपनी robots.txt फ़ाइल का परीक्षण करें

  1. अपनी साइट के लिए परीक्षक टूल खोलें और हाइलाइट की गई सिंटैक्स चेतावनियां और तर्क त्रुटियों का पता लगाने के लिए robots.txt कोड के द्वारा स्क्रॉल करें. सिंटैक्स चेतावनियों और तर्क त्रुटियों की संख्या तुरंत संपादक के नीचे दिखाई जाती है. 
  2. अपनी साइट पर पृष्ठ के निचले भाग पर पाठ बॉक्स में पृष्ठ के URL में लिखें.
  3. पाठ बॉक्स की दाईं ओर स्थित ड्रॉपडाउन सूची में उस उपयोगकर्ता-एजेंट का चयन करें जिसे आप सिम्युलेट करना चाहते हैं .
  4. एक्सेस का परीक्षण करने के लिए परीक्षण करें बटन क्लिक करें.
  5. यह देखने के लिए जांचें कि क्या परीक्षण करें बटन अब यह पता लगाने के लिए स्वीकृत या अवरोधित पढ़ता है कि आपके द्वारा डाले गए URL को Google वेब क्रॉलर से अवरोधित किया गया है.
  6. पृष्ठ पर फ़ाइल संपादित करें और आवश्यकतानुसार पुनः परीक्षण करें. ध्यान दें कि पृष्ठ में किए गए परिवर्तन आपकी साइट पर नहीं सहेजे जाते हैं! अगला चरण देखें.
  7. अपने परिवर्तनों को अपनी साइट पर अपनी robots.txt फ़ाइल में कॉपी करें. यह टूल आपकी साइट पर वास्तविक फ़ाइल में परिवर्तन नहीं करता, यह केवल टूल में होस्ट की गई कॉपी के विरुद्ध परीक्षण करता है.

robots.txt परीक्षक टूल की सीमाएं:

  • आपके द्वारा टूल संपादक में किए गए परिवर्तन अपने आप आपके वेब सर्वर पर नहीं सहेजे जाते. आपको संपादक से अपने सर्वर में संग्रहीत robots.txt फ़ाइल में सामग्री को कॉपी करके चिपकाना होगा.
  • robots.txt परीक्षक टूल केवल आपकी robots.txt का Google उपयोगकर्ता एजेंट या वेब क्रॉलर जैसे Googlebot के साथ परीक्षण करता है. हम यह पूर्वानुमान नहीं लगा सकते कि अन्य वेब क्रॉलर आपकी robots.txt फ़ाइल की कैसे व्याख्या करते हैं.
क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?