उस पेज को अनब्लॉक करना जिसे robots.txt का इस्तेमाल करके ब्लॉक किया गया है

अगर robots.txt नियम का इस्तेमाल करके Google को आपके पेज को क्रॉल करने से ब्लॉक किया गया है, तो हो सकता है कि वह पेज Google Search के नतीजों में न दिखे. हालांकि, इन नतीजों में उस पेज के दिखने की संभावना कम है, लेकिन अगर वह दिखता भी है, तो नतीजे में उस पेज की जानकारी शामिल नहीं होगी.

1. यह पक्का करना कि पेज को robots.txt का इस्तेमाल करके ब्लॉक किया गया है

अगर आपने Search Console में अपनी साइट के मालिकाना हक की पुष्टि कर ली है, तो यह करें:

1. यूआरएल जांचने वाला टूल खोलें.
2. Google के खोज नतीजों में, पेज के लिए दिखाए गए यूआरएल की जांच करें. यह पक्का करें कि आपने Search Console की उस प्रॉपर्टी को चुना हो जिसमें यह यूआरएल शामिल है.
3. जांच के नतीजों में, पेज को इंडेक्स करने की स्थिति वाला सेक्शन देखें. अगर इसकी स्थिति, robots.txt का इस्तेमाल करके ब्लॉक किया गया है, तो इसका मतलब है कि आपने समस्या पता कर ली है. समस्या को ठीक करने के लिए, अगले सेक्शन पर जाएं.

अगर आपने Search Console में अपनी साइट की पुष्टि नहीं की है, तो यह करें:

1. robots.txt की पुष्टि करने वाला टूल खोजें.
2. जिस पेज की जानकारी मौजूद नहीं है, पुष्टि करने वाले टूल में उसका यूआरएल डालें. इसके लिए, उस यूआरएल का इस्तेमाल करें जो Google के खोज नतीजों में, उस पेज के लिए दिखाया जाता है.
3. अगर पुष्टि करने वाले टूल से पता चलता है कि Google को इस पेज को क्रॉल करने से ब्लॉक किया गया है, तो इसका मतलब है कि आपने समस्या पता कर ली है. समस्या को ठीक करने के लिए, अगले सेक्शन पर जाएं.

2. नियम को ठीक करना

1. robots.txt की पुष्टि करने वाले टूल का इस्तेमाल करके यह जानें कि किस नियम ने आपके पेज को क्रॉल होने से ब्लॉक किया है. साथ ही, जानें कि आपकी robots.txt फ़ाइल कहां है.
2. नियम को ठीक करने या हटाने के लिए:
   • अगर वेबसाइट होस्टिंग की सुविधा देने वाली किसी कंपनी का इस्तेमाल किया जा रहा है, तो हम आपकी robots.txt फ़ाइल को अपडेट करने का सटीक तरीका नहीं बता पाएंगे. ऐसा इसलिए, क्योंकि वेबसाइट होस्टिंग की सुविधा देने वाली हर कंपनी, robots.txt को अलग-अलग तरीके से मैनेज करती है. इनमें Wix, Joomla या Drupal जैसी कंपनियां शामिल हैं. अपने पेज या साइट के लिए होस्टिंग की सुविधा देने वाली कंपनी के दस्तावेज़ देखें. इससे, आपको यह जानकारी मिलेगी कि अपने पेज या साइट को क्रॉल कराने के लिए, Google पर लगी रोक कैसे हटाएं. दस्तावेज़ों में, सुझाए गए इन शब्दों को खोजें: "robots.txt provider_name" या "पेज को क्रॉल करने के लिए Google पर लगी रोक हटाएं provider_name". उदाहरण के लिए, यह शब्द खोजें: robots.txt Wix
   • अगर आपके पास robots.txt फ़ाइल में सीधे बदलाव करने का विकल्प है, तो उस नियम को हटाएं जिसकी वजह से रोक लगी है या फिर, उसे robots.txt सिंटैक्स के हिसाब से अपडेट करें.