आपकी साइट के पेजों को क्रॉल करने से पहले, हमने, आपकी robots.txt फ़ाइल की जांच की थी, ताकि यह पक्का किया सके कि हम उन पेजों को क्रॉल न करें जिन्हें आपने रोबोट से बाहर हटा दिए थे. हालांकि, जब हमने आपकी robots.txt फ़ाइल को वापस पाने की कोशिश की, तो आपके सर्वर से 5xx (पहुंचा नहीं जा सका) का मैसेज मिला. हम उस फ़ाइल के किसी भी पेज को क्रॉल न पाएं, इसके लिए हमने क्रॉल करने का शेड्यूल आगे बढ़ा दिया.
हो सकता है कि आपको सर्वर देने वाली संस्था ने Googlebot पर रोक लगाई हो या संस्था के फ़ायरवॉल के कॉन्फ़िगरेशन से जुड़ी कोई समस्या आ रही हो.
ध्यान दें: अगर आपके ब्राउज़र में robots.txt फ़ाइल में दिखने वाला कॉन्टेंट, Google को दिखने वाले कॉन्टेंट से अलग है, तो सर्वर देने वाली कंपनी से संपर्क करें. कंपनी के साथ मिलकर, सर्वर से जुड़े ऐसे नियमों को हटाएं जो अलग-अलग उपयोगकर्ता एजेंट को अलग-अलग robots.txt कॉन्टेंट दिखा सकते हैं.
