क्रॉलर एक ऐसा सॉफ़्टवेयर है जिसका इस्तेमाल Google, वेबपेजों के कॉन्टेंट को प्रोसेस और इंडेक्स करने के लिए करता है. क्रॉलर को स्पाइडर या बॉट भी कहा जाता है. AdSense क्रॉलर, आपकी साइट पर जाकर उसके कॉन्टेंट को समझता है, ताकि उसी के मुताबिक विज्ञापन दिखा सके.
AdSense क्रॉलर के बारे में कुछ अहम जानकारी यहां दी गई है:
- क्रॉलर रिपोर्ट को हर हफ़्ते अपडेट किया जाता है.
क्रॉल, अपने-आप किया जाता है, इसलिए हम बार-बार क्रॉल किए जाने का अनुरोध पूरा नहीं कर सकते.
- AdSense क्रॉलर, Google क्रॉलर से अलग है.
दोनों क्रॉलर अलग-अलग हैं, लेकिन ये कैश मेमोरी शेयर करते हैं. हम ऐसा इसलिए करते हैं, ताकि दोनों क्रॉलर एक ही पेज का अनुरोध न करें. इससे पब्लिशर की बैंडविड्थ बचती है. इसी तरह, Search Console क्रॉलर अलग होता है.
- AdSense की क्रॉल करने से जुड़ी समस्याओं को ठीक करने से, Google की क्रॉल करने से जुड़ी समस्याएं हल नहीं होंगी.
आपके क्रॉलर ऐक्सेस पेज पर दी गई समस्याओं को हल करने से, Google पर खोज नतीजों में आपके प्लेसमेंट पर कोई असर नहीं पड़ेगा. Google पर अपनी साइट की रैंकिंग के बारे में ज़्यादा जानने के लिए, हमारा Google पर खोज नतीजों में शामिल होना लेख पढ़ें.
- क्रॉलर, यूआरएल के हिसाब से इंडेक्स करता है.
हमारा क्रॉलर, site.com और www.site.com को अलग-अलग ऐक्सेस करेगा. हालांकि, क्रॉलर site.com और site.com/#anchor को अलग-अलग नहीं गिनेगा.
- क्रॉलर उन पेजों या डायरेक्ट्री को ऐक्सेस नहीं करता जिन पर, robots.txt फ़ाइल से पाबंदी लगाई गई है.
Google और AdSense Mediapartners क्रॉलर, दोनों आपकी robots.txt फ़ाइल की पाबंदी को मानते हैं. अगर आपकी robots.txt फ़ाइल कुछ पेजों या डायरेक्ट्री को ऐक्सेस करने से मना करती है, तो उन्हें क्रॉल नहीं किया जाएगा.
ध्यान दें: अगर ऐसे पेज पर विज्ञापन दिखाए जा रहे हैं जिन्हेंUser-agent: *के ज़रिए क्रॉल से बाहर रखा जा रहा है, तो AdSense क्रॉलर अब भी इन पेजों को क्रॉल करेगा. AdSense क्रॉलर को अपने पेज ऐक्सेस करने से रोकने के लिए, आपको अपनी robots.txt फ़ाइल मेंUser-agent: Mediapartners-Googleडालना होगा. - क्रॉलर सिर्फ़ उन यूआरएल को ऐक्सेस करने की कोशिश करेगा जहां हमारे विज्ञापन टैग लागू किए गए हैं.
उन ही पेजों को हमारे सिस्टम को अनुरोध भेजना चाहिए और क्रॉल किया जाना चाहिए जिन पर Google विज्ञापन दिखाए जा रहे हैं.
- क्रॉलर, उन पेजों को ऐक्सेस करने की कोशिश करेगा जो रीडायरेक्ट करते हैं.
जब आपके पास ऐसे "ओरिजनल पेज" हों जो दूसरे पेजों पर रीडायरेक्ट करते हैं, तब हमारे क्रॉलर को यह पता लगाने के लिए ओरिजनल पेज को ऐक्सेस करना ज़रूरी हो जाता है कि रीडायरेक्ट सही है या नहीं. इसलिए, आपके ऐक्सेस लॉग में यह जानकारी दिखेगी कि हमारे क्रॉलर ने आपके ओरिजनल पेजों को ऐक्सेस किया था.
- क्रॉलर आपकी साइट के कॉन्टेंट को कितने अंतराल पर इंडेक्स करेगा, इसे कंट्रोल नहीं किया जा सकता.
फ़िलहाल, साइटों को फिर से क्रॉल करने पर हमारा कोई कंट्रोल नहीं है. हमारे बॉट, अपने-आप क्रॉल करते हैं. अगर आप किसी पेज में बदलाव करते हैं, तो इन्हें हमारे इंडेक्स में दिखने में एक या दो हफ़्ते लग सकते हैं.
