AdSense विज्ञापन क्रॉलर के बारे में जानकारी

क्रॉलर एक ऐसा सॉफ़्टवेयर है जिसका इस्तेमाल Google, वेबपेजों के कॉन्टेंट को प्रोसेस और इंडेक्स करने के लिए करता है. क्रॉलर को स्पाइडर या बॉट भी कहा जाता है. Mediapartners-Google नाम का AdSense क्रॉलर, आपकी साइट पर जाकर उसके कॉन्टेंट को समझता है, ताकि उसी के मुताबिक विज्ञापन दिखा सके.

AdSense क्रॉलर के बारे में कुछ अहम जानकारी यहां दी गई है:

• क्रॉलर रिपोर्ट को हर हफ़्ते अपडेट किया जाता है.

  क्रॉल, अपने-आप किया जाता है, इसलिए हम बार-बार क्रॉल किए जाने का अनुरोध पूरा नहीं कर सकते.

• AdSense क्रॉलर, Google क्रॉलर से अलग है.

  दोनों क्रॉलर अलग-अलग हैं, लेकिन ये कैश मेमोरी शेयर करते हैं. हम ऐसा इसलिए करते हैं, ताकि दोनों क्रॉलर एक ही पेज का अनुरोध न करें. इससे पब्लिशर की बैंडविड्थ बचती है. इसी तरह, Search Console क्रॉलर अलग होता है.

  ध्यान दें: AdSense में किसी साइट को जोड़ते समय, AdSense आपकी साइट की पुष्टि करने के लिए, Google-Display-Ads-Bot नाम के क्रॉलर का भी इस्तेमाल करता है.
• AdSense क्रॉल की समस्याओं को हल करने पर, Google क्रॉल से जुड़ी समस्याएं हल नहीं होंगी.

  आपके क्रॉलर ऐक्सेस पेज पर दी गई समस्याओं को हल करने से, Google पर खोज नतीजों में आपके प्लेसमेंट पर कोई असर नहीं पड़ेगा. Google पर अपनी साइट की रैंकिंग के बारे में ज़्यादा जानने के लिए, हमारा Google पर खोज नतीजों में शामिल होना लेख पढ़ें.

• क्रॉलर, यूआरएल के हिसाब से इंडेक्स करता है.

  हमारा क्रॉलर, site.com और www.site.com को अलग-अलग ऐक्सेस करेगा. हालांकि, हमारा क्रॉलर, site.com और site.com/#anchor को अलग-अलग नहीं गिनेगा.

• क्रॉलर उन पेजों या डायरेक्ट्री को ऐक्सेस नहीं करता जिन पर, robots.txt फ़ाइल से पाबंदी लगाई गई है.

  Google, AdSense Mediapartners-Google, और Google-Display-Ads-Bot क्रॉलर, आपकी robots.txt फ़ाइल को मंज़ूरी देते हैं. अगर आपकी robots.txt फ़ाइल कुछ पेजों या डायरेक्ट्री को ऐक्सेस करने से मना करती है, तो उन्हें क्रॉल नहीं किया जाएगा.

  ध्यान दें: अगर ऐसे पेज पर विज्ञापन दिखाए जा रहे हैं जिन्हें User-agent: * के ज़रिए क्रॉल से बाहर रखा जा रहा है, तो AdSense क्रॉलर अब भी इन पेजों को क्रॉल करेगा. AdSense क्रॉलर को अपने पेजों को ऐक्सेस करने से रोकने के लिए, आपको अपनी robots.txt फ़ाइल में इन्हें शामिल करना होगा:

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• क्रॉलर सिर्फ़ उन यूआरएल को ऐक्सेस करता है जिन पर हमारे विज्ञापन टैग लागू किए गए हैं.

  उन ही पेजों को हमारे सिस्टम को अनुरोध भेजना चाहिए और क्रॉल किया जाना चाहिए जिन पर Google विज्ञापन दिखाए जा रहे हैं.

• क्रॉलर उन पेजों को ऐक्सेस करने की कोशिश करता है जो रीडायरेक्ट करते हैं.

  जब आपके पास ऐसे "ओरिजनल पेज" हों जो दूसरे पेजों पर रीडायरेक्ट करते हैं, तब हमारे क्रॉलर को यह पता लगाने के लिए ओरिजनल पेज को ऐक्सेस करना ज़रूरी हो जाता है कि रीडायरेक्ट सही है या नहीं. इसलिए, आपके ऐक्सेस लॉग में यह जानकारी दिखती है कि हमारे क्रॉलर आपके ओरिजनल पेजों पर गए हैं.

• क्रॉलर आपकी साइट के कॉन्टेंट को कितने अंतराल पर इंडेक्स करेगा, इसे कंट्रोल नहीं किया जा सकता.

  फ़िलहाल, साइटों को फिर से क्रॉल करने पर हमारा कोई कंट्रोल नहीं है. हमारे बॉट, अपने-आप क्रॉल करते हैं. अगर आप किसी पेज में बदलाव करते हैं, तो इन्हें हमारे इंडेक्स में दिखने में एक या दो हफ़्ते लग सकते हैं.