क्रॉलर एक ऐसा सॉफ़्टवेयर है जिसका इस्तेमाल Google, वेबपेजों के कॉन्टेंट को प्रोसेस और इंडेक्स करने के लिए करता है. क्रॉलर को स्पाइडर या बॉट भी कहा जाता है. कॉन्टेंट क्रॉलर आपकी साइट पर जाकर उसके कॉन्टेंट को समझता है, ताकि उसी के मुताबिक विज्ञापन दिखा सके.
कॉन्टेंट क्रॉलर के बारे में कुछ अहम जानकारी यहां दी गई है:
- क्रॉलर रिपोर्ट को हर हफ़्ते अपडेट किया जाता है.
क्रॉल, अपने-आप किया जाता है, इसलिए हम बार-बार क्रॉल किए जाने का अनुरोध पूरा नहीं कर सकते. - कॉन्टेंट क्रॉलर, Google क्रॉलर से अलग है.
दोनों क्रॉलर अलग-अलग हैं, लेकिन ये कैश मेमोरी शेयर करते हैं. हम ऐसा इसलिए करते हैं, ताकि दोनों क्रॉलर एक ही पेज का अनुरोध न करें. इससे प्रकाशकों की बैंडविड्थ बचती है. इसी तरह, Search Console क्रॉलर अलग होता है. - कॉन्टेंट क्रॉलर की समस्याओं को ठीक करने से, Google क्रॉल से जुड़ी समस्याएं हल नहीं होंगी.
आपके क्रॉलर ऐक्सेस पेज पर दी गई समस्याओं को हल करने से, Google पर खोज नतीजों में आपके प्लेसमेंट पर कोई असर नहीं पड़ेगा. Google पर अपनी साइट की रैंकिंग के बारे में ज़्यादा जानने के लिए, AdSense का Google पर खोज नतीजों में शामिल होना लेख पढ़ें. - क्रॉलर, यूआरएल के हिसाब से इंडेक्स करता है.
हमारा क्रॉलर site.com और www.site.com को अलग-अलग ऐक्सेस करेगा. हालांकि, क्रॉलर site.com और site.com/#anchor को अलग-अलग नहीं गिनेगा. - क्रॉलर उन पेजों या डायरेक्ट्री को ऐक्सेस नहीं करता जिन पर, robots.txt फ़ाइल से पाबंदी लगाई गई है.
Google और AdMob Mediapartners क्रॉलर, दोनों आपकी robots.txt फ़ाइल की पाबंदी को मानते हैं. अगर आपकी robots.txt फ़ाइल कुछ पेजों या डायरेक्ट्री को ऐक्सेस करने से मना करती है, तो उन्हें क्रॉल नहीं किया जाएगा.ध्यान दें: अगर आप ऐसे पेज पर विज्ञापन दिखा रहे हैं जिन्हें उपयोगकर्ता एजेंट: * के ज़रिए क्रॉल से बाहर रखा जा रहा है, तो कॉन्टेंट क्रॉलर इन पेजों को क्रॉल करेगा. कॉन्टेंट क्रॉलर को अपने पेज ऐक्सेस करने से रोकने के लिए, आपको अपनी robots.txt फ़ाइल मेंउपयोगकर्ता एजेंट: Mediapartners-Googleडालना होगा. ज़्यादा जानें. - क्रॉलर सिर्फ़ उन यूआरएल को ऐक्सेस करने की कोशिश करेगा जहां हमारे विज्ञापन टैग लागू किए गए हैं.
उन ही पेजों को हमारे सिस्टम को अनुरोध भेजना चाहिए और क्रॉल किया जाना चाहिए जिन पर Google विज्ञापन दिखाए जा रहे हैं. - क्रॉलर उन पेजों को ऐक्सेस करने की कोशिश करेगा जो रीडायरेक्ट करते हैं.
जब आपके पास ऐसे "ओरिजनल पेज" हों जो दूसरे पेजों पर रीडायरेक्ट करते हैं, तब हमारे क्रॉलर को यह पता लगाने के लिए ओरिजनल पेज को ऐक्सेस करना ज़रूरी हो जाता है कि रीडायरेक्ट सही है या नहीं. इसलिए, आपके ऐक्सेस लॉग में यह जानकारी दिखेगी कि हमारे क्रॉलर ने आपके ओरिजनल पेजों को ऐक्सेस किया था. - साइट फिर से क्रॉल करना
इस समय, हम यह कंट्रोल नहीं कर सकते कि हमारे क्रॉलर आपकी साइट के कॉन्टेंट को कितनी बार इंडेक्स करते हैं. हमारे बॉट, अपने-आप क्रॉल करते हैं. अगर आप किसी पेज में बदलाव करते हैं, तो इन्हें हमारे इंडेक्स में दिखने में एक या दो हफ़्ते लग सकते हैं.