Google क्रॉलर (उपयोगकर्ता एजेंट) की खास जानकारी

देखें कि Google, वेब को क्रॉल करने के लिए किन रोबोट का इस्तेमाल करता है

एक वेबपेज से दूसरे वेबपेज के लिंक पर जाकर अपने आप वेबसाइटें खोजने और स्कैन करने वाले सभी प्रोग्राम (जैसे कि रोबोट या स्पाइडर) को "क्रॉलर" कहा जाता है. Google के मुख्य क्रॉलर को Googlebot कहा जाता है. इस टेबल में, आम तौर पर इस्तेमाल किए जाने वाले Google के उन क्रॉलर की जानकारी दी गई है जिन्हें आप अपने रेफ़रलकर्ता लॉग में देख सकते हैं. साथ ही, यहां यह जानकारी भी दी गई है कि उन्हें robots.txt, robots मेटा टैग, और X-Robots-Tag के एचटीटीपी निर्देशों में कैसे दिखाया जाना चाहिए.

नीचे दिए गए टेबल में Google पर अलग-अलग उत्पाद और सेवाओं के लिए इस्तेमाल किए जाने वाले क्रॉलर को दिखाया गया है:

  • उपयोगकर्ता एजेंट टोकन का इस्तेमाल उपयोगकर्ता-एजेंट में किया जाता है: अपनी साइट के लिए क्रॉल के नियम तय करते समय robots.txt को सही क्रॉलर के साथ रखें. जैसा कि टेबल में दिखाया गया है, कुछ क्रॉलर के पास एक से ज़्यादा टोकन हैं. आपको यह नियम लागू करने के लिए, एक ही क्रॉलर टोकन का मिलान करना होगा. हालांकि, यह सूची पूरी नहीं है, लेकिन इसमें आपकी वेबसाइट पर दिखाई देने वाले ज़्यादातर क्रॉलर के नाम मौजूद हैं.
  • उपयोगकर्ता एजेंट की पूरी स्ट्रिंग, क्रॉलर का पूरा ब्योरा है जो अनुरोध और आपके वेब लॉग में दिखाई देता है.
क्रॉलर के इन मानों की नकल भी की जा सकती है. रिवर्स डीएनएस लुकअप इस्तेमाल करके आप पुष्टि कर सकते हैं कि आपकी साइट पर आया बॉट वाकई Googlebot ही है.
क्रॉलर उपयोगकर्ता एजेंट टोकन (उत्पाद टोकन) उपयोगकर्ता एजेंट की पूरी स्ट्रिंग
API-Google

API-Google

 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

 Mediapartners-Google

AdsBot मोबाइल वेब Android

(Android वेब पेज की विज्ञापन गुणवत्ता की जांच करता है)

AdsBot-Google-Mobile

 Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot मोबाइल वेब

(iPhone वेब पेज की विज्ञापन गुणवत्ता की जांच करता है)

AdsBot-Google-Mobile

 Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

(डेस्कटॉप वेब पेज की विज्ञापन गुणवत्ता की जांच करता है)

AdsBot-Google

 AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot इमेज
  • Googlebot-Image
  • Googlebot
 Googlebot-Image/1.0
Googlebot समाचार
  • Googlebot-News
  • Googlebot
 Googlebot-News
Googlebot वीडियो
  • Googlebot-Video
  • Googlebot
 Googlebot-Video/1.0

Googlebot (डेस्कटॉप)

Googlebot
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Safari/537.36

    इसके अलावा (कभी-कभी इस्तेमाल किया जाता है):
     
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (स्मार्टफ़ोन)

Googlebot

 

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

मोबाइल AdSense

Mediapartners-Google

 (अलग-अलग तरह के मोबाइल डिवाइस) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

मोबाइल ऐप Android

(Android ऐप पेज की विज्ञापन गुणवत्ता की जांच करता है. AdsBot-Google रोबोट्स नियमों का पालन करता है.)

AdsBot-Google-Mobile-Apps

 AdsBot-Google-Mobile-Apps

फ़ीडफ़ेचर

FeedFetcher-Google

robots.txt के नियमों का पालन नहीं करता है - यहां इसकी वजह बताई गई है

FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google पढ़कर सुनाएं

Google-Read-Aloud

robots.txt के नियमों का पालन नहीं करता है - यहां इसकी वजह बताई गई है
  • मौजूदा एजेंट:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, जैसे Gecko) Chrome/41.0.2272.118 Safari/537.36 (काम करता है; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • पूर्व एजेंट (जो अब इस्तेमाल में नहीं है):
    google-speakr
वेब पर डूप्लेक्स

DuplexWeb-Google

* उपयोगकर्ता-एजेंट वाइल्डकार्ड को नज़रअंदाज़ कर सकता है - यहां इसकी वजह बताई गई है/0}

 Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, जैसे Gecko) Chrome/74.0.3729.131 Mobile Safari/537.36

Google फ़ेविकोन

(कई तरह की सेवा के लिए फ़ेविकोन को डाउनलोड करता है)

Google फ़ेविकोन

ऐसी अनुरोधों के लिए robots.txt नियमों को अनदेखा करें जिन्हें उपभोक्ता ने भेजा है

 

 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, जैसे Gecko)  Chrome/49.0.2623.75 Safari/537.36 Google फ़ेविकोन

robots.txt में उपयोगकर्ता एजेंट

जबकि robots.txt फ़ाइल में कई उपयोगकर्ता-एजेंट की पहचान की जाती है, लेकिन Google खास तौर पर दिखाए गए एजेंट को फ़ॉलो करता है. अगर आप चाहते हैं कि पूरा Google आपके पेजों को क्रॉल कर पाए, तो आपको किसी भी robots.txt की बिल्कुल भी ज़रूरत नहीं है. अगर आप Google के सभी क्रॉलर को अपनी कुछ सामग्री एक्सेस करने की मंज़ूरी देना चाहते हैं या उन्हें ऐसा करने से रोकना चाहते हैं, तो आप Googlebot को उपयोगकर्ता-एजेंट के तौर पर दिखाकर ऐसा कर सकते हैं. उदाहरण के लिए, अगर आप चाहते हैं कि आपके सभी पेज Google खोज में दिखाई दें और अगर आप AdSense विज्ञापनों को अपने पेजों पर दिखाना चाहते हैं, तो आपको किसी robots.txt फ़ाइल की ज़रूरत नहीं है. इसी तरह, अगर आप कुछ पेजों को Google से पूरी तरह से अवरोधित करना चाहते हैं, तो उपयोगकर्ता-एजेंट Googlebot को अवरोधित करने से Google के अन्य सभी उपयोगकर्ता-एजेंट भी अवरोधित हो जाएंगे.

लेकिन अगर आप अधिक विस्तृत नियंत्रण चाहते हैं, तो आप और अधिक विशिष्ट कार्रवाई कर सकते हैं. उदाहरण के लिए, हो सकता है आप चाहें कि आपके सभी पेज Google खोज में दिखाई दें, लेकिन यह नहीं चाहते हैं कि आपकी व्यक्तिगत निर्देशिका के चित्रों को क्रॉल किया जाए. इस मामले में, उपयोगकर्ता-एजेंट Googlebot-इमेज को आपकी /personal directory की फ़ाइलें क्रॉल करने से नामंज़ूर करने के लिए (Googlebot को सभी फ़ाइलों को क्रॉल करने की मंज़ूरी देते हुए) robots.txt का इस्तेमाल करें, इस तरह से:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal
एक और उदाहरण लेते हैं, मान लीजिए कि आप अपने सभी पेजों पर विज्ञापन चाहते हैं, लेकिन आप नहीं चाहते कि वे पेज Google खोज में दिखाई दें. यहां, आप Googlebot पर रोक लगाएंगे, लेकिन Mediapartners-Google को मंज़ूरी देंगे, इस तरह से: 
User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

रोबोट्स मेटा टैग में उपयोगकर्ता एजेंट

कुछ पेज अलग-अलग क्रॉलर से जुड़े डायरेक्टिव बताने के लिए एक से ज़्यादा रोबोट्स meta टैग का इस्तेमाल करते हैं, इस तरह से:

<meta name="robots" content="nofollow"><meta name="googlebot" content="noindex">

इस मामले में, Google नामंज़ूरी वाले सभी निर्देशों का इस्तेमाल करेगा और Googlebot noindex और nofollow, दोनों निर्देशों को फ़ॉलो करेगा. Google के आपकी साइट को क्रॉल और इंडेक्स करने के तरीकों को नियंत्रित करने के बारे में ज़्यादा जानकारी.

क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?