जगह और भाषा के मुताबिक बने पेज को Google कैसे क्रॉल करता है

अगर आपकी साइट पर भाषा और जगह के मुताबिक सामग्री दिखाने वाले पेज हैं (मतलब, आपकी साइट के उपयोगकर्ताओं को उनके देश या भाषा के मुताबिक अलग-अलग सामग्री दिखाई देती है), तो हो सकता है कि Google अलग-अलग जगह और भाषाओं के हिसाब से बनी आपकी पूरी सामग्री को क्रॉल, इंडेक्स या रैंक न करे. ऐसा इसलिए होता है क्योंकि आम तौर पर, Googlebot क्रॉलर के डिफ़ॉल्ट आईपी पते अमेरिका के होते हैं. इसके अलावा, क्रॉलर, अनुरोध हेडर में Accept-Language सेट किए बिना एचटीटीपी अनुरोध भेजता है.

ज़रूरी जानकारी: हमारा सुझाव है कि आप अलग-अलग जगह और भाषा के हिसाब से बनी सामग्री के लिए अलग यूआरएल कॉन्फ़िगरेशन इस्तेमाल करें. साथ ही, इनके साथ rel=alternate hreflang annotations एनोटेशन का इस्तेमाल करें.

 

जगह के हिसाब से क्रॉल करने की सुविधा

Googlebot, क्रॉल करने के लिए अमेरिका के आईपी पतों के साथ-साथ दूसरे देशों के आईपी पते भी इस्तेमाल करता है.

हम हमेशा सुझाव देते हैं कि आप अपनी साइट पर किसी खास देश के आईपी पते का इस्तेमाल करके आने वाले Googlebot को भी उस देश के उपयोगकर्ता की तरह ही मानें. इसका मतलब है कि अगर आप अमेरिका के उपयोगकर्ता पर अपनी साइट की सामग्री एक्सेस करने से रोक लगाते हैं और ऑस्ट्रेलिया के उपयोगकर्ता को इसकी अनुमति देते हैं, तो ऐसा ही Googlebot के साथ भी करें. आपके सर्वर को अमेरिका का आईपी पता इस्तेमाल करने वाले Googlebot पर रोक लगानी चाहिए, लेकिन ऑस्ट्रेलिया का आईपी पता इस्तेमाल करने वाले Googlebot को सामग्री का एक्सेस देना चाहिए.

दूसरी ज़रूरी चीज़ें

  • Googlebot क्रॉल करने से जुड़े सभी कॉन्फ़िगरेशन के लिए एक जैसे उपयोगकर्ता-एजेंट स्ट्रिंग का इस्तेमाल करता है. हमारे सहायता केंद्र में इस बारे में ज़्यादा जानें कि Google क्रॉलर कौनसे उपयोगकर्ता-एजेंट स्ट्रिंग इस्तेमाल करते हैं.
  • आप रिवर्स डीएनएस (किसी आईपी पते से जुड़ा डोमेन का नाम पता लगाने वाले सिस्टम) का इस्तेमाल करने वाली खोज के ज़रिए जगह के हिसाब से Googlebot जिस सामग्री को क्रॉल करता है उसकी पुष्टि कर सकते हैं.
  • देख लें कि आपकी साइट पर सभी जगहों और भाषाओं के लिए रोबोट एक्सक्लूशन प्रोटोकॉल (आरईपी) लागू हो. इसका मतलब है कि रोबोट meta टैग और robots.txt फ़ाइल में हर जगह और भाषा की सामग्री के लिए एक जैसे निर्देश होने चाहिए.
क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?