Googlebot की क्रॉल दर बदलें

क्रॉल दर का मतलब है कि जब Googlebot आपकी साइट को क्रॉल कर रहा होता है, तो वह साइट पर हर सेकंड में कितने अनुरोध करता है: उदाहरण के लिए, हर सेकंड में पांच अनुरोध.

आप यह सेटिंग नहीं बदल सकते कि Google आपकी साइट को कितनी बार क्रॉल करेगा. हालांकि, अगर आप चाहते हैं कि Google आपकी साइट पर नई या अपडेट की गई सामग्री को क्रॉल करे, तो आप फिर से क्रॉल करने का अनुरोध कर सकते हैं.

सही इस्तेमाल

किसी साइट पर क्रॉल करने की सबसे अच्छी रफ़्तार को तय करने के लिए Google के पास बेहतरीन एल्गोरिद्म हैं. हमारा मकसद, आपके सर्वर के बैंडविड्थ पर ज़्यादा दबाव डाले बिना, हर विज़िट में आपकी साइट के ज़्यादा से ज़्यादा पेज क्रॉल करना है.

अगर Google आपकी साइट पर हर सेकंड में बहुत ज़्यादा अनुरोध करके आपके सर्वर को धीमा कर रहा है, तो आप अपनी साइट के लिए Google की क्रॉल करने की रफ़्तार को सीमित कर सकते हैं.

आप रूट-लेवल की साइटों के लिए क्रॉल दर को सीमित कर सकते हैं—उदाहरण के लिए, www.example.com और http://subdomain.example.com. आप जो क्रॉल दर सेट करेंगे वह Googlebot की क्रॉल करने की ज़्यादा से ज़्यादा दर होगी. ध्यान दें, इस बात की कोई गारंटी नहीं है कि Googlebot इस ज़्यादा से ज़्यादा दर तक पहुंच जाएगा.

हमारा सुझाव है कि आप तब तक क्रॉल दर को सीमित न करें, जब तक आपको सर्वर पर सामग्री लोड होने की समस्याएं नहीं दिखतीं. इस तरह की समस्याएं तभी दिखती हैं, जब Googlebot आपके सर्वर को बहुत ज़्यादा हिट करता है.

आप उन साइटों के लिए क्रॉल दर नहीं बदल सकते जो रूट लेवल पर नहीं हैं—उदाहरण के लिए, www.example.com/folder.

क्रॉल दर को सीमित करना

  1. अपनी प्रॉपर्टी के लिए क्रॉल दर की सेटिंग वाला पेज खोलें.
    • अगर आपकी साइट की क्रॉल दर को "बेहतरीन के तौर पर गिना गया" बताया गया है, तो क्रॉल दर को सिर्फ़ खास अनुरोध डालकर ही कम किया जा सकता है. आप क्रॉल दर को नहीं बढ़ा सकते.
    • इसके बजाय, अपनी पसंद का विकल्प चुनें. इसके बाद, क्रॉल दर को जहां तक चाहें, सीमित करें. नई क्रॉल दर 90 दिनों के लिए मान्य रहेगी.

आपातकालीन समय में क्रॉल करने की सीमा

अगर आपकी साइट इतनी ज़्यादा क्रॉल की जा रही है कि इसमें उपलब्धता से जुड़ी समस्याएं आने लगी हैं, तो इस समस्या का हल यहां बताया गया है:

  1. पता करें कि कौनसा Google क्रॉलर आपकी साइट को इतना ज़्यादा क्रॉल कर रहा है. अपने वेबसाइट के लॉग देखें या क्रॉल करने के बारे में आंकड़े की रिपोर्ट का इस्तेमाल करें.
  2. तुरंत हल पाने के लिए:
    • अगर आप इस समस्या का आसान हल चाहते हैं, तो ज़्यादा क्रॉल करने वाले एजेंट (googlebot, adsbot वगैरह) को आपकी साइट को क्रॉल करने से रोकने के लिए, robots.txt का इस्तेमाल करें. हालांकि, इसे लागू होने में एक दिन तक का समय लग सकता है.
    • अगर आप डाइनैमिक रूप से होने वाले लोड का पता लगा पा रहे हैं और उस पर कार्रवाई कर पा रहे हैं, तो एचटीटीपी 5XX/429 दिखाएं. ऐसा तब करें, जब आपकी खोज के नतीजों में वेब पेज दिखाने की सीमा पूरी होने वाली हो. ध्यान रखें कि 5XX या 429 को दो या तीन दिनों से ज़्यादा न दिखाएं, नहीं तो इससे Google को यह निर्देश मिल सकता है कि वह आपकी साइट को लंबे समय तक, सामान्य से कम क्रॉल करे.
  3. अगर विकल्प मौजूद हो, तो क्रॉल दर की सेटिंग वाले पेज का इस्तेमाल करके, अपनी क्रॉल दर में बदलाव करें.
  4. दो या तीन दिन बाद, जब Google की क्रॉल दर आपकी साइट के मुताबिक हो जाए, तो आप अपने robots.txt ब्लॉक हटा सकते हैं या पहले चरण से गड़बड़ी के कोड दिखाना बंद कर सकते हैं.
  5. अगर आप AdsBot के क्रॉल करने से परेशान हैं, तो शायद समस्या यह है कि आपने अपनी साइट पर URL_Equals या पेज फ़ीड इस्तेमाल करके, डाइनैमिक सर्च विज्ञापन के लिए कई टारगेट बना दिए हैं. अगर आपके सर्वर में इन क्रॉल को प्रबंधित करने की क्षमता नहीं है, तो आपको अपने विज्ञापन के टारगेट सीमित करने होंगे, यूआरएल छोटे-छोटे बैच में जोड़ने होंगे या फिर ब्राउज़र में वेब पेज खोलने की अपनी क्षमता बढ़ानी होगी. ध्यान दें कि AdsBot हर दो हफ़्ते में आपके पेजों को क्रॉल करेगा, इसलिए आपको समस्या हल करनी होगी. ऐसा न करने पर वह बार-बार क्रॉल करेगा.
  6. ध्यान रखें कि अगर आपने क्रॉल होने की सेटिंग वाले पेज की मदद से क्रॉल दर को सीमित किया है, तो 90 दिनों के बाद क्रॉल दर अपने-आप अडजस्ट हो जाएगी.
क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?