क्रॉल करने के आंकड़ों की रिपोर्ट (वेबसाइट)

क्रॉल करने के आंकड़ों की रिपोर्ट (सिर्फ़ वेबसाइटों के लिए) में, Googlebot की पिछले 90 दिनों की गतिविधि की जानकारी मिलती है,जो वह आपकी साइट पर करता है. इन आंकड़ों में सभी तरह की सामग्री को शामिल किया जाता है, जिन्हें हम डाउनलोड करते हैं (जैसे सीएसएस, JavaScript, Flash, पीडीएफ़ फ़ाइलें और इमेज).

क्रॉल करने के आंकड़ों की रिपोर्ट खोलें

क्रॉल करने के आंकड़े सिर्फ़ पुष्टि की गई वेबसाइट के लिए उपलब्ध होते हैं.

डेटा को समझना

क्रॉल करने के "अच्छे" आंकड़े नहीं होते हैं. हालांकि, आप जैसे-जैसे अपनी साइट को बड़ा करते जाते हैं, आपको समय के साथ करीब-करीब समान रूप से बढ़ने वाला चार्ट दिखाई देना चाहिए. अगर आपको अचानक गिरावट या तेज़ बढ़त दिखाई देती है, तो पढ़ना जारी रखें.

मेरी क्रॉल दर में गिरावट क्यों आई?

आम तौर पर एक या दो हफ़्ते के दौरान आपकी साइट पर Google की क्रॉल करने की दर करीब-करीब एक जैसी होनी चाहिए. अगर आपको अचानक गिरावट दिखाई देती है, तो इसकी नीचे दी गई कुछ वजहें हो सकती हैं:

  • आपने एक नया (या बहुत पेजों पर लागू होने वाला) robots.txt नियम जोड़ा है. पक्का करें कि आप सिर्फ़ उन ही संसाधनों पर रोक लगा रहे हैं, जिन्हें रोकना आपके लिए ज़रूरी है. अगर सामग्री को समझने के लिए Google को सीएसएस या JavaScript जैसे खास संसाधनों की ज़रूरत है, तो पक्का करें कि आपने Googlebot पर उनके इस्तेमाल की रोक नहीं लगाई हो.
  • अधूरा एचटीएमएल कोड या आपके पेज की सामग्री Googlebot के साथ काम नहीं करती: अगर Googlebot पेज की सामग्री को पार्स नहीं कर पाता है, तो वह उसे क्रॉल नहीं कर पाएगा. सामग्री को पार्स न कर पाने की दो वजहें हो सकती हैं. पहली, Googlebot के साथ सामग्री का मीडिया काम नहीं करता या दूसरी, पेज पर सिर्फ़ इमेज मौजूद हैं. Googlebot को आपका पेज किस तरह दिखाई देता है, यह जानने के लिए यूआरएल की जाँच करने वाला टूल इस्तेमाल करें.
  • अगर आपकी साइट धीरे काम रही है, तो Googlebot कम अनुरोधों को प्रोसेस करेगा ताकि आपका सर्वर ओवरलोड न हो. यह जानने के लिए कि क्या आपकी साइट ज़्यादा धीरे काम कर रही है, क्रॉल करने के आंकड़ों की रिपोर्ट देखें.
  • अगर आपके सर्वर पर गड़बड़ी की दर बढ़ जाती है, तो Googlebot अपने अनुरोधों का प्रोसेस होना कम कर देगा ताकि आपके सर्वर को ओवरलोड होने से बचाया जा सके. सर्वर से कनेक्ट होने की गड़बड़ियां बढ़ने की वजह जानने के लिए, क्रॉल करने में होने वाली गड़बड़ियों की रिपोर्ट देखें.
  • पक्का करें कि आपने अपनी पसंदीदा अधिकतम क्रॉल दर को कम नहीं किया है.
  • अगर साइट पर ऐसी जानकारी मौजूद है, जिसमें कभी-कभार बदलाव होता है या जिसकी क्वालिटी बहुत अच्छी नहीं है, तो हो सकता है कि हम उसे ज़्यादा बार क्रॉल न करें.  अपनी साइट पर ईमानदारी से गौर करें. ऐसे लोगों से ज़रूरी सुझाव लें, जो आपकी साइट से नहीं जुड़े हैं. साथ ही, इस बारे में सोचें कि आपकी साइट के किन हिस्सों को और किस तरह बेहतर बनाया जा सकता है.

मेरी क्रॉल दर अचानक क्यों बढ़ गई?

अगर आप अपनी साइट पर बहुत सी नई जानकारी डालते हैं या उसमें वाकई उपयोगी जानकारी मौजूद है, तो हो सकता है कि आपकी साइट को सामान्य से ज़्यादा बार क्रॉल किया जाए. अगर आपको लगता है कि ज़्यादा क्रॉल होने की वजह से आपके सर्वर पर समस्या हो रही है, तो अपनी साइट के लिए आप Googlebot की क्रॉल दर को प्रबंधित कर सकते हैं. ऐसा करने के लिए कुछ सलाह यहां दी गई हैं:

  • क्रॉल करने के आंकड़ों की रिपोर्ट देखकर और अपने लॉग में उपयोगकर्ता एजेंट की जाँच करके इस बात की पुष्टि करें कि Googlebot ही आपकी साइट को एक्सेस कर रहा है. ऐसा न हो कि दूसरे क्रॉलर, उपयोगकर्ता या हैकर आपकी साइट को एक्सेस कर रहे हों.
  • अगर आपको Googlebot के क्रॉल करने पर तुरंत रोक लगानी हो, तो इसके अनुरोधों के जवाब में 503 एचटीटीपी नतीजे कोड दिखाएं.
  • जिन पेजों को दिखाया नहीं जाना चाहिए, उन पर रोक लगाने के लिए अपनी robots.txt फ़ाइल को बेहतर बनाएं.
  • आप कुछ समय के लिए समाधान के तौर पर, Search Console में अपनी पसंदीदा अधिकतम क्रॉल दर सेट कर सकते हैं. हम ज़्यादा समय तक इसका इस्तेमाल करने की सलाह नहीं देते हैं, क्योंकि इसके ज़रिए आप हमें खास तौर पर यह नहीं बता पाएंगे कि आप किन पेजों या संसाधनों को क्रॉल करवाना या नहीं करवाना चाहते हैं.
  • पक्का करें कि आपने कभी खत्म न होने वाले कैलेंडर या कभी खत्म न होने वाले खोज पेज जैसे "असीमित" नतीजों वाले पेजों को क्रॉल करने की मंज़ूरी नहीं दी है. ऐसे पेजों पर robots.txt या nofollow टैग के ज़रिए रोक लगाएं.
  • अगर यूआरएल अब मौजूद नहीं है या उन्हें दूसरी जगह ले जाया गया है, तो इस बात का ध्यान रखें कि उन्हें एक्सेस करने के अनुरोध पर सही कोड ही दिखाया जाए: जो यूआरएल अब मौजूद या मान्य नहीं हैं, उनके लिए 404 या 410 कोड का इस्तेमाल करें. जिन यूआरएल की जगह हमेशा के लिए दूसरे यूआरएल का इस्तेमाल जा रहा है उनके लिए 301 रीडायरेक्ट का इस्तेमाल करें (अगर बदलाव कुछ समय के लिए है, तो 302 कोड दिखाएं). अगर सर्वर को तय समय के लिए बंद किया जा रहा है, तो 503 कोड का इस्तेमाल करें. जब आपके सर्वर में ऐसी समस्याएं हों जिन्हें वह हल नहीं कर सकता तब इस बात का ध्यान रखें कि गड़बड़ी वाला 500 कोड दिखाया जाए.

 

क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?