robots.txt के बारे में जानकारी

रोबोट से जुड़े सामान्य प्रश्न

रोबोट के बारे में पूछे जाने वाले सामान्य प्रश्न

Robots.txt से जुड़े प्रश्न

रोबोट मेटा टैग से जुड़े प्रश्न

X-Robots-Tag HTTP शीर्षक से जुड़े प्रश्न

क्या हमसे कोई सामान्य प्रश्न छूट गया है? अधिक सहायता के लिए बेझिझक हमारे वेबमास्टर सहायता फ़ोरम में पोस्ट करें!

रोबोट से जुड़े सामान्य प्रश्न

क्या मेरी वेबसाइट के लिए robots.txt फ़ाइल ज़रूरी है?

नहीं. जब Googlebot किसी वेबसाइट पर जाता है, तो हम पहले robots.txt फ़ाइल को पुनर्प्राप्त करने की कोशिश करके क्रॉल करने की अनुमति की मांग करते हैं. बिना robots.txt फ़ाइल, रोबोट मेटा टैग या X-Robots-Tag HTTP शीर्षक वाली वेबसाइट को सामान्य रूप से क्रॉल और अनुक्रमित किया जाता है.

मुझे किस विधि का उपयोग करना चाहिए?

यह निर्भर करता है. संक्षेप में, इन विधियों में से हर एक का उपयोग करने के अपने कारण हैं:

  1. Robots.txt: अगर आपकी सामग्री की क्रॉलिंग से आपके सर्वर पर समस्या हो रही है, तो इसका उपयोग करें. उदाहरण के लिए, हो सकता है कि आप अनंत कैलेंडर स्क्रिप्ट को क्रॉल करने की अनुमति न देना चाहें. आपको निजी सामग्री को ब्लॉक करने के लिए (इसके बजाय सर्वर-साइड प्रमाणीकरण का उपयोग करें) या प्रमाणित करने की प्रक्रिया (हमारे सहायता केंद्र देखें) को व्यवस्थित करने के लिए robots.txt का उपयोग नहीं करना चाहिए. अगर आपको सुनिश्चित करना है कि URL को अनुक्रमित नहीं किया जाएगा, तो इसके बजाय रोबोट मेटा टैग या X-Robots-Tag HTTP शीर्षक का उपयोग करें.
  2. रोबोट मेटा टैग: अगर आप यह नियंत्रित करना चाहते हैं कि खोज परिणामों में किसी HTML पेज को कैसे दिखाया जाता है, (या यह कि उसे दिखाया न जाए) तो इसका उपयोग करें.
  3. X-Robots-Tag HTTP शीर्षक: अगर आप यह नियंत्रित करना चाहते हैं कि खोज परिणामों में गैर-HTML सामग्री को कैसे दिखाया जाता है, (या यह कि उसे दिखाया न जाए) तो इसका उपयोग करें.

क्या किसी अन्य की साइट को निकालने के लिए इन विधियों का उपयोग किया जा सकता है?

नहीं. ये विधियां केवल उन साइटों के लिए ही मान्य हैं, जहां आप कोड बदल सकते हैं या फ़ाइलों को जोड़ सकते हैं. अगर आप किसी तीसरे पक्ष की साइट से सामग्री निकालना चाहते हैं, तो आपको वेबमास्टर से संपर्क करके सामग्री निकलवानी होगी.

मैं अपनी वेबसाइट पर Google की क्रॉलिंग को धीमा कैसे कर सकता/सकती हूं?

आम तौर पर, आप अपने Google Search Console खाते में क्रॉल करने की दर की सेटिंग अपने हिसाब से बदल सकते हैं.

Robots.txt से जुड़े प्रश्न

मैं कई वेबसाइटों के लिए समान robots.txt का उपयोग करता/करती हूं. क्या मैं संबंधित पथ की जगह पूरे URL का उपयोग कर सकता/सकती हूं?

नहीं. robots.txt फ़ाइल के निर्देश ("साइटमैप" को छोड़कर:) केवल संबंधित पथ के लिए मान्य होते हैं.

क्या मैं robots.txt फ़ाइल को उपनिर्देशिका में रख सकता/सकती हूं?

नहीं. फ़ाइल को वेबसाइट की सबसे प्रमुख निर्देशिका में डाला जाना चाहिए.

मैं निजी फ़ोल्डर को ब्लॉक करना चाहता/चाहती हूं. क्या मैं अन्य लोगों को अपनी robots.txt फ़ाइल पढ़ने से रोक सकता/सकती हूं?

नहीं. robots.txt फ़ाइल को विभिन्न उपयोगकर्ता पढ़ सकते हैं. अगर सामग्री के फ़ोल्डर या फ़ाइल नाम सार्वजनिक नहीं किए जाने हैं, तो उन्हें robots.txt फ़ाइल में सूचीबद्ध नहीं किया जाना चाहिए. उपयोगकर्ता एजेंट या अन्य विशेषताओं के आधार पर विभिन्न robots.txt फ़ाइलें उपयोग करने का सुझाव नहीं दिया जाता है.

क्या क्रॉलिंग की अनुमति देने के लिए मुझे अनुमति दें निर्देश शामिल करना होगा?

नहीं, आपको अनुमति दें निर्देश को शामिल करने की आवश्यकता नहीं है. अनुमति दें निर्देश का उपयोग समान robots.txt फ़ाइल में अनुमति न दें निर्देशों को ओवरराइड करने के लिए किया जाता है.

अगर मेरी robots.txt फ़ाइल में कोई गलती है या मैंने असमर्थित निर्देश का उपयोग किया है, तो क्या होगा?

वेब-क्रॉलर आमतौर पर बहुत लचीले होते हैं और अक्सर robots.txt फ़ाइल की छोटी गलतियों से प्रभावित नहीं होते हैं. सामान्य तौर पर, सबसे खराब बात ये हो सकती है कि गलत / असमर्थित निर्देशों को अनदेखा किया जा सकता है. हालांकि ध्यान रखें कि Google, robots.txt फ़ाइल की व्याख्या करते समय किसी का दिमाग नहीं पढ़ सकता है; हमें मिलने वाली robots.txt फ़ाइल की व्याख्या करनी पड़ती है. इसके बावजूद, अगर आपको अपनी robots.txt फ़ाइल की समस्याओं के बारे में पता है, तो उन्हें आमतौर पर आसानी से ठीक किया जा सकता है.

robots.txt फ़ाइल बनाने के लिए मुझे किस प्रोग्राम का उपयोग करना चाहिए?

आप मान्य टेक्स्ट फ़ाइल बनाने वाली किसी भी चीज़ का उपयोग कर सकते हैं. आम तौर पर, robots.txt फ़ाइलें बनाने के लिए, Notepad, TextEdit, vi या emacs जैसे प्रोग्राम का इस्तेमाल किया जाता है. robots.txt फ़ाइलें बनाने के बारे में ज़्यादा जानें. फ़ाइल बनाने के बाद, robots.txt की जाँच करने वाले टूल की मदद से फ़ाइल की जाँच करें.

अगर मैं robots.txt disallow निर्देश का इस्तेमाल करके, Google को पेज को क्रॉल करने से ब्लॉक कर देता/देती हूं, तो क्या पेज खोज नतीजों में दिखाई देना बंद हो जाएगा?

Google पर किसी पेज को क्रॉल करने से पाबंदी लगाने से पेज Google के इंडेक्स से हट सकता है. 

हालांकि, robots.txt disallow इस बात की गारंटी नहीं देता है कि पेज खोज नतीजों में दिखाई नहीं देगा. उपयोगकर्ताओं को पेज पर ले जाने वाले लिंक जैसी बाहरी जानकारी की मदद से Google यह फ़ैसला दे सकता है कि पेज को खोज नतीजों में दिखाना है या नहीं. अगर आप किसी पेज को विशेष रूप से अनुक्रमित होने से ब्लॉक करना चाहते हैं, तो आपको noindex रोबोट मेटा टैग या X-Robots-Tag HTTP शीर्षक का उपयोग करना चाहिए. इस स्थिति में, आपको robots.txt में पेज को अस्वीकृत नहीं करना चाहिए, क्योंकि टैग को देखने और उसका अनुपालन करने के लिए पेज क्रॉल किया जाना आवश्यक है.

मेरी robots.txt फ़ाइल में किए गए बदलावों को मेरे खोज परिणामों को प्रभावित करने में कितना समय लगेगा?

सबसे पहले, robots.txt फ़ाइल का संचय रीफ्रेश किया जाना चाहिए (आमतौर पर हम एक दिन तक सामग्री को संचय में रखते हैं). बदलाव खोजने के बाद भी क्रॉल और अनुक्रमित करना एक जटिल प्रक्रिया होती है, जिसमें किसी एक URL के लिए कभी-कभी बहुत समय लग सकता है, इसलिए सटीक समयावधि बता पाना असंभव है. साथ ही, ध्यान रखें कि भले ही आपकी robots.txt फ़ाइल ने URL तक पहुंच को अस्वीकृत कर दिया है, फिर भी वह URL खोज परिणामों में दिखाई दे सकता है भले ही हम उसे क्रॉल न कर पाएं. अगर आप उन पेजों को हटाने की प्रक्रिया जल्दी पूरी करना चाहते हैं जिन्हें आपने Google के लिए ब्लॉक किया है, तो Google Search Console की मदद से पेज को हटाने का अनुरोध करें.

मैं अपनी वेबसाइट को क्रॉल करने से सभी क्रॉलर को कुछ समय के लिए कैसे रोक सकता/सकती हूं?

आप robots.txt फ़ाइल सहित सभी URL के लिए HTTP परिणाम कोड 503 लौटाकर सभी क्रॉलिंग को अस्थायी रूप से स्थगित कर सकते हैं. robots.txt फ़ाइल के साथ समय-समय पर फिर से कोशिश की जाएगी जब तक कि उसे फिर से एक्सेस न किया जा सके. हम क्रॉलिंग को अस्वीकृत करने के लिए आपकी robots.txt फ़ाइल में बदलाव करने का सुझाव नहीं देते हैं.

मेरा सर्वर केस-संवेदी नहीं है. मैं कुछ फ़ोल्डर को पूरी तरह से क्रॉल करना किस तरह अस्वीकार कर सकता/सकती हूं?

robots.txt फ़ाइल में दिए गए निर्देश केस-संवेदी होते हैं. इस मामले में यह सुनिश्चित करने का सुझाव दिया जाता है कि प्रमाणिकीकरण विधियों का उपयोग करके URL का केवल एक वर्शन अनुक्रमित किया गया है. ऐसा करने से आप अपनी robots.txt फ़ाइल को सरल बना पाएंगे. ऐसा नहीं होना चाहिए, हमारा सुझाव है कि आप फ़ोल्डर नाम के सामान्य संयोजनों को सूचीबद्ध करें या इसे अधिक से अधिक छोटा करने के लिए पूरे नाम के बजाय केवल पहले कुछ अक्षरों का उपयोग करें. उदाहरण के लिए, "/MyPrivateFolder" के सभी बड़े अक्षरों और छोटे अक्षरों के क्रमपरिवर्तनों को सूचीबद्ध करने के बजाय, आप "/MyP" के क्रमपरिवर्तनों को सूचीबद्ध कर सकते हैं (अगर आप सुनिश्चित हैं कि उन पहले वर्णों वाला कोई अन्य क्रॉल करने लायक URL मौजूद नहीं है). इसके अलावा, अगर क्रॉलिंग से जुड़ी कोई समस्या नहीं है तो इसके बजाय रोबोट मेटा टैग या X-Robots-Tag HTTP का उपयोग करना ज़्यादा सही रहता है.

मुझे robots.txt फ़ाइल सहित सभी URL के लिए 403 "Forbidden" मिला. साइट को अभी भी क्रॉल क्यों किया जा रहा है?

HTTP परिणाम कोड 403—अन्य सभी 4xx HTTP परिणाम कोड की तरह — आने पर माना जाता है कि robots.txt फ़ाइल मौजूद नहीं है. इसके कारण, क्रॉलर आमतौर पर यह मान लेंगे कि वे वेबसाइट के सभी URL क्रॉल कर सकते हैं. किसी वेबसाइट को क्रॉल किए जाने से ब्लॉक करने के लिए, robots.txt "disallow" के साथ सामान्य रूप से (200 "OK" HTTP परिणाम कोड के साथ) robots.txt को लौटाया जाना चाहिए.

रोबोट मेटा टैग से जुड़े प्रश्न

क्या रोबोट मेटा टैग को robots.txt फ़ाइल की जगह उपयोग किया जा सकता है?

नहीं. robots.txt फ़ाइल यह नियंत्रित करती है कि किन पेजों को एक्सेस किया जाए. रोबोट मेटा टैग यह नियंत्रित करते हैं कि कोई पेज अनुक्रमित किया जाए या नहीं, लेकिन इस टैग को देखने के लिए पेज को क्रॉल करना पड़ता है. अगर किसी पेज को क्रॉल करने में समस्या होती है, (उदाहरण के लिए, अगर पेज के कारण सर्वर पर लोड बहुत बढ़ जाता है) तो आपको robots.txt फ़ाइल का उपयोग करना चाहिए. अगर केवल यह महत्वपूर्ण है कि खोज परिणामों में कोई पेज दिखाया जाता है या नहीं, तो आप रोबोट मेटा टैग का उपयोग कर सकते हैं.

क्या रोबोट मेटा टैग का उपयोग किसी पेज के भाग को अनुक्रमित होने से ब्लॉक करने के लिए किया जा सकता है?

नहीं, रोबोट मेटा टैग एक पेज स्तर की सेटिंग है.

क्या मैं <head> अनुभाग के बाहर रोबोट मेटा टैग का उपयोग कर सकता/सकती हूं?

नहीं, रोबोट मेटा टैग वर्तमान में किसी पेज के <head> अनुभाग में होना चाहिए.

क्या रोबोट मेटा टैग क्रॉल करने की अनुमति नहीं देता है?

नहीं. भले ही वर्तमान में रोबोट मेटा टैग noindex पर सेट है, फिर भी हमें समय-समय पर उस URL को फिर से क्रॉल करके देखना होगा कि मेटा टैग बदला गया है या नहीं.

nofollow रोबोट मेटा टैग rel="nofollow" की तुलना में किस तरह विशेषता को लिंक करता है?

nofollow रोबोट मेटा टैग पेज के सभी लिंक पर लागू होता है. rel="nofollow" लिंक विशेषता पेज पर केवल विशिष्ट लिंक पर लागू होती है. rel="nofollow" लिंक विशेषता के बारे में ज़्यादा जानकारी के लिए, कृपया हमारे सहायता केंद्र पर उपयोगकर्ता के बनाए गए स्पैम और rel="nofollow" के बारे में बताने वाला लेख देखें.

X-Robots-Tag HTTP शीर्षक से जुड़े प्रश्न

मैं किसी URL के लिए X-Robots-Tag की जांच कैसे कर सकता/सकती हूं?

वेब पर काम करने वाले सर्वर हेडर चेकर या Google Search Console की "Fetch as Googlebot" सुविधा का इस्तेमाल करके, सर्वर हेडर को आसानी से देखा जा सकता है.

क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?