अपनी साइट पर मौजूद सामग्री का ऐक्सेस रोकना

इस लेख में बताया गया है कि आप अपनी साइट पर मौजूद सामग्री का ऐक्सेस कैसे रोक सकते हैं.

हो सकता है कि आपने जो सामग्री प्रकाशित की हैं उनमें से कुछ 'Google समाचार' पर शामिल किए जाने के लिए सही न हों. आप Google के रोबोट क्रॉलर, Googlebot और Googlebot-समाचार का ऐक्सेस रोककर, कुछ सामग्री तक Google का ऐक्सेस रोक सकते हैं.

'Google समाचार' को मनमुताबिक बनाने का तरीका जानें. साथ ही, अपनी पसंद के स्रोतों से ज़्यादा खबरें देखने और खबर के नापसंद स्रोताें पर राेक लगाने का तरीका जानें.

ध्यान दें: अपने स्निपेट को प्रबंधित करने के तरीके के बारे में ज़्यादा पढ़ें. 

robots.txt फ़ाइल बनाना

'Google सर्च' और 'Google समाचार' में आपकी साइट के कौनसे हिस्से दिखाई दें, इस पर ज़्यादा नियंत्रण के लिए robots.txt फ़ाइल का इस्तेमाल करें. robots.txt फ़ाइलों के बारे में ज़्यादा जानें. 

आप इन तरीकों से ऐक्सेस रोक सकते हैं:

  • अगर आप अपनी साइट को Google समाचार पर नहीं दिखाना चाहते हैं, तो robots.txt फ़ाइल का इस्तेमाल करके Googlebot-समाचार का एक्सेस रोकें.
  • अगर आप अपनी साइट को 'Google समाचार' और 'Google सर्च' पर नहीं दिखाना चाहते हैं, तो robots.txt फ़ाइल का इस्तेमाल करके Googlebot का एक्सेस रोकें

आपको हमारे क्रॉलर को अपनी robots.txt फ़ाइल का एक्सेस देना होगा, ताकि हम देख सकें कि क्या आपने अपनी साइट के कुछ ऐसे सेक्शन चुने हैं, जिन्हें आप क्रॉल नहीं करवाना चाहते हैं.

मेटा टैग बनाना

आप किसी एचटीएमएल पेज पर मेटा टैग जोड़ सकते हैं. मेटा टैग, सर्च इंजन को खोज के नतीजों में पेजों को दिखाते समय, लागू होने वाले प्रतिबंधों के बारे में बताते हैं. मेटा टैग से सर्च इंडेक्सिंग को ब्लॉक करने के तरीके के बारे में ज़्यादा जानें.

यहां कुछ ऐसे सामान्य मेटा टैग दिए गए हैं, जिन्हें आप अपने HTML पेज में जोड़ सकते हैं:

  • आपकी साइट के कुछ खास लेख Goolge समाचार में दिखाई न दें, इसके लिए इस मेटा टैग का इस्तेमाल करके Googlebot-समाचार का एक्सेस रोकें: <meta name="Googlebot-News" content="noindex, nofollow">
  • आपकी साइट के कुछ खास लेख 'Goolge समाचार' और 'Google सर्च' पर दिखाई न दें, इसके लिए इस मेटा टैग का इस्तेमाल करके Googlebot का एक्सेस रोकें: <meta name="googlebot" content="noindex, nofollow">
  • आपकी साइट के कुछ खास लेखों को कोई भी रोबोट इंडेक्स न कर सके, इसके लिए इस मेटा टैग का इस्तेमाल करें: <meta name="robots" content="noindex, nofollow">
  • किसी खास लेख में दी गई इमेज को रोबोट क्रॉल न कर सकें, इसके लिए इस मेटा टैग का इस्तेमाल करें: <meta name="robots" content="noimageindex">
  • हमें यह बताने के लिए कि कोई लेख किसी खास समय पर Google इंडेक्स से निकाल दिया जाना चाहिए, इस मेटा टैग का इस्तेमाल करें: 
    <meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">
    • RFC 850 फ़ॉर्मैट में समय और तारीख डालें. यह मेटा टैग, निकालने के अनुरोध के रूप में माना जाता है. निकालने की तारीख बीतने के बाद, खोज नतीजों से पेज के गायब होने में करीब एक दिन लगता है. हालांकि, टैग ठीक से काम करे, इसके लिए इसे आपके लेख के साथ उस समय शामिल किया जाना चाहिए, जब लेख को पहली बार क्रॉल किया गया था.
  • खोज नतीजे में दिखाई गई सामग्री को सीमित करने के और विकल्प भी हैं. डेवलपर के दस्तावेज़ में ज़्यादा जानकारी पाएं.

एचटीटीपी हेडर के बारे में खास जानकारियां

आप एचटीटीपी के जवाब वाले हेडर में, रोबोट के लिए निर्देश भी दे सकते हैं. ज़्यादा जानने के लिए, एचटीटीपी हेडर के बारे में खास जानकारियां पढ़ें.
 

ध्यान दें: आप जो बॉट चुनते हैं, Google ठीक उसके हिसाब से साइट क्रॉल करता है.

क्या यह उपयोगी था?
हम उसे किस तरह बेहतर बना सकते हैं?