अपनी साइट पर मौजूद सामग्री का ऐक्सेस रोकना

इस लेख में बताया गया है कि आप अपनी साइट पर मौजूद सामग्री का ऐक्सेस कैसे रोक सकते हैं.

हो सकता है कि आपने जो सामग्री प्रकाशित की है वह Google News पर दिखाए जाने के लिए सही न हो. आप Google के रोबोट क्रॉलर, Googlebot, और 'Googlebot-समाचार' का ऐक्सेस रोककर, कुछ सामग्री तक Google को पहुंचने से रोक सकते हैं.

robots.txt फ़ाइल बनाना

'Google सर्च' और 'Google समाचार' में आपकी साइट के कौनसे हिस्से दिखाई दें, इस पर ज़्यादा नियंत्रण के लिए robots.txt फ़ाइल का इस्तेमाल करें. robots.txt फ़ाइलों के बारे में ज़्यादा जानें.

आप इन तरीकों से ऐक्सेस ब्लॉक कर सकते हैं:

अपनी साइट को Google News पर दिखाए जाने से रोकने के लिए robots.txt फ़ाइल इस्तेमाल करके, 'Googlebot-समाचार' का ऐक्सेस ब्लॉक करें.
अपनी साइट को Google News और Google Search पर दिखने से रोकने के लिए robots.txt फ़ाइल इस्तेमाल करके, Googlebot का ऐक्सेस ब्लॉक करें.

आपको हमारे क्रॉलर को अपनी robots.txt फ़ाइल का ऐक्सेस देना होगा, ताकि हम देख सकें कि क्या आपने अपनी साइट के कुछ ऐसे सेक्शन चुने हैं जिन्हें आप क्रॉल नहीं करवाना चाहते हैं.

मेटा टैग बनाना

आप किसी एचटीएमएल पेज पर मेटा टैग जोड़ सकते हैं. मेटा टैग, सर्च इंजन को बताते हैं कि खोज के नतीजों में पेजों को दिखाते समय कौनसी सीमाएं लागू होती हैं. मेटा टैग की मदद से खोज इंडेक्स करने की प्रक्रिया को ब्लॉक करने का तरीका जानें.

यहां कुछ सामान्य मेटा टैग दिए गए हैं जिन्हें आप अपने एचटीएमएल पेज में जोड़ सकते हैं:

अपनी साइट के कुछ खास लेखों को Google News में दिखने से रोकने के लिए, इन मेटा टैग का इस्तेमाल करें. साथ ही, 'Googlebot- समाचार' का ऐक्सेस ब्लॉक करें: <meta name="Googlebot-News" content="noindex, nofollow">.
अपनी साइट के कुछ खास लेखों को Google News और Google Search में दिखने से रोकने के लिए, इन मेटा टैग का इस्तेमाल करें. साथ ही, Googlebot का ऐक्सेस ब्लॉक करें: <meta name="googlebot" content="noindex, nofollow">.
आपकी साइट के कुछ खास लेखों को कोई भी रोबोट इंडेक्स न कर सके, इसके लिए इस मेटा टैग का इस्तेमाल करें: <meta name="robots" content="noindex, nofollow">.
रोबोट को किसी खास लेख पर इमेज क्रॉल करने से रोकने के लिए, इस मेटा टैग का इस्तेमाल करें: <meta name="robots" content="noimageindex">.
हमें सूचना दें कि किसी लेख को एक तय समय पर Google इंडेक्स से हटाया जाना चाहिए. इसके लिए, इस मेटा टैग का इस्तेमाल करें: <meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">.
RFC 850 फ़ॉर्मैट में समय और तारीख डालें. इस मेटा टैग को, हटाए जाने का अनुरोध माना जाता है. हटाए जाने की तारीख निकलने के बाद, खोज नतीजों से पेज के गायब होने में करीब एक दिन लगता है. हालांकि, पहली बार लेख क्रॉल करते समय ही टैग उसमें शामिल होना चाहिए, तब यह ठीक से काम करता है.
खोज नतीजे में दिखाई गई सामग्री को सीमित करने के और विकल्प भी हैं. डेवलपर के दस्तावेज़ में ज़्यादा जानकारी पाएं.

एचटीटीपी हेडर के बारे में खास जानकारियां

आप एचटीटीपी के जवाब वाले हेडर में, रोबोट को निर्देश भी दे सकते हैं. ज़्यादा जानने के लिए, एचटीटीपी हेडर के बारे में खास जानकारी पढ़ें.

अहम जानकारी: आप जो बॉट चुनते हैं, Google उसी के हिसाब से साइट क्रॉल करता है.