আপনার সাইটে কন্টেন্টের অ্যাক্সেস ব্লক করুন

আপনার সাইটে কীভাবে কন্টেন্টের অ্যাক্সেস ব্লক করবেন সেটি এই নিবন্ধটি ব্যাখ্যা করেছে।

আপনার প্রকাশ করা কিছু কন্টেন্ট Google News-এ দেখানোর জন্য প্রাসঙ্গিক নাও হতে পারে। কিছু কন্টেন্টে Google-এর অ্যাক্সেস সীমাবদ্ধ করতে, Google-এর রোবট ক্রলার Googlebot ও Googlebot-News-কে ব্লক করুন।

একটি robots.txt ফাইল তৈরি করুন

Google Search ও Google News-এ আপনার সাইটের কোন অংশ দেখাতে চান তা নিয়ন্ত্রণ করতে robots.txt ফাইল ব্যবহার করুন। robots.txt ফাইল সম্পর্কে আরও জানুন।

আপনি নিম্নলিখিত পদ্ধতিতে অ্যাক্সেস ব্লক করতে পারেন:

• Google News-এ আপনার সাইট দেখানো বন্ধ করতে, robots.txt ফাইল ব্যবহার করে Googlebot-News-এর অ্যাক্সেস ব্লক করুন।

• Google News ও Google Search-এ আপনার সাইট দেখানো বন্ধ করতে, robots.txt ফাইল ব্যবহার করে Googlebot-এর অ্যাক্সেস ব্লক করুন।

আপনি সাইটের নির্দিষ্ট বিভাগ ক্রল করতে দিতে না চাইলে, আমাদের ক্রলারকে আপনার robots.txt ফাইলে অ্যাক্সেস দিতে হবে।

একটি মেটা ট্যাগ তৈরি করুন

একটি HTML পৃষ্ঠাতে আপনি মেটা ট্যাগ যোগ করতে পারেন। সার্চ ফলাফলে পৃষ্ঠা দেখানোর সময় কোন সীমাবদ্ধতা প্রযোজ্য হবে সেটি মেটা ট্যাগ থেকে সার্চ ইঞ্জিন জানতে পারে। মেটা ট্যাগ ব্যবহার করে কীভাবে সার্চ ইন্ডেক্সিং ব্লক করতে হয় তা জানুন।

আপনার HTML পৃষ্ঠাতে আপনি যোগ করতে পারেন এমন কিছু সাধারণ মেটা ট্যাগ এখানে দেওয়া হল:

• Google News-এ আপনার সাইটের নির্দিষ্ট নিবন্ধ না দেখাতে, এই মেটা ট্যাগ ব্যবহার করে Googlebot-News-এর অ্যাক্সেস ব্লক করুন: <meta name="Googlebot-News" content="noindex, nofollow">

• Google News ও Google Search-এ আপনার সাইটের নির্দিষ্ট নিবন্ধ না দেখাতে, এই মেটা ট্যাগ ব্যবহার করে Googlebot-এর অ্যাক্সেস ব্লক করুন: <meta name="googlebot" content="noindex, nofollow">

• আপনার সাইটের নির্দিষ্ট নিবন্ধ যাতে ইন্ডেক্স না করা হয়, সেই জন্য সব রোবটকে বাধা দিতে এই মেটা ট্যাগ ব্যবহার করুন: <meta name="robots" content="noindex, nofollow">

• রোবট যাতে নির্দিষ্ট নিবন্ধের ছবি ক্রল না করে, সেই জন্য এই মেটা ট্যাগ ব্যবহার করুন: <meta name="robots" content="noimageindex">

• নির্দিষ্ট সময়ে Google-এর ইন্ডেক্স থেকে কোনও নিবন্ধকে সরিয়ে দেওয়ার কথা আমাদের জানাতে, এই মেটা ট্যাগ ব্যবহার করুন: <meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">

• RFC 850 ফর্ম্যাট-এ সময় ও তারিখ উল্লেখ করুন। এই মেটা ট্যাগকে সরানোর অনুরোধ হিসেবে বিবেচনা করা হয়। সরিয়ে দেওয়ার দিন থেকে প্রায় এক দিন আরও লাগে যার পরে আমরা পৃষ্ঠাতে আর সার্চের ফলাফলকে দেখতে পাই না। যদিও, ট্যাগটি যাতে সঠিকভাবে কাজ করতে পারে তার জন্য প্রথমবার ক্রল হওয়ার সময় এটিকে আপনার নিবন্ধের মধ্যে অন্তর্ভুক্ত রাখতে হবে।

• সার্চের ফলাফলে দেখানো কন্টেন্টকে সীমিত করার আরও অন্যান্য উপায় আছে। ডেভেলপার ডকুমেন্টেশন থেকে আরও জানুন।

HTTP হেডার স্পেসিফিকেশন

HTTP রেসপন্স হেডারে রোবটকেও আপনি নির্দেশ দিতে পারেন। আরও জানতে, HTTP হেডার স্পেসিফিকেশন সম্পর্কে পড়ুন।

গুরুত্বপূর্ণ: Google আপনার বটের সবচেয়ে সীমিত ব্যাখ্যা মেনে চলে।