این مقاله نحوه مسدود کردن دسترسی به محتوا را در سایت توضیح می‌دهد.
ممکن است بخشی از محتوایی که منتشر می‌کنید، برای نمایش در Google News مناسب نباشد. می‌توانید با مسدود کردن دسترسی به خزنده‌های روبات Google، Googlebot و Googlebot-News، دسترسی Google را به محتوای مشخصی محدود کنید.
ایجاد فایل robots.txt
برای داشتن سطح بالایی از کنترل بر اینکه چه بخش‌هایی از سایتتان در «جستجوی Google» و Google News نشان داده شوند، از فایل robots.txt استفاده کنید. درباره فایل robots.txt بیشتر بدانید.
می‌توانید دسترسی را به روش‌های زیر مسدود کنید:
-
برای جلوگیری از نمایش سایتتان در Google News، بااستفاده از فایل robots.txt دسترسی به Googlebot-News را مسدود کنید.
-
برای جلوگیری از نمایش سایتتان در Google News و «جستجوی Google»، بااستفاده از فایل robots.txt دسترسی به Googlebot را مسدود کنید.
باید به خزنده ما امکان دسترسی به فایل robots.txt را بدهید تا اگر مشخص کرده‌اید نمی‌خواهید بخش‌‌های مشخصی از سایت خزیده شوند اطلاع پیدا کنیم.
ایجاد متا تگ
می‌توانید به صفحه HTML متا تگ اضافه کنید. متا تگ به موتورهای جستجو می‌گوید هنگام نمایش صفحات در نتایج جستجو، چه محدودیت‌هایی اعمال شود. با نحوه مسدود کردن نمایه‌سازی جستجو بااستفاده از متا تگ آشنا شوید.
بعضی از متا تگ‌های معمول که می‌توانید به صفحه‌های HTML خود اضافه کنید در اینجا آمده است:
-
برای جلوگیری از نمایش برخی از مقاله‌های خاص سایتتان در Google News، دسترسی به Googlebot-News را بااستفاده از این متا تگ مسدود کنید:
<meta name="Googlebot-News" content="noindex, nofollow">. -
برای جلوگیری از نمایش برخی از مقاله‌های خاص سایتتان در Google News و «جستجوی Google»، دسترسی به Googlebot را بااستفاده از این متا تگ مسدود کنید:
<meta name="googlebot" content="noindex, nofollow">. -
برای اینکه هیچ روباتی نتواند مقاله‌های خاصی را در سایتتان نمایه‌سازی کند، از این متا تگ استفاده کنید:
<meta name="robots" content="noindex, nofollow">. -
برای اینکه از خزیدن روبات‌ها در تصویرهای مقاله خاصی جلوگیری کنید، از این متا تگ استفاده کنید:
<meta name="robots" content="noimageindex">. -
برای اینکه به ما اطلاع دهید که مقاله‌ای باید در زمان مشخصی از نمایه Google برداشته شود، از این متا تگ استفاده کنید:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
ساعت و تاریخ را با قالب RFC 850 مشخص کنید. این متا تگ به‌عنوان درخواست برداشتن تلقی می‌شود. بعد از سپری شدن تاریخ برداشتن، تقریباً یک روز طول می‌کشد تا صفحه از نتایج جستجو ناپدید شود. البته، برای اینکه تگ به‌درستی عمل کند، باید هنگام خزیده شدن مقاله برای اولین‌بار، تگ در آن اضافه شده باشد.
-
گزینه‌های دیگری نیز برای محدود کردن محتوای نشان داده‌شده در نتیجه جستجو وجود دارد. در مستندات برنامه‌نویس اطلاعات بیشتری دریافت کنید.
مشخصات سرصفحه HTTP
همچنین می‌توانید در سرصفحه پاسخ HTTP دستورالعمل‌هایی برای روبات‌ها ارائه دهید. برای اطلاعات بیشتر، درباره مشخصات سرصفحه HTTP بخوانید.
مهم: Google محدودکننده‌ترین تفسیر انتخاب روبات را دنبال می‌کند.