Как заблокировать роботам Google доступ к сайту

В этой статье описано, как заблокировать роботам Google доступ к контенту на сайте.

Если какие-то материалы на вашем сайте не подходят для Google Новостей или вы хотите запретить их индексирование в результатах поиска, закройте роботам Googlebot и Googlebot-News доступ к ним.

Создайте файл robots.txt

В файле robots.txt указываются разделы сайта, которые должны индексироваться в Google Поиске и Новостях. Подробнее о файле robots.txt

Существует несколько способов заблокировать доступ к сайту.

  • Чтобы ваш сайт не появлялся в Google Новостях, заблокируйте в файле robots.txt доступ к ресурсу для робота Googlebot-News.

  • Чтобы запретить индексирование сайта в Google Новостях и Google Поиске, заблокируйте в файле robots.txt доступ к ресурсу для робота Googlebot.

Убедитесь, что у поискового робота есть доступ к файлу robots.txt. В противном случае мы не сможем определить, что вы запретили сканирование некоторых разделов сайта.

Добавьте метатег

Добавьте метатег в HTML-код страницы, чтобы она не показывалась в результатах поиска. Подробнее о том, как заблокировать доступ с помощью метатегов

Существует несколько метатегов, которые можно добавить на HTML-страницы, чтобы ограничить доступ к ним.

  • Чтобы определенные статьи не появлялись в Google Новостях, заблокируйте доступ роботу Googlebot-News с помощью следующего метатега: <meta name="Googlebot-News" content="noindex, nofollow">.

  • Чтобы определенные статьи не появлялись в Google Новостях и Поиске, заблокируйте доступ роботу Googlebot с помощью следующего метатега: <meta name="googlebot" content="noindex, nofollow">.

  • Чтобы запретить всем роботам индексировать определенные статьи на сайте, используйте следующий метатег: <meta name="robots" content="noindex, nofollow">.

  • Чтобы запретить роботам индексировать изображения в определенной статье, используйте следующий метатег: <meta name="robots" content="noimageindex">.

  • Чтобы статья была автоматически удалена из индекса Google по истечении определенного срока, используйте следующий метатег: <meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">.

  • Дату и время указывайте в формате RFC 850. Страница исчезнет из результатов поиска примерно через день после указанной даты. Чтобы тег сработал правильно, его необходимо добавить в код статьи до ее первого индексирования.

  • Существуют также другие способы ограничить отображение контента в результатах поиска. Подробную информацию можно найти в справочных материалах для разработчиков.

Используйте HTTP-заголовок

Инструкции для роботов можно также указать в HTTP-заголовке. Подробнее о его спецификации

Важно! Если для роботов Google установлено несколько ограничений, применяется наиболее строгое из них.

Эта информация оказалась полезной?
Как можно улучшить эту статью?