В этой статье описано, как заблокировать роботам Google доступ к контенту на сайте.
Если какие-то материалы на вашем сайте не подходят для Google Новостей или вы хотите запретить их индексирование в результатах поиска, закройте роботам Googlebot и Googlebot-News доступ к ним.
Создайте файл robots.txt
В файле robots.txt указываются разделы сайта, которые должны индексироваться в Google Поиске и Новостях. Подробнее о файле robots.txt…
Существует несколько способов заблокировать доступ к сайту.
-
Чтобы ваш сайт не появлялся в Google Новостях, заблокируйте в файле robots.txt доступ к ресурсу для робота Googlebot-News.
-
Чтобы запретить индексирование сайта в Google Новостях и Google Поиске, заблокируйте в файле robots.txt доступ к ресурсу для робота Googlebot.
Убедитесь, что у поискового робота есть доступ к файлу robots.txt. В противном случае мы не сможем определить, что вы запретили сканирование некоторых разделов сайта.
Добавьте метатег
Добавьте метатег в HTML-код страницы, чтобы она не показывалась в результатах поиска. Подробнее о том, как заблокировать доступ с помощью метатегов…
Существует несколько метатегов, которые можно добавить на HTML-страницы, чтобы ограничить доступ к ним.
-
Чтобы определенные статьи не появлялись в Google Новостях, заблокируйте доступ роботу Googlebot-News с помощью следующего метатега:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Чтобы определенные статьи не появлялись в Google Новостях и Поиске, заблокируйте доступ роботу Googlebot с помощью следующего метатега:
<meta name="googlebot" content="noindex, nofollow">. -
Чтобы запретить всем роботам индексировать определенные статьи на сайте, используйте следующий метатег:
<meta name="robots" content="noindex, nofollow">. -
Чтобы запретить роботам индексировать изображения в определенной статье, используйте следующий метатег:
<meta name="robots" content="noimageindex">. -
Чтобы статья была автоматически удалена из индекса Google по истечении определенного срока, используйте следующий метатег:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Дату и время указывайте в формате RFC 850. Страница исчезнет из результатов поиска примерно через день после указанной даты. Чтобы тег сработал правильно, его необходимо добавить в код статьи до ее первого индексирования.
-
Существуют также другие способы ограничить отображение контента в результатах поиска. Подробную информацию можно найти в справочных материалах для разработчиков.
Используйте HTTP-заголовок
Инструкции для роботов можно также указать в HTTP-заголовке. Подробнее о его спецификации…
Важно! Если для роботов Google установлено несколько ограничений, применяется наиболее строгое из них.