Блокировка индексирования при помощи атрибута noindex
Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex или заголовок noindex в запросе HTTP. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит атрибут noindex, если страница заблокирована в файле robots.txt. Такая страница может быть представлена в результатах поиска (например, если на нее есть ссылка на другой странице).
Атрибут noindex позволяет контролировать доступ к отдельным страницам сайта, поэтому его рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере.
Как добавить атрибут noindex
Добавить атрибут noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.
Тег <meta>
Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:
<meta name="robots" content="noindex">
Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:
<meta name="googlebot" content="noindex">
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.
Помогите нам обнаружить метатеги
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента Просмотреть как Googlebot. Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью инструмента проверки файла robots.txt.
Заголовок ответа HTTP
Вместо метатега можно возвращать заголовок X-Robots-Tag: noindex в ответе на запрос страницы. Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)