Блокировка индексирования при помощи метатегов
Чтобы предотвратить появление страницы в результатах поиска Google, вставьте в HTML-код страницы атрибут noindex. Во время сканирования робот Googlebot обнаружит его и проигнорирует страницу, даже если на нее ссылаются другие сайты.
Внимание! Поисковый робот не обнаружит атрибут noindex, если страница заблокирована в файле robots.txt. Такая страница будет отображаться в результатах поиска.
Стандартный атрибут noindex рекомендуется использовать, если у вас нет доступа к корневому каталогу на сервере, поскольку он позволяет контролировать доступ к отдельным страницам сайта.
Чтобы заблокировать большую часть поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:
<meta name="robots" content="noindex">
Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:
<meta name="googlebot" content="noindex">
Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и отображать ее в результатах поиска.
Помогите нам обнаружить метатеги
Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. При этом существует вероятность, что робот Googlebot не распознает атрибут noindex. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента Просмотреть как Googlebot. Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать в Инструменте проверки файла robots.txt.