У цій статті описано, як заблокувати доступ до вмісту на сайті.
Деякий контент може не підходити для публікації в Google Новинах. Ви можете обмежити доступ до певного контенту, заблокувавши його для веб-сканерів Google, пошукових роботів Googlebot і Googlebot-News.
Створіть файл robots.txt
Контролюйте, які розділи вашого сайту відображатимуться в Пошуку та Google Новинах, за допомогою файлу robots.txt. Докладніше про файли robots.txt.
Нижче описано, як можна заблокувати доступ.
-
Щоб ваш сайт не з'являвся в Google Новинах, заблокуйте доступ пошуковому роботу Googlebot-News за допомогою файлу robots.txt.
-
Щоб ваш сайт не з'являвся в Google Новинах і Пошуку Google, заблокуйте доступ пошуковому роботу Googlebot за допомогою файлу robots.txt.
Надайте веб-сканеру доступ до файлу robots.txt, щоб ми могли бачити, що ви вказали певні розділи сайту, які не потрібно сканувати.
Створіть метатег
До HTML-сторінки можна додати метатеги. Метатеги повідомляють пошуковим системам, які обмеження діють під час показу сторінок у результатах пошуку. Дізнайтеся, як заблокувати індексування пошуковими системами за допомогою метатегів.
Нижче наведено поширені метатеги, які можна додавати до HTML-сторінок.
-
Щоб певні статті вашого сайту не з'являлися в Google Новинах, заблокуйте пошуковому роботу Googlebot-News доступ до них за допомогою метатегу
<meta name="Googlebot-News" content="noindex, nofollow">. -
Щоб певні статті вашого сайту не з'являлися в Google Новинах і Пошуку Google, заблокуйте пошуковому роботу Googlebot доступ до них за допомогою метатегу
<meta name="googlebot" content="noindex, nofollow">. -
Щоб усі роботи не індексували певні статті на вашому сайті, скористайтеся метатегом
<meta name="robots" content="noindex, nofollow">. -
Щоб роботи не сканували зображення в певній статті, скористайтеся метатегом
<meta name="robots" content="noimageindex">. -
Щоб повідомити нам, що статтю потрібно видалити з індексу Google у певний час, скористайтеся цим метатегом:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Укажіть час і дату у форматі RFC 850. Цей метатег вважається запитом на видалення. Сторінка зникає з результатів пошуку приблизно через день після вказаної дати видалення. Щоб тег працював правильно, він має бути присутній у статті під час першого сканування.
-
Є інші способи обмежити відображення вмісту в результатах пошуку. Докладніше про них читайте в документації для розробників.
Характеристики заголовка HTTP
Також можна надавати вказівки роботам у заголовку відповіді HTTP. Щоб дізнатися більше, прочитайте про характеристики заголовка HTTP.
Важливо: Google дотримується найсуворіших обмежень, указаних для роботів.