Тази статия обяснява как да блокирате достъпа до съдържание на сайта си
Възможно е част от публикуваното от вас съдържание да не е подходящо за показване в Google Новини. Можете да ограничите достъпа ни до определени материали, като ги направите недостъпни за роботите ни – Googlebot и Googlebot-News.
Създаване на файл robots.txt
Използвайте файл robots.txt, за да получите високо ниво на контрол над това кои части от сайта ви може да се показват в Google Търсене и Google Новини. Научете повече за файловете robots.txt.
Можете да блокирате достъпа по следните начини:
-
Ако искате сайтът ви да не се показва в Google Новини, блокирайте достъпа до Googlebot-News посредством файл robots.txt.
-
За да предотвратите показването на сайта си в Google Новини и Търсене, блокирайте достъпа до Googlebot посредством файл robots.txt.
Трябва да предоставите достъп на робота ни до файла robots.txt, за да можем да видим дали искате определени секции от сайта ви да не бъдат обхождани.
Създаване на meta маркер
Можете да добавите meta маркери към HTML страница. Те указват на търсещите машини ограничения при извеждането на страниците в резултатите от търсенето. Научете как чрез meta маркери да блокирате индексирането за търсене.
Ето някои често използвани meta маркери, които можете да добавите към HTML страниците си:
-
За да предотвратите показването в Google Новини на конкретни статии от сайта си, блокирайте достъпа на Googlebot-News посредством следния meta маркер:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Ако искате конкретни статии от сайта ви да не се показват в Google Новини и Търсене, блокирайте достъпа на Googlebot посредством следния meta маркер:
<meta name="googlebot" content="noindex, nofollow">. -
За да попречите на всички роботи да индексират конкретни статии от сайта ви, използвайте следния meta маркер:
<meta name="robots" content="noindex, nofollow">. -
За да предотвратите обхождането на изображенията в конкретна статия, използвайте следния meta маркер:
<meta name="robots" content="noimageindex">. -
За да ни уведомите, че дадена статия трябва да бъде премахната от индекса на Google в точно определено време, използвайте следния meta маркер:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Посочете часа и датата във формат RFC 850. Този meta маркер се третира като искане за премахване. Страницата ще спре да се показва в резултатите от търсенето приблизително един ден след датата на премахването. За да функционира правилно маркерът обаче, той трябва да бъде включен в статията ви при първото ѝ обхождане.
-
Има други опции за ограничаване на съдържанието, което се показва в резултат от търсенето. Научете повече в документацията за програмисти.
Спецификации на HTTP заглавката
Можете също да предоставите инструкции на роботите в заглавката на HTTP отговора. За да научите повече, прочетете за спецификациите ѝ.
Важно: Ако сте задали няколко ограничения за роботите, Google следва най-строгото от тях.