Z tego artykułu dowiesz się, jak zablokować dostęp do treści w Twojej witrynie.
Niektóre publikowane przez Ciebie treści mogą być nieodpowiednie do wyświetlania w Wiadomościach Google. Aby ograniczyć Google dostęp do nich, możesz zablokować roboty Google, Googlebota i robota Googlebot-News.
Tworzenie pliku robots.txt
Dzięki plikowi robots.txt możesz dokładnie kontrolować, które części Twojej witryny pojawiają się w wyszukiwarce i w Wiadomościach Google. Więcej informacji o pliku robots.txt
Dostęp możesz zablokować w ten sposób:
-
Aby zapobiec pojawianiu się witryny w Wiadomościach Google, zablokuj dostęp robotowi Googlebot-News za pomocą pliku robots.txt.
-
Aby zapobiec pojawianiu się witryny w wyszukiwarce i Wiadomościach Google, zablokuj dostęp Googlebotowi przy użyciu pliku robots.txt.
Pamiętaj, by przyznać naszemu robotowi dostęp do pliku robots.txt. Musi on go mieć, by sprawdzić, których sekcji witryny nie chcesz indeksować.
Tworzenie metatagu
Do strony HTML możesz dodać metatagi. Metatagi informują wyszukiwarki, jakie limity obowiązują przy wyświetlaniu stron w wynikach wyszukiwania. Dowiedz się, jak zablokować indeksowanie wyszukiwania za pomocą metatagów
Oto kilka typowych metatagów, które możesz dodać do stron HTML:
-
Aby zapobiec pojawianiu się wybranych artykułów z Twojej witryny w Wiadomościach Google, zablokuj dostęp robotowi Googlebot-News przy użyciu metatagu
<meta name="Googlebot-News" content="noindex, nofollow">. -
Aby zapobiec pojawianiu się wybranych artykułów z Twojej witryny w Wiadomościach Google i wyszukiwarce, zablokuj do nich dostęp Googlebotowi, korzystając z metatagu
<meta name="googlebot" content="noindex, nofollow">. -
Aby zapobiec indeksowaniu wybranych artykułów z Twojej witryny przez wszystkie roboty, użyj metatagu
<meta name="robots" content="noindex, nofollow">. -
Aby zapobiec indeksowaniu obrazów w wybranym artykule, użyj metatagu
<meta name="robots" content="noimageindex">. -
Aby poinformować nas, że artykuł powinien zostać usunięty z indeksu Google o określonej godzinie, użyj metatagu:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Datę i godzinę należy podać w formacie RFC 850. Ten metatag jest traktowany jak żądanie usunięcia. Strona zniknie z wyników wyszukiwania po upływie około doby od daty jej usunięcia. Aby jednak tag zadziałał prawidłowo, musi znajdować się w artykule już w momencie pierwszego indeksowania.
-
Istnieją też inne możliwości ograniczenia treści wyświetlanych w wynikach wyszukiwania. Więcej informacji znajdziesz w dokumentacji dla deweloperów
Specyfikacje nagłówka HTTP
Instrukcje dla robotów możesz też dodać do nagłówka odpowiedzi HTTP. Więcej informacji znajdziesz w specyfikacjach nagłówka HTTP
Ważne: Google przestrzega najbardziej restrykcyjnej interpretacji wyboru robotów.