Robot, nazywany również pająkiem lub botem, to program, za pomocą którego Google przetwarza i indeksuje zawartość stron internetowych. Robot indeksujący AdSense o nazwie Mediapartners-Google analizuje witrynę, aby określić jej zawartość, ponieważ jest to potrzebne do wyświetlania trafnych reklam.
Oto kilka ważnych informacji o robocie indeksującym AdSense:
- Raport robota jest aktualizowany co tydzień.
Indeksowanie jest wykonywane automatycznie i nie możemy tego robić częściej na prośbę wydawców.
- Robot indeksujący AdSense różni się od robota Google.
Te 2 roboty funkcjonują niezależnie, ale korzystają ze wspólnej pamięci podręcznej. Wprowadziliśmy taki podział, aby uniknąć sytuacji, w której oba roboty przeglądają te same strony. Dzięki temu oszczędzamy wydawcom przepustowość ich łączy. Robot Search Console też jest osobnym programem.
Uwaga: AdSense używa też robota o nazwie Google-Display-Ads-Bot do weryfikacji witryny, gdy dodasz ją do AdSense. - Rozwiązywanie problemów z robotem indeksującym AdSense pozostaje bez związku z problemami występującymi w przypadku robota Google.
Rozwiązanie problemów wymienionych na stronie Dostęp dla robota nie będzie miało żadnego wpływu na miejsce witryny w wynikach wyszukiwania Google. Więcej informacji o klasyfikowaniu witryny w Google znajdziesz w naszym wpisie na temat dołączania stron do wyników wyszukiwania Google.
- Robot wykonuje indeksowanie według adresu URL.
Nasz robot będzie oddzielnie uzyskiwał dostęp do stron site.com i www.site.com. Nasz robot nie będzie jednak zliczał osobno stron site.com i site.com/#anchor.
- Robot nie uzyska dostępu do stron i katalogów, których użycia zabroniono w pliku robots.txt.
Roboty Google, AdSense Mediapartners-Google i Google-Display-Ads-Bot uwzględniają plik robots.txt. Jeśli plik robots.txt zabrania dostępu do określonych stron lub katalogów, nie będziemy ich indeksować.
Uwaga: Jeśli wyświetlasz reklamy na stronach zablokowanych za pomocą wierszaUser-agent: *, robot indeksujący AdSense będzie je mimo wszystko indeksował. Jeśli nie chcesz, aby robot indeksujący AdSense indeksował Twoje strony, dodaj do pliku robots.txt te wiersze:User-agent: Mediapartners-GoogleUser-agent: Google-Display-Ads-Bot - Robot próbuje uzyskać dostęp do adresów URL tylko tych stron, na których są zaimplementowane tagi reklam.
Tylko strony, na których wyświetlają się reklamy Google, powinny wysyłać żądania do naszych systemów i być objęte indeksowaniem.
- Robot podejmuje próby uzyskania dostępu do stron, które realizują przekierowanie.
Jeśli „oryginalne strony” przekierowują do innych stron, nasz robot musi uzyskać dostęp do oryginalnych stron, by ustalić, czy przekierowanie działa. Dlatego jego odwiedziny oryginalnych stron pojawiają się w rejestrze dostępu.
- Nie masz kontroli nad tym, jak często robot będzie indeksować treść Twojej witryny.
Obecnie nie mamy kontroli nad ponownym indeksowaniem witryn. Indeksowanie jest wykonywane automatycznie przez nasze roboty. Jeśli wprowadzisz zmiany na stronie, może upłynąć od 1 do 2 tygodni, zanim zostaną one odzwierciedlone w naszym indeksie.