Robot, nazywany również pająkiem lub botem, to program, za którego pomocą Google przetwarza i indeksuje zawartość stron internetowych. Robot indeksujący analizuje witrynę, aby określić jej zawartość, co jest potrzebne do wyświetlania odpowiednich reklam.
Oto kilka ważnych informacji o robocie indeksującym:
- Raport robota jest aktualizowany co tydzień.
Indeksowanie jest wykonywane automatycznie i nie możemy tego robić częściej na prośbę wydawców. - Robot indeksujący różni się od robota Google.
Te dwa roboty funkcjonują niezależnie, ale korzystają ze wspólnej pamięci podręcznej. Wprowadziliśmy taki podział, aby uniknąć sytuacji, w której oba roboty przeglądają te same strony. Dzięki temu oszczędzamy wydawcom przepustowość ich łączy. Robot Search Console też jest osobnym programem. - Rozwiązywanie problemów z robotem indeksującym pozostaje bez związku z problemami występującymi w przypadku robota Google.
Rozwiązanie problemów wymienionych na stronie „Dostęp dla robota” nie będzie miało żadnego wpływu na miejsce witryny w wynikach wyszukiwania Google. Więcej informacji o klasyfikowaniu witryny w Google znajdziesz w Centrum pomocy AdSense w artykule na temat dołączania stron do wyników wyszukiwania Google. - Robot wykonuje indeksowanie według adresu URL.
Nasz robot będzie z osobna uzyskiwał dostęp do stron site.com i www.site.com. Nie będzie jednak zliczał osobno stron site.com i site.com/#anchor. - Robot nie uzyska dostępu do stron i katalogów, których użycia zabroniono w pliku robots.txt.
Roboty Google i AdMob Mediapartners obsługują plik robots.txt. Jeśli plik robots.txt zabrania dostępu do określonych stron lub katalogów, nie będziemy ich indeksować.Jeśli wyświetlasz reklamy na stronach zablokowanych za pomocą wiersza „User-agent: *”, robot indeksujący będzie je mimo wszystko indeksował. Jeśli nie chcesz, aby robot indeksował Twoje strony, umieść w pliku robots.txt wierszUser-agent: Mediapartners-Google. Więcej informacji - Robot będzie próbował uzyskać dostęp tylko do adresów URL stron, na których zaimplementowano tagi reklam.
Tylko strony, na których wyświetlają się reklamy Google, powinny wysyłać żądania do naszych systemów i być objęte indeksowaniem. - Robot podejmuje próby dostępu do stron, które realizują przekierowanie.
Jeśli „pierwotne strony” przekierowują do innych stron, nasz robot musi uzyskać dostęp do pierwotnych stron, aby ustalić, czy przekierowanie działa. Dlatego w dziennikach dostępu zostaną odnotowane wizyty naszego robota na pierwotnych stronach. - Ponowne indeksowanie witryn
Obecnie nie jesteśmy w stanie kontrolować, jak często nasz robot indeksuje treść w Twojej witrynie. Indeksowanie jest wykonywane automatycznie przez nasze roboty. Jeśli wprowadzisz zmiany na stronie, może upłynąć od 1 do 2 tygodni, zanim zostaną one odzwierciedlone w naszym indeksie.