Robot indeksujący

Robot, nazywany również pająkiem lub botem, to program, za którego pomocą Google przetwarza i indeksuje zawartość stron internetowych. Robot indeksujący analizuje witrynę, aby określić jej zawartość, co jest potrzebne do wyświetlania trafnych reklam.

Co warto wiedzieć o robocie indeksującym:

• Raport robota jest aktualizowany co tydzień.
  Indeksowanie jest automatyczne. Nie możemy wykonywać indeksowania częściej na prośbę wydawców.
• Robot indeksujący różni się od robota Google.
  Te 2 roboty funkcjonują niezależnie, ale korzystają ze wspólnej pamięci podręcznej. Wprowadziliśmy taki podział, aby uniknąć sytuacji, w której oba roboty przeglądają te same strony. Dzięki temu oszczędzamy przepustowość Twoich łączy. Robot Search Console też jest osobnym programem.
• Rozwiązywanie problemów z robotem indeksującym pozostaje bez związku z problemami występującymi w przypadku robota Google.
  Rozwiązanie problemów wymienionych na stronie „Dostęp dla robota” nie będzie miało wpływu na pozycję witryny w wynikach wyszukiwania Google.
  Uwaga: aby dowiedzieć się więcej o klasyfikowaniu witryny w Google, przeczytaj artykuł na temat dołączania witryny do wyników wyszukiwania Google.
• Robot wykonuje indeksowanie według adresu URL.
  Na przykład nasz robot będzie osobno uzyskiwał dostęp do stron „site.com” i „www.site.com”. Nasz robot nie będzie jednak osobno zliczał stron „site.com” i „site.com/#anchor”.
• Robot nie uzyska dostępu do stron i katalogów, których użycia zabroniono w pliku robots.txt.
  Roboty Google i AdMob Mediapartners obsługują plik robots.txt. Jeśli plik robot.txt zabrania dostępu do określonych stron lub katalogów, nie będą one indeksowane.
  Uwaga: jeśli wyświetlasz reklamy na stronach zablokowanych za pomocą wiersza User-agent: *, robot indeksujący będzie je mimo wszystko indeksował. Jeśli nie chcesz, aby robot indeksował Twoje strony, umieść w pliku robots.txt wiersz User-agent: Mediapartners-Google.

  Dowiedz się więcej o przyznawaniu robotowi dostępu do stron.
• Robot będzie próbował uzyskać dostęp tylko do adresów URL stron, na których zaimplementowano tagi reklam.
  Tylko strony, na których wyświetlają się reklamy Google, powinny wysyłać żądania do naszych systemów i być objęte indeksowaniem.
• Robot podejmuje próby dostępu do stron, które realizują przekierowanie.
  Jeśli „oryginalne strony” przekierowują do innych stron, nasz robot musi uzyskać dostęp do oryginalnych stron, aby ustalić, czy przekierowanie działa. Dlatego w dziennikach dostępu zostaną odnotowane wizyty naszego robota na pierwotnych stronach.
• Nie ma możliwości kontrolowania tego, jak często nasze roboty indeksują treści w Twojej witrynie.
  Obecnie indeksowanie jest wykonywane automatycznie przez nasze boty. Jeśli wprowadzisz zmiany na stronie, może upłynąć od 1 do 2 tygodni, zanim zostaną one odzwierciedlone w naszym indeksie.