O alatu za indeksiranje sadržaja

Alat za indeksiranje, poznat i kao pauk ili bot, softver je koji Google upotrebljava za obradu i indeksiranje sadržaja web-stranica. Alat za indeksiranje sadržaja posjećuje web-lokaciju da bi utvrdio sadržaj i omogućio prikaz relevantnih oglasa.

Slijedi nekoliko važnih činjenica o alatu za indeksiranje sadržaja:

• Izvješće alata za indeksiranje ažurira se svaki tjedan.
  Indeksiranje se vrši automatski i ne možemo udovoljiti zahtjevima za češće indeksiranje.
• Alat za indeksiranje sadržaja i Google alat za indeksiranje se razlikuju.
  Ova dva alata funkcioniraju zasebno, ali dijele predmemoriju. To se čini kako alati za indeksiranje ne bi tražili iste stranice, pa izdavači tako zadržavaju propusnost podataka. Isto tako, alat za indeksiranje usluge Search Console funkcionira zasebno.
• Rješavanje problema s alatom za indeksiranje sadržaja neće riješiti probleme s Google indeksiranjem.
  Rješavanje problema navedenih na stranici Pristup alata za indeksiranje ne utječe na položaj u Google rezultatima pretraživanja. Da biste dobili više informacija o položaju web-lokacije u poretku na Googleu, pročitajte AdSense članak o uključivanju u rezultate Google pretraživanja.
• Alat za indeksiranje vrši indeksiranje prema URL-u.
  Naš alat za indeksiranje pristupa web-lokacijama site.com i www.site.com zasebno. No on ne bilježi web-lokacije site.com i site.com/#anchor zasebno.
• Alat za indeksiranje ne pristupa stranicama ili direktorijima koji su zabranjeni u datoteci robots.txt.
  Google i AdMob Mediapartners alati za indeksiranje funkcioniraju u skladu s datotekom robots.txt. Ako datoteka robot.txt zabranjuje pristup određenim stranicama ili direktorijima, oni se neće indeksirati.
  Ako poslužujete oglase na stranicama koje su zabranjene retkom User-agent: *, alat za indeksiranje sadržaja ipak će indeksirati te stranice. Da biste alatu za indeksiranje sadržaja onemogućili pristup stranicama, u datoteku robots.txt trebate umetnuti User-agent: Mediapartners-Google. Saznajte više. 
• Alat za indeksiranje pokušat će pristupiti samo URL-ovima gdje su implementirane naše oglasne oznake.
  Slanje zahtjeva našim sustavima, kao i indeksiranje, moguće je samo sa stranica na kojima se prikazuju Google oglasi.
• Alat za indeksiranje pokušat će pristupiti stranicama koje preusmjeravaju.
  Ako imate originalne stranice koje preusmjeravaju na druge stranice, alat za indeksiranje mora pristupiti originalnim stranicama kako bi utvrdio je li postavljeno preusmjeravanje. Posjet alata za indeksiranje originalnim stranicama stoga se prikazuje u zapisnicima pristupa.
• Ponovno indeksiranje web-lokacija
  Trenutačno ne možemo kontrolirati koliko često naši alati za indeksiranje indeksiraju sadržaj vaše web-lokacije. Pretraživanje i indeksiranje automatski obavljaju naši botovi. Ako izmijenite stranicu, može proći od jednog do dva tjedna prije nego što izmjene budu vidljive u našem indeksu.