Despre crawlerul de anunțuri AdSense

Un crawler, denumit și program spider sau aplicație bot, este un software folosit de Google pentru a procesa și a indexa conținutul paginilor web. Crawlerul AdSense, numit Mediapartners-Google, accesează site-ul dvs. pentru a stabili conținutul acestuia cu scopul de a afișa anunțuri relevante.

Iată câteva informații importante de reținut despre crawlerul AdSense.

• Raportul crawlerului este actualizat săptămânal.

  Accesarea cu crawlere este automată și nu putem da curs solicitărilor de accesare mai frecventă cu crawlere.

• Crawlerul AdSense este diferit de crawlerul Google.

  Cele două crawlere sunt separate, dar folosesc aceeași memorie cache. Procedăm astfel pentru a împiedica solicitarea acelorași pagini de ambele crawlere, ajutând în acest fel editorii să își protejeze lățimea de bandă. În plus, și crawlerul Search Console este separat.

  Notă: AdSense folosește și un crawler numit Google-Display-Ads-Bot pentru a confirma site-ul atunci când adăugați un site în AdSense.
• Rezolvarea problemelor de accesare cu crawlerul AdSense nu înseamnă rezolvarea problemelor de accesare cu crawlerul Google.

  Rezolvarea problemelor afișate în pagina Acces crawler nu va influența destinația de plasare din rezultatele căutării Google. Pentru a obține mai multe informații despre poziționarea site-ului dvs. pe Google, consultați informațiile noastre despre includerea în rezultatele căutării Google.

• Crawlerul efectuează indexări în funcție de adresa URL.

  Crawlerul nostru va accesa site.com şi www.site.com separat. Cu toate acestea, crawlerul nu va înregistra separat site.com și site.com/#anchor.

• Crawlerul nu va accesa paginile sau directoarele interzise printr-un fișier robots.txt.

  Crawlerele Google, AdSense Mediapartners-Google și Google-Display-Ads-Bot țin cont de fișierul robots.txt. Dacă fișierul robots.txt interzice accesul la anumite pagini sau directoare, atunci acestea nu vor fi accesate cu crawlere.

  Rețineți: dacă difuzați anunțuri în pagini care includ rândul User-agent: *, crawlerul de conținut va accesa totuși aceste pagini. Pentru a împiedica accesarea paginilor dvs. de către crawlerul AdSense, trebuie să includeți următoarele informații în fișierul robots.txt:

  User-agent: Mediapartners-Google

  User-agent: Google-Display-Ads-Bot

• Crawlerul încearcă să acceseze adrese URL doar acolo unde sunt implementate etichetele noastre publicitare.

  Numai paginile care afișează anunțuri Google trebuie să trimită solicitări către sistemele noastre și să fie accesate cu crawlere.

• Crawlerul încearcă să acceseze paginile care redirecționează.

  Când aveți „pagini inițiale” care redirecționează spre alte pagini, crawlerul nostru trebuie să acceseze paginile originale pentru a afla dacă are loc o redirecționare. Prin urmare, accesarea de crawler a paginilor inițiale apare în jurnalele de acces.

• Nu există control asupra frecvenței cu care crawlerul va indexa conținutul site-ului dvs.

  În acest moment, nu avem control asupra reaccesării cu crawlere a site-urilor. Accesarea cu crawlere este făcută automat de roboții noștri. Dacă modificați o pagină, reflectarea modificărilor în indexul nostru ar putea dura până la 1 – 2 săptămâni.