Despre crawlerul de conținut

Un crawler, denumit și program spider sau aplicație bot, este un software folosit de Google pentru a procesa și a indexa conținutul paginilor web. Crawlerul de conținut accesează site-ul dvs. pentru a determina conținutul acestuia cu scopul de a afișa anunțuri relevante.

Mai jos, puteți consulta câteva informații importante de reținut despre crawlerul de conținut.

• Raportul crawlerului este actualizat săptămânal.
  Accesarea cu crawlere este efectuată automat și nu putem accepta solicitările privind sporirea frecvenței de accesare cu crawlere.
• Crawlerul de conținut este diferit de crawlerul Google.
  Cele două crawlere sunt separate, dar folosesc aceeași memorie cache. Procedăm astfel pentru a împiedica solicitarea acelorași pagini de ambele crawlere, ajutând în acest fel editorii să își protejeze lățimea de bandă. În plus, și crawlerul Search Console este separat.
• Remedierea problemelor privind crawlerul de conținut nu va remedia problemele de accesare cu crawlerul Google.
  Remedierea problemelor afișate în pagina „Acces crawler” nu va influența destinația de plasare din cadrul rezultatelor căutării Google. Pentru informații suplimentare despre poziționarea site-ului dvs. pe Google, consultați articolul AdSense despre includerea în rezultatele căutării Google.
• Crawlerul indexează în funcție de adresa URL.
  Crawlerul Google va accesa site.com și www.site.com separat. Cu toate acestea, crawlerul nu va înregistra separat site.com și site.com/#anchor.
• Crawlerul nu va accesa paginile sau directoarele interzise printr-un fișier robots.txt.
  Crawlerele Google și AdMob Mediapartners țin cont de fișierul robots.txt. Dacă fișierul robots.txt interzice accesul la anumite pagini sau directoare, atunci acestea nu vor fi accesate cu crawlere.
  Rețineți că, dacă difuzați anunțuri în pagini care includ rândul User-agent: *, crawlerul de conținut va accesa totuși aceste pagini. Pentru a nu permite crawlerului de conținut să vă acceseze paginile, trebuie să includeți User-agent: Mediapartners-Google în fișierul robots.txt. Aflați mai multe. 
• Crawlerul va încerca să acceseze adrese URL doar acolo unde sunt implementate etichetele noastre publicitare.
  Numai paginile care afișează anunțuri Google trebuie să trimită solicitări către sistemele noastre și să fie accesate cu crawlere.
• Crawlerul va încerca să acceseze paginile care fac redirecționări.
  Când aveți „pagini inițiale” care redirecționează spre alte pagini, crawlerul nostru trebuie să acceseze paginile inițiale pentru a afla dacă are loc o redirecționare. Prin urmare, accesarea de către crawler a paginilor inițiale va apărea în jurnalele de acces.
• Repetarea accesării cu crawlere a site-urilor
  Momentan, nu putem controla frecvența cu care crawlerele noastre indexează conținutul site-ului dvs. Accesarea cu crawlere este făcută automat de roboții noștri. Dacă modificați o pagină, reflectarea modificărilor în indexul nostru ar putea dura până la 1 – 2 săptămâni.