Un crawler, anche noto come spider o bot, è il software che viene utilizzato da Google per elaborare e indicizzare i contenuti delle pagine web. Il crawler di AdSense visita il tuo sito per determinarne i contenuti e visualizzare annunci pertinenti.
Di seguito sono riportati alcuni dati importanti sul crawler di AdSense:
- Il rapporto del crawler viene aggiornato settimanalmente.
La scansione viene eseguita automaticamente e non è possibile richiedere una scansione più frequente.
- Il crawler di AdSense è diverso dal crawler di Google.
Si tratta di due crawler distinti che però condividono la medesima cache. Ciò impedisce ai crawler di richiedere le stesse pagine e consente così ai publisher di non perdere larghezza di banda. Analogamente, il crawler degli Strumenti per i Webmaster è distinto.
- La risoluzione dei problemi relativi al crawler di AdSense non risolverà i problemi relativi al crawler di Google.
La risoluzione dei problemi indicati nella pagina Accesso crawler non avrà alcun impatto sul posizionamento dei tuoi annunci nei risultati di ricerca di Google. Per ulteriori informazioni sul posizionamento del tuo sito su Google, consulta la pagina su come essere inclusi nei risultati di ricerca di Google.
- Il crawler effettua l'indicizzazione in base all'URL.
Il nostro crawler accede a site.com e a www.site.com separatamente. Tuttavia, il nostro crawler non considera site.com e www.site.com/#anchor separatamente.
- Il crawler non accede a pagine o directory bloccate da un file robots.txt.
I crawler di Google e di AdSense Mediapartners rispettano il file robots.txt. Se quest'ultimo blocca l'accesso a determinate pagine o directory, di queste non verrà eseguita la scansione.
- Il crawler cercherà di accedere solo agli URL che richiedono gli annunci Google.
Le richieste di scansione dovrebbero essere inviate al nostro sistema solo dalle pagine in cui vengono pubblicati gli annunci Google.
- Il crawler cercherà di accedere alle pagine che effettuano un reindirizzamento.
Quando le "pagine originali" rimandano ad altre pagine, il crawler deve accedere alle pagine originali per stabilire se è stato impostato un reindirizzamento. Pertanto, la visita del nostro crawler alle pagine originali verrà visualizzata nei log di accesso.