Il crawler, chiamato anche spider o bot, è il software utilizzato da Google per elaborare e indicizzare i contenuti delle pagine web. Il crawler di AdSense visita il tuo sito per determinarne i contenuti al fine di pubblicarvi annunci pertinenti.
Di seguito sono riportate alcune importanti informazioni sul crawler di AdSense:
- Il report del crawler viene aggiornato settimanalmente.
La scansione viene eseguita automaticamente e non è possibile aumentarne la frequenza.
- Il crawler di AdSense è diverso dal crawler di Google.
Si tratta di due crawler distinti che però condividono la medesima cache. In questo modo, non possono richiedere le stesse pagine e i publisher possono mantenere larghezza di banda. Il crawler utilizzato da Search Console è anch'esso diverso.
- La risoluzione dei problemi relativi al crawler di AdSense non risolverà i problemi relativi al crawler di Google.
La risoluzione dei problemi indicati nella pagina Accesso del crawler non avrà alcun impatto sul posizionamento dei tuoi annunci nei risultati di ricerca di Google. Per ulteriori informazioni sul ranking del sito su Google, consulta la pagina sull'inclusione del sito nei risultati di ricerca di Google.
- Il crawler effettua l'indicizzazione in base all'URL.
Il nostro crawler accede a site.com e a www.site.com separatamente. Tuttavia, non calcola separatamente site.com e site.com/#anchor.
- Il crawler non accede a pagine o directory bloccate da un file robots.txt.
I crawler di Google e di AdSense Mediapartners rispettano il file robots.txt. Se questo file impedisce l'accesso a determinate pagine o directory, queste non vengono sottoposte a scansione.
Nota: se pubblichi annunci su pagine bloccate dalla rigaUser agent: *
, il crawler di AdSense eseguirà comunque la scansione di queste pagine. Per impedire al crawler di AdSense di accedere alle tue pagine, devi specificareUser-agent: Mediapartners-Google
nel file robots.txt. - Il crawler prova ad accedere agli URL solo nei punti in cui sono implementati i nostri tag annuncio.
Solo le pagine che pubblicano gli annunci Google devono inviare richieste ai nostri sistemi ed essere sottoposte a scansione.
- Il crawler cercherà di accedere alle pagine che effettuano un reindirizzamento.
Quando le "pagine originali" rimandano ad altre pagine, il crawler deve accedere alle pagine originali per verificare il funzionamento del reindirizzamento. Pertanto, questa visita verrà registrata nei log di accesso.
- Non hai il controllo sulla frequenza con cui il crawler indicizza i contenuti del tuo sito.
Al momento, non abbiamo alcun controllo sulla nuova scansione dei siti. La scansione viene eseguita automaticamente dai nostri bot. Se modifichi una pagina, potrebbero trascorrere fino a 1 o 2 settimane prima che le modifiche vengano acquisite nel nostro indice.