Informazioni sul crawler dei contenuti

Il crawler, chiamato anche spider o bot, è il software utilizzato da Google per elaborare e indicizzare i contenuti delle pagine web. Il crawler dei contenuti visita il tuo sito per determinarne i contenuti al fine di pubblicarvi annunci pertinenti.

Di seguito sono riportate alcune importanti informazioni sul crawler dei contenuti:

• Il report del crawler viene aggiornato settimanalmente.
  La scansione viene eseguita automaticamente e non è possibile aumentarne la frequenza.
• Il crawler dei contenuti è diverso dal crawler di Google.
  Si tratta di due crawler distinti che però condividono la medesima cache. In questo modo, questi non possono richiedere le stesse pagine e i publisher possono mantenere larghezza di banda. Il crawler utilizzato da Search Console è anch'esso diverso.
• La risoluzione dei problemi relativi al crawler dei contenuti non risolverà i problemi relativi al crawler di Google.
  La risoluzione dei problemi indicati nella pagina Accesso crawler non avrà alcun impatto sul posizionamento dei tuoi annunci nei risultati di ricerca di Google. Per scoprire di più sul ranking del sito su Google, consulta l'articolo di AdSense sull'inclusione nei risultati di ricerca di Google.
• Il crawler effettua l'indicizzazione in base all'URL.
  Il nostro crawler accede a site.com e a www.site.com separatamente. Tuttavia, non calcola separatamente site.com e site.com/#anchor.
• Il crawler non accede a pagine o directory bloccate da un file robots.txt.
  Entrambi i crawler Mediapartners Google e AdMob rispettano il file robots.txt. Se questo file impedisce l'accesso a determinate pagine o directory, queste non vengono sottoposte a scansione.
  Se pubblichi annunci su pagine bloccate dalla riga User agent: *, il crawler dei contenuti eseguirà comunque la scansione di tali pagine. Per impedire al crawler di AdSense di accedere alle tue pagine, devi specificare User agent: Mediapartners-Google nel file robots.txt. Scopri di più. 
• Il crawler prova ad accedere agli URL solo nei punti in cui sono implementati i nostri tag annuncio.
  Solo le pagine che pubblicano gli annunci Google devono inviare richieste ai nostri sistemi ed essere sottoposte a scansione.
• Il crawler cercherà di accedere alle pagine che effettuano un reindirizzamento.
  Quando le "pagine originali" rimandano ad altre pagine, il crawler deve accedere alle pagine originali per verificare il funzionamento del reindirizzamento. Pertanto, questa visita verrà registrata nei log di accesso.
• Nuova scansione dei siti
  Al momento non è possibile controllare la frequenza con cui i nostri crawler indicizzano i contenuti del tuo sito. La scansione viene eseguita automaticamente dai nostri bot. Se modifichi una pagina, potrebbero trascorrere fino a 1 o 2 settimane prima che le modifiche vengano acquisite nel nostro indice.