Informazioni sul crawler di Ad Manager

Un crawler, chiamato anche spider o bot, è un software utilizzato da Google per elaborare e indicizzare i contenuti delle pagine web. Il crawler di Ad Manager visita il tuo sito per determinarne i contenuti e mostrare annunci pertinenti.

Di seguito sono riportate alcune importanti informazioni sul crawler di Ad Manager:

• Il crawler di Ad Manager è diverso da quello di Google. Si tratta di due crawler distinti che però condividono la medesima cache. In questo modo, i crawler non possono richiedere le stesse pagine e i publisher possono mantenere la larghezza di banda. Analogamente, anche il crawler utilizzato da Search Console è diverso.
• I problemi di scansione di Ad Manager risolti non risolvono i problemi di scansione di Google. La risoluzione dei problemi con il crawler di Ad Manager non ha alcun effetto sul posizionamento nei risultati di ricerca di Google. Per maggiori informazioni sul ranking del tuo sito su Google, consulta la pagina su come farti includere nei risultati di ricerca di Google.
• Il crawler effettua l'indicizzazione in base all'URL. Il nostro crawler ha accessi separati per sito.com e www.sito.com, ma non considera sito.com e sito.com/#anchor come singoli URL.
• Il crawler non accede a pagine o directory non consentite da un file robots.txt. Entrambi i crawler dei partner Google e Ad Manager rispettano il file robots.txt. Pertanto, se questo file impedisce l'accesso a determinate pagine o directory, queste non vengono sottoposte a scansione.

  Se pubblichi annunci su pagine bloccate dalla riga User-agent: *, il crawler di Ad Manager eseguirà comunque la scansione di queste pagine. Per impedire al crawler di Ad Manager di accedere alle tue pagine, devi specificare User-agent: Mediapartners-Google nel file robots.txt.

  Scopri di più su come concedere l'accesso del crawler al file robots.txt.

• Il crawler prova ad accedere agli URL solo nei punti in cui sono implementati i nostri tag annuncio. Solo le pagine che mostrano gli annunci Google dovrebbero inviare le richieste ai nostri sistemi ed essere scansionate.
• Il crawler cercherà di accedere alle pagine che effettuano un reindirizzamento. Quando le "pagine originali" rimandano ad altre pagine, il crawler deve accedere alle pagine originali per stabilire se è stato impostato un reindirizzamento. Pertanto, la visita del nostro crawler alle pagine originali verrà visualizzata nei log di accesso.
• Nuova scansione dei siti. Per il momento, non ci è possibile controllare la frequenza con cui i nostri crawler indicizzano i contenuti del tuo sito. La scansione viene eseguita automaticamente dai nostri bot. Se apporti delle modifiche a una pagina, potrebbero trascorrere fino a 1 o 2 settimane prima che siano visibili nel nostro indice.