Un rastrejador, també anomenat aranya o bot, és el programari que Google fa servir per processar i indexar el contingut de les pàgines web. El rastrejador d'AdSense, anomenat Mediapartners-Google, visita el vostre lloc web per determinar-ne el contingut i oferir-vos anuncis rellevants.
A continuació teniu alguns aspectes importants que cal saber sobre el rastrejador d'AdSense:
- L'informe del rastrejador s'actualitza setmanalment.
El rastreig es fa automàticament i no podem respondre a les sol·licituds de rastreig més freqüents.
- El rastrejador d'AdSense és diferent del rastrejador de Google.
Els dos rastrejadors són independents, però comparteixen una memòria cau. Ho fem per evitar que tots dos rastrejadors sol·licitin les mateixes pàgines i, per tant, ajudin els editors a conservar la seva amplada de banda. De la mateixa manera, el rastrejador de Search Console és independent.
Nota: AdSense també utilitza un rastrejador anomenat Google-Display-Ads-Bot per verificar el vostre lloc web quan afegiu un lloc web a AdSense. - Resoldre els problemes de rastreig d'AdSense no resoldrà els problemes relacionats amb el rastreig de Google.
Resoldre els problemes que s'indiquen a la pàgina Accés del rastrejador no afecta el vostre emplaçament als resultats de cerca de Google. Per obtenir més informació sobre la classificació del vostre lloc web a Google, reviseu l'entrada sobre com aconseguir la inclusió als resultats de cerca de Google.
- El rastrejador indexa per URL.
El nostre rastrejador accedirà a lloc.com i a www.lloc.com per separat. Tanmateix, el nostre rastrejador no comptarà site.com i site.com/#anchor per separat.
- El rastrejador no accedirà a pàgines ni a directoris prohibits per un fitxer robots.txt.
Els rastrejadors de Google, AdSense Mediapartners-Google i Google-Display-Ads-Bot respecten el vostre fitxer robots.txt. Si el fitxer robots.txt prohibeix l'accés a pàgines o directoris concrets, no es rastrejaran.
Nota: si difoneu anuncis en pàgines robotitzades amb la líniaUser-agent: *
, el rastrejador d'AdSense les rastrejarà. Per evitar que el rastrejador d'AdSense accedeixi a les vostres pàgines, heu d'incloure la informació següent al fitxer robots.txt:Agent d'usuari: MediaPartners-Google
Agent d'usuari: Google-Display-Ads-Bot
- El rastrejador prova d'accedir als URL només en què s'hagin implementat les etiquetes d'anunci.
Només les pàgines que mostren anuncis de Google han d'enviar sol·licituds als nostres sistemes i estar rastrejades.
- El rastrejador intenta accedir a les pàgines que redirigeixen.
Si teniu "pàgines originals" que redirigeixen a altres pàgines, el nostre rastrejador ha d'accedir a les pàgines originals per determinar que hi ha una redirecció. Per tant, la visita del rastrejador a les pàgines originals es mostra als registres d'accés.
- No hi ha cap control sobre la freqüència amb què el rastrejador indexarà el contingut del lloc.
En aquests moments, no és possible tornar a rastrejar els llocs web. Els nostres bots fan el rastreig de manera automàtica. Si feu canvis en una pàgina, poden passar fins a una o dues setmanes fins que els canvis no es reflecteixin al nostre índex.