El rastreador, también conocido como araña o robot, es el software que usa Google para procesar e indexar el contenido de páginas web. El rastreador de AdSense visita el sitio para determinar su contenido a fin de proporcionar anuncios pertinentes.
A continuación se ofrecen algunos aspectos importantes que se deben saber acerca del rastreador de AdSense:
- El informe del rastreador se actualiza semanalmente.
El rastreo se lleva a cabo de forma automática, y no se aceptan solicitudes para realizarlo con más frecuencia.
- El rastreador de AdSense es distinto del de Google.
Los dos rastreadores son independientes el uno del otro, pero comparten la caché. Lo que buscamos con esto es impedir que los dos soliciten las mismas páginas, con lo que los editores ahorran ancho de banda. El rastreador de Search Console también es independiente.
- La resolución de los problemas de rastreo de AdSense no soluciona los de Google.
Si se resuelven los problemas que se enumeran en la página Acceso del rastreador no se verá afectada la ubicación en los resultados de búsqueda de Google. Para obtener más información sobre el posicionamiento de su sitio web en Google, consulte nuestra entrada sobre cómo puede incluir su sitio web en los resultados de búsqueda de Google.
- El rastreador indexa por URL.
El rastreador accede a sitio.com y a www.sitio.com por separado. Sin embargo, no considera que sitio.com y www.sitio.com/#ancla sean independientes.
- El rastreador no accede a las páginas o a los directorios que se prohíben mediante el archivo robots.txt.
Tanto los rastreadores Mediapartners de Google y de AdSense respetan el archivo robots.txt. Si tu archivo robot.txt prohíbe el acceso a unas páginas o a unos directorios determinados, no se rastrearán.
Nota: Ten en cuenta que si sirves anuncios en páginas que se estén excluyendo automáticamente con la líneaUser-agent: *
, el rastreador de contenido seguirá rastreándolas. Para evitar que acceda a esas páginas, debe especificarUser-agent: Mediapartners-Google
en el archivo robots.txt. - El rastreador únicamente intentará acceder a las URL en las que se hayan implementado nuestras etiquetas de anuncios.
Solo las páginas que muestren anuncios de Google deben enviar solicitudes a nuestros sistemas para que se rastreen.
- El rastreador intentará acceder a las páginas que redireccionen a otras.
Si tiene "páginas originales" que redireccionan a otras, el rastreador debe acceder a las originales para determinar que se efectúa el redireccionamiento. Por lo tanto, en tus registros de acceso aparecerá la visita del rastreador a las páginas originales.
- No se puede controlar la frecuencia con la que el rastreador indexa el contenido de tu sitio.
En estos momentos, no es posible volver a rastrear manualmente ningún sitio. El rastreo se realiza automáticamente mediante nuestros robots. Si haces cambios en una página, pueden transcurrir de una a dos semanas antes de que queden reflejados en nuestro índice.