Acerca del rastreador de contenido

El rastreador, también conocido como araña o robot, es el software que usa Google para procesar e indexar el contenido de páginas web. El rastreador de contenido visita tu sitio para analizar su contenido y ofrecer anuncios relevantes.

Datos importantes sobre el rastreador de contenido:

• El informe del rastreador se actualiza semanalmente.
  El rastreo se lleva a cabo de forma automática y no podemos aceptar solicitudes para realizarlo con más frecuencia.
• El rastreador de contenido es distinto del de Google.
  Los dos rastreadores son independientes el uno del otro, pero comparten la caché. Lo que buscamos con esto es impedir que los dos soliciten las mismas páginas, con lo que los editores ahorran ancho de banda. El rastreador de Search Console también es diferente.
• Solucionar los problemas de los rastreadores de contenido no soluciona los del rastreador de Google.
  La resolución de los problemas enumerados en la página Acceso del rastreador no hará que varíe tu posición en los resultados de búsqueda de Google. Para obtener más información sobre el posicionamiento de su sitio en Google, consulta el artículo de AdSense sobre cómo aparecer en los resultados de búsqueda de Google.
• El rastreador indexa por URL.
  Nuestro rastreador accede a sitio.com y www.sitio.com por separado. Sin embargo, no considera que sitio.com y www.sitio.com/#ancla sean independientes.
• El rastreador no accede a las páginas ni a los directorios que se prohíben mediante el archivo robots.txt.
  Los rastreadores Mediapartners de Google y de AdMob respetan el archivo robots.txt. Si tu archivo robot.txt prohíbe el acceso a unas páginas o a unos directorios determinados, no se rastrearán.
  Ten en cuenta que si sirves anuncios en páginas que se estén excluyendo automáticamente con la línea User-agent: *, el rastreador de contenido seguirá rastreándolas. Para evitar que acceda a esas páginas, debes especificar User-agent: Mediapartners-Google en el archivo robots.txt. Más información 
• El rastreador únicamente intentará acceder a las URLs en las que se hayan implementado nuestras etiquetas de anuncios.
  Solo las páginas en las que se muestren anuncios de Google deben enviar solicitudes a nuestros sistemas para que se rastreen.
• El rastreador intentará acceder a las páginas que redireccionan a otras.
  Si tienes páginas originales que redirijan a otras, nuestro rastreador deberá acceder a ellas para determinar que se efectúa la redirección. Por lo tanto, en tus registros de acceso aparecerá la visita del rastreador a las páginas originales.
• Volver a rastrear sitios web
  En estos momentos, no podemos controlar la frecuencia con la que nuestros rastreadores indexan el contenido de tu sitio. El rastreo se realiza automáticamente mediante nuestros robots. Si haces cambios en una página, pueden transcurrir de una a dos semanas antes de que queden reflejados en nuestro índice.