Acerca del rastreador de Ad Manager

Un rastreador, también conocido como araña o bot, es el software que utiliza Google para procesar e indexar el contenido de las páginas web. El rastreador de Ad Manager visita tu sitio para determinar su contenido y brindar anuncios relevantes.

Estos son algunos puntos importantes que debes conocer sobre el rastreador de Ad Manager:

• El rastreador de Ad Manager es diferente al de Google. Los dos rastreadores son independientes, pero comparten una caché. Esto sirve para evitar que ambos soliciten las mismas páginas y ayudar a los publicadores a conservar su ancho de banda. De la misma manera, el rastreador de Search Console también es independiente.
• Los problemas resueltos del rastreador de Ad Manager no solucionan los inconvenientes con el rastreador de Google. Cuando resuelves problemas con el rastreador de Ad Manager, no se ve afectada tu posición dentro de los resultados de la Búsqueda de Google. Para obtener más información sobre la clasificación de tu sitio en Google, consulta nuestra entrada sobre cómo lograr aparecer en los resultados de la Búsqueda de Google.
• El rastreador indexa contenido según la URL. Nuestro rastreador obtiene acceso a site.com y www.site.com por separado. Sin embargo, no cuenta site.com ni site.com/#anchor como URL individuales.
• El rastreador no accede a páginas ni directorios que haya prohibido un archivo robots.txt. Los rastreadores de los socios de Google y Ad Manager respetan las indicaciones del archivo robots.txt. Por lo tanto, si el archivo robot.txt prohíbe el acceso a determinadas páginas o directorios, estos no se rastrean.

  Si publicas anuncios en páginas que se prohíben con la línea User-agent: *, el rastreador de Ad Manager igualmente las incluiría en su proceso. Para evitar que el rastreador de Ad Manager acceda a tus páginas, debes especificar User-agent: Mediapartners-Google en tu archivo robots.txt.

  Obtén más información sobre cómo proporcionar acceso del rastreador en tu archivo robots.txt.

• El rastreador intentará acceder a las URLs solo donde estén implementadas nuestras etiquetas de anuncios. Solo las páginas que muestran anuncios de Google deben enviar solicitudes a nuestros sistemas y se deben rastrear.
• El rastreador intentará acceder a las páginas que hacen redireccionamientos. Cuando tienes "páginas originales" que redireccionan a otras páginas, nuestro rastreador debe acceder a las originales para determinar si hay redireccionamientos activos. Por lo tanto, aparece la visita del rastreador a las páginas originales en tus registros de acceso.
• Se vuelven a rastrear los sitios. En este momento, no podemos controlar con qué frecuencia nuestros rastreadores indexan el contenido de tu sitio. Nuestros bots son los encargados de hacer el rastreo automáticamente. Si haces cambios en una página, estos pueden demorar hasta 1 o 2 semanas en aparecer en nuestro índice.