Un rastreador, también conocido como araña o bot, es el software que Google utiliza para procesar y, luego, indexar el contenido de las páginas web. El rastreador de AdSense, llamado Mediapartners-Google, visita tu sitio para determinar su contenido para proporcionar anuncios relevantes.
A continuación, ofrecemos algunos puntos importantes que debe conocer sobre el rastreador de AdSense:
- El informe del rastreador se actualiza semanalmente
El rastreo se realiza automáticamente, y no podemos aceptar solicitudes para efectuar un rastreo más frecuente.
- El rastreador de AdSense es diferente del rastreador de Google
Los dos rastreadores son independientes, pero comparten una caché. Esto sirve para evitar que ambos rastreadores soliciten las mismas páginas y así ayudemos a los publicadores a conservar su ancho de banda. De la misma manera, el rastreador de Search Console es independiente.
Nota: AdSense también usa un rastreador llamado Google-Display-Ads-Bot para verificar tu sitio cuando agregas un sitio a AdSense. - Resolver problemas con el rastreo de AdSense no resolverá los problemas del rastreador de Google
La solución de los problemas que se indican en la página Acceso del rastreador no tendrá ningún impacto en su posición en los resultados de la Búsqueda de Google. Si desea obtener más información sobre la clasificación de su sitio en Google, consulte nuestra entrada sobre cómo incluir su sitio en los resultados de la Búsqueda de Google.
- El rastreador indexa contenido según la URL
Nuestro rastreador accederá a sitio.com y www.sitio.com por separado. Sin embargo, nuestro rastreador no registrará sitio.com ni sitio.com/#ancla de forma separada.
- El rastreador no accederá a las páginas ni a los directorios que se prohíban en un archivo robots.txt
Los rastreadores de Google y los rastreadores de AdSense Mediapartners-Google y Google-Display-Ads-Bot respetan tu archivo robots.txt. Si su archivo robots.txt prohíbe el acceso a determinadas páginas o directorios, estos no se rastrearán.
Nota: Si publica anuncios en páginas que nuestro robot rastrea con la líneaUser-agent: *
, el rastreador de AdSense seguirá rastreando esas páginas. Para evitar que el rastreador de AdSense acceda a tus páginas, debes incluir lo siguiente en tu archivo robots.txt:User-agent: Mediapartners-Google
User-agent: Google-Display-Ads-Bot
- El rastreador intentará acceder solo a las URLs donde estén implementadas nuestras etiquetas de anuncios
Solo las páginas que muestran anuncios de Google deben enviar solicitudes a nuestros sistemas para que se rastreen.
- El rastreador intentará acceder a las páginas que redireccionan a otras
Si tiene "páginas originales" que redireccionan a otras páginas, nuestro rastreador debe acceder a las originales para determinar si se realiza un redireccionamiento. Por lo tanto, en sus registros de acceso aparecerá la visita del nuestro rastreador a las páginas originales.
- No es posible controlar la frecuencia con la que el rastreador indexará el contenido de su sitio.
En este momento, no podemos controlar qué sitios se vuelven a rastrear. Nuestros bots hacen el rastreo automáticamente. Si realiza cambios en una página, estos pueden demorar de 1 a 2 semanas en aparecer en nuestro índice.