/webmasters/community?hl=es
Es probable que este contenido ya no sea relevante. Prueba a buscar o explorar las preguntas recientes.
-
1/4/19
Sitemaps y encabezados X-Robots-Tag 0 respuestas recomendadas 23 respuestas 1 Yo también
1 respuesta recomendada
$0 respuestas recomendadas
Última modificación: 3/4/19
Buenas gente del foro!
La cosa es que hace más de una semana estoy tratando de indexar SIN éxito el sitemap de mi sitio al Search Console (sitemap generado por Yoast Seo). Después de inspeccionar la URL para ver detalles, el informe me arroja que no es indexable debido a una etiqueta "noindex"en el encabezado HTTP como pueden observar en la imagen adjunta. 
Ya realicé los siguientes ítems:
  • Hice la comprobación en el Search Console y el sitio no se encuentra bloqueado por robots.txt
  • Revise la configuración del Yoast Seo y tanto el sitio en general como las páginas y post publicados se encuentran en "index", (salvo las taxonomías que prefiero no indexarlas.)
  • Revisé el código fuente de la página y no encontré nada raro, pero después leí en otro foro que éstos encabezados por defecto tampoco se muestran en el código fuente entonces...
  • Accedí al archivo .htaccess de mi servidor (es LiteSpeed no Apache) y no encontré ninguna línea de código donde aparezca este encabezado.
  • Analicé el sitio utilizando ScreamingFrog para encontrar más detalles y tampoco me aparece ninguna X-Robot Tag en ese apartado.
Realmente ya no se qué hacer, no sé cómo puedo localizar esta etiqueta para poder modificarla/eliminarla y poder finalmente indexar mi sitio. ¿Alguna ayuda? No soy webmaster y todo esto me está costando bastante.
Gracias de antemano.
Saludos


Todas las respuestas (23)
1/4/19
Hola Rouselin
 
Antes que nada, sólo comentar, que estás en un error común al establecer el mismo nivel semántico entre rastreo e indexación.
 
Una directiva X-Robots-Tag simplemente le envía una orden al motor de búsqueda para que no incluya el archivo—en este caso, el sitemap.xml—en el índice; pero nada dice que Google no vaya a rastrear el archivo y, por supuesto, las URLs que están declaradas en él.
 
Te dejo un enlace al artículo la Ayuda de Google, Metaetiquetas que Google entiende.
 
Yo, personalmente, incluyo esa directiva en muchos de mis sitios para evitar que Google incluya al Sitemap en el índice y eso no evita el normal rastreo de Googlebot; menos aún interfiere con la normal clasificación del sitio.
 
Mi recomendación es que sí hagas un seguimiento de las URLs de tu sitio en Search Console → Indice → Cobertura. Ya que dichas páginas son las calificarán en las búsquedas.
 
Saludos!
 
la ha marcado como respuesta
¿Ha sido útil?
-
1/4/19
Buen día Daniel gracias por tu respuesta.
Disculpa quizás no fui clara, comprendo la diferencia entre rastreo e indexación, de hecho el mismo informe del Search Console me dice que mi sitio puede ser rastreado pero no indexado, también había visto ese artículo y todos los relacionados con las metaetiquetas.
Mi problema se centra en el hecho de que quiero que mi sitio se indexe para que pueda aparecer en los resultados de búsqueda de Google (actualmente no aparece ni una sola URL) y asumo que mientras estén esas directivas X-Robots-Tag en los encabezados HTTP (que no logro localizar) no va a poder ser indexado al margen de que sí puede ser rastreado por los motores.
Entonces, ¿Cómo puedo localizar éstas directivas en los encabezados y modificarlas para que finalmente mi sitemap pueda ser indexado y aparezca mi sitio en los resultados de búsqueda?

"Mi recomendación es que sí hagas un seguimiento de las URLs de tu sitio en Search Console → Indice → Cobertura. Ya que dichas páginas son las calificarán en las búsquedas."

No puedo hacer tal cosa ya que actualmente no aparece ningún dato en éste apartado.

Quedo atenta.

Saludos!
la ha marcado como respuesta
¿Ha sido útil?
1/4/19
Mi problema se centra en el hecho de que quiero que mi sitio se indexe para que pueda aparecer en los resultados de búsqueda de Google (actualmente no aparece ni una sola URL) y asumo que mientras estén esas directivas X-Robots-Tag en los encabezados HTTP (que no logro localizar) no va a poder ser indexado al margen de que sí puede ser rastreado por los motores.
 
Como te he dicho en mi anterior, tales directivas no afectan a tu sitio; sólo a ese archivo y eso no resulta en una barrera de rastreo menos aún de indexación.
 
En tu lugar removería tales directivas desde el archivo .htaccess; pero, claro, ya has visto ahí y no encuentra nada.
 
Mi recomendación es que desactives la generación del sitemap desde el actual plugin y le requieras la generación a cualquier otro plugin. Yo me siento muy cómodo utilizando el plugin Google XML Sitemaps de Arne Brachhold.
 
Tras esto eliminaría el sitemap desde Search Console e incluiría el nuevo. Si a pesar de todo tu cobertura no mejora con gusto le puedo dar una mirada a tu sitio. No olvides compartir la URL que resulta de utilizar un acortador como Bit.ly
 
la ha marcado como respuesta
¿Ha sido útil?
-
1/4/19
"Como te he dicho en mi anterior, tales directivas no afectan a tu sitio; sólo a ese archivo y eso no resulta en una barrera de rastreo menos aún de indexación."

Entiendo, pero mi idea no es que pasen meses hasta que Google detecte mi sitio y lo incluya en los resultados de búsqueda, por eso justamente había mandado el sitemap. Actualmente si hago un "site: misitio.com", como te comentaba no aparece una sola URL indexada, entonces ¿en qué momento se produce esa indexación? 

"En tu lugar removería tales directivas desde el archivo .htaccess; pero, claro, ya has visto ahí y no encuentra nada."

Por lo que leí esta opción está disponible para servidores Apache, y el mío es LiteSpeed, quizás por eso tampoco encontré nada allí. A pesar de todo estaba pensando en incluir una regla en el archivo .htaccess para ver si se indexa finalmente pero no se si será buena idea. https://blog.litespeedtech.com/2017/07/26/wpw-rewrite-rules-in-the-proper-order/

"Mi recomendación es que desactives la generación del sitemap desde el actual plugin y le requieras la generación a cualquier otro plugin. Yo me siento muy cómodo utilizando el plugin Google XML Sitemaps de Arne Brachhold."

Estaba pensando en esa opción ya que también me comuniqué con el soporte Yoast Seo y todavía no me dieron respuestas.

Por lo que leí es un problema que está pasando bastante últimamente y no hay respuestas claras, así que si logro solucionarlo lo publicaré en este hilo para que pueda servirle a alguien más. 

Saludos
la ha marcado como respuesta
¿Ha sido útil?
1/4/19
Hola Rouselin

Google rastreará tu sitio con independencia del archivo sitemap.xml y de las directivas que sobre el mismo existan.

El rastreo en tu sitio es llevado a cabo periódicamente según la frecuencia de rastreo asignada. En un sitio nuevo, es natural que esta frecuencia sea muy baja.

En un sitio donde recientemente se ha llevado a cabo la verificación de la propiedad las señales desde Search Console son mínimas, especialmente que esta herramienta no trabaja en tiempo real.

Espero tus comentarios.
la ha marcado como respuesta
¿Ha sido útil?
-
1/4/19
"Google rastreará tu sitio con independencia del archivo sitemap.xml y de las directivas que sobre el mismo existan. "
Estamos de acuerdo pero ¿en qué momento las páginas aparece en los resultados de búsqueda, es decir se indexan? Hoy no lo hace y entiendo que puede pasar un largo tiempo hasta que eso suceda porque es un sitio nuevo y sin autoridad, por eso envié el sitemap para acelerar el proceso y que aparezca en los resultados desde ahora y es éste el fin último de la cuestión; aparecer en los resultados de búsqueda desde ya, no de acá a meses. Además necesito tener informes en el Search Console y actualmente me es imposible así.
la ha marcado como respuesta
¿Ha sido útil?
1/4/19
Hola Rouselin

Ningún sitio web demora meses en ser incorporado al índice. Comparto tu preocupación y sólo quiero llevarte tranquilidad. De hecho el mensaje inicial que has recibido dice:

¿Se permite el rastreo? → Sí

Esta señal es clara: Google está rastreando tu sitio.

Luego de iniciado el proceso, las URLs se van incorporando al índice para finalmente competir en los resultados de búsqueda.

Que el archivo sitemap.xml esté excluído del índice no implica que la URLs obtenidas también lo sean

Tu sitio responderá en cualquier momento a las consultas que lleves a cabo con el operador SITE
la ha marcado como respuesta
¿Ha sido útil?
-
1/4/19
Dejando de lado el sitemap, es raro lo que está pasando porque inspeccioné una por una las URL's y encontré tres que tienen el siguiente problema; se encuentran excluídas por la metaetiqueta "robots" como muestra la imagen adjunta, entonces procedo a mirar el código fuente de cada una de ellas y NO figura tal directiva en el archivo HTML en ninguna de éstas páginas, y es aquí donde sí entro a preocuparme porque ya no hablo del sitemap en particular sino de URL's específicas que no aparecerán en los resultados ni ahora ni después (si no entiendo mal.)
Y es la historia de nunca acabar porque no puedo localizar donde se encuentran estas directivas para poder eliminarlas.
De todas formas solicité la indexación de las "URL's problemáticas" a ver qué pasa...
la ha marcado como respuesta
¿Ha sido útil?
1/4/19
Y es la historia de nunca acabar porque no puedo localizar donde se encuentran estas directivas para poder eliminarlas.
 
Como te dije en mi anterior:
 
Si a pesar de todo tu cobertura no mejora con gusto le puedo dar una mirada a tu sitio. No olvides compartir la URL que resulta de utilizar un acortador como Bit.ly
 
Con mucho gusto, puedo mirar tu sitio.
Saludos!
la ha marcado como respuesta
¿Ha sido útil?
-
11/4/19
Hola Pete
Logré validar algunas URL's enviándolas manualmente, pero todavía no logro resolver lo del sitemap, tal vez deberías probar el plugin que recomienda Daniel, yo aun no lo hice porque todavía no está actualizado a mi versión de WordPress y quería evitar más problemas, pero lo haré más adelante.
También puedes probar escribir al soporte de Yoast (foro en inglés), pero tardan muchísimo en responderte.
Lamento no poder decirte más.
Saludos y buena suerte!
la ha marcado como respuesta
¿Ha sido útil?
Esta pregunta está bloqueada y se han inhabilitado las respuestas.
¿Quieres descartar la publicación? Perderás lo que has escrito.
Escribir una respuesta
Mínimo 10 caracteres
No se ha podido adjuntar el archivo. Haz clic para volver a intentarlo.
¿Quieres descartar la publicación?
Perderás lo que has escrito.
Se ha encontrado información personal

Hemos encontrado esta información personal en tu mensaje:

Cualquier usuario que acceda a esta entrada o se suscriba a sus notificaciones puede ver esta información. ¿Seguro que quieres continuar?

Se ha producido un problema. Inténtalo de nuevo.
Crear respuesta
Cambiar la respuesta
¿Quieres eliminar la publicación?
Se eliminará la respuesta de la sección de respuestas.
Las notificaciones están desactivadas.
Las notificación están desactivadas y no recibirás información actualizada. Para activarlas, accede a la sección de Preferencias de notificación de la página de tu perfil.
Denunciar uso inadecuado
En Google nos lo tomamos muy en serio cuando se abusa de nuestros servicios. Nos comprometemos a solucionar estos usos inadecuados de acuerdo con las leyes de tu país. Cuando denuncies un uso inadecuado, lo investigaremos y tomaremos las medidas oportunas. Nos volveremos a poner en contacto contigo solo si necesitamos más detalles o tenemos que informarte de alguna novedad.

Accede a la página de ayuda legal para solicitar cambios de contenido por motivos legales.

Denunciar publicación por uso inadecuado
No se puede enviar el informe.
Esta respuesta ya no está disponible.
/webmasters/threads
//accounts.google.com/ServiceLogin
Recibirás notificaciones por correo electrónico cuando haya nuevas publicaciones en
No se puede eliminar la pregunta.
No se puede actualizar Yo también.
No se puede actualizar la suscripción.
Se ha cancelado tu suscripción
Eliminado
No se puede eliminar la respuesta.
Se ha eliminado de las respuestas
Marcada como Respuesta recomendada
Se ha eliminado la recomendación
Deshacer
No se puede actualizar la respuesta.
No se puede actualizar el voto.
Gracias. Se ha guardado tu respuesta.
No se puede deshacer el voto.
Gracias. Esta respuesta se mostrará ahora en la sección de respuestas.
Enlace copiado
Bloqueada
Desbloqueada
No se puede bloquear
No se puede desbloquear
Fijada
No fijada
No se puede fijar
No se puede no fijar
Marcada
Marca anulada
No se puede marcar
Reported as off topic
/webmasters/profile/0?hl=es