En este artículo, se explica cómo puedes bloquear el acceso a contenido de tu sitio.
Parte del contenido que publicas puede no ser relevante para que se muestre en Google Noticias. Si quieres restringir el acceso de Google a contenido determinado, bloquea el acceso a los rastreadores de Google: el robot de Google y Googlebot-News.
Cómo crear un archivo robots.txt
Usa un archivo robots.txt para obtener un alto nivel de control respecto de qué partes de tu sitio se pueden mostrar en la Búsqueda de Google y Google Noticias. Obtén más información sobre archivos robots.txt.
Puedes bloquear el acceso de las siguientes formas:
-
Para evitar que se muestre tu sitio en Google Noticias, bloquea el acceso a Googlebot-News mediante un archivo robots.txt.
-
Para evitar que se muestre tu sitio en Google Noticias y la Búsqueda de Google, bloquea el acceso al robot de Google mediante un archivo robots.txt.
Debes permitir que el rastreador de Google tenga acceso al archivo robots.txt para que sepa qué secciones del sitio no quieres que se rastreen.
Cómo crear una metaetiqueta
Puedes agregar metaetiquetas a una página HTML. Las metaetiquetas indican a los motores de búsqueda qué límites deben aplicar cuando muestran páginas en los resultados de la búsqueda. Obtén más información sobre cómo bloquear la indexación de búsqueda con metaetiquetas.
Estas son algunas metaetiquetas comunes que puedes agregar a tus páginas HTML:
-
Para evitar que se muestren artículos específicos de tu sitio en Google Noticias, bloquea el acceso a Googlebot-News con la siguiente metaetiqueta:
<meta name="Googlebot-News" content="noindex, nofollow">. -
Para evitar que se muestren artículos específicos de tu sitio en Google Noticias y la Búsqueda de Google, bloquea el acceso al robot de Google con la siguiente metaetiqueta:
<meta name="googlebot" content="noindex, nofollow">. -
Para evitar que todos los robots indexen artículos específicos de tu sitio, utiliza la siguiente metaetiqueta:
<meta name="robots" content="noindex, nofollow">. -
Para evitar que los robots rastreen imágenes de un artículo específico, utiliza la siguiente metaetiqueta:
<meta name="robots" content="noimageindex">. -
Para indicarnos que se debe quitar un artículo del índice de Google en un momento determinado, utiliza la siguiente metaetiqueta:
<meta name="googlebot" content="unavailable_after: 25-Aug-2011 15:00:00 EST">. -
Especifica la hora y la fecha en formato RFC 850. Esta metaetiqueta se considera como una solicitud de eliminación. La página desaparecerá de los resultados de la búsqueda aproximadamente un día después de la fecha de eliminación. Sin embargo, para que la etiqueta funcione de forma adecuada, deberá estar incluida en tu artículo cuando se rastree por primera vez.
-
Existen otras opciones para limitar el contenido que se muestra en un resultado de la búsqueda. Obtén más información en la documentación para desarrolladores.
Especificaciones del encabezado HTTP
También puedes incluir instrucciones para los robots en el encabezado de respuesta HTTP. Para obtener más información, consulta el artículo sobre especificaciones del encabezado HTTP.
Importante: Google interpreta la decisión del bot de la forma más restrictiva posible.