Búsqueda
Borrar búsqueda
Cerrar búsqueda
Aplicaciones de Google
Menú principal

Cómo bloquear URLs con robots.txt

Probar tu archivo robots.txt con el Probador de robots.txt

La herramienta Probador de robots.txt muestra si el archivo robots.txt bloquea el acceso de los rastreadores web de Google a URL concretas del sitio web. Por ejemplo, puedes utilizar esta herramienta para probar si el rastreador Googlebot-Image puede rastrear la URL de una imagen que quieres bloquear de la Búsqueda de Imágenes de Google.

 

Abrir la herramienta Probador de robots.txt

 

Puedes enviar una URL al Probador de robots.txt. La herramienta funciona igual que funcionaría el robot de Google para revisar tu archivo robots.txt y verifica que la URL se haya bloqueado correctamente.

Probar el archivo robots.txt

  1. Abre el probador para tu sitio web y desplázate al código del archivo robots.txt para encontrar las advertencias de sintaxis y los errores de lógica destacados. El número de advertencias de sintaxis y de errores de lógica se muestra inmediatamente en la parte inferior del editor. 
  2. Escribe la URL de una página de tu sitio web en el cuadro de texto que hay en la parte inferior de la página.
  3. Selecciona el agente de usuario que quieras simular en la lista desplegable que hay a la derecha del cuadro de texto.
  4. Haz clic en el botón PROBAR para probar el acceso.
  5. Comprueba si en el botón PROBAR ahora pone ACEPTADA o BLOQUEADA para averiguar si los rastreadores web de Google no pueden acceder ahora a la URL que has introducido.
  6. Edita el archivo de la página y vuelve a probarlo según sea necesario. Ten en cuenta que los cambios aplicados a la página no se guardan en tu sitio web. Consulta el paso siguiente.
  7. Copia los cambios en el archivo robots.txt de tu sitio web. Esta herramienta no realiza cambios al archivo real de tu sitio web, sino que solo lo prueba con la copia alojada en la herramienta.

Limitaciones de la herramienta Probador de robots.txt:

  • Los cambios que apliques en el editor de la herramienta no se guardarán automáticamente en el servidor web. Tienes que copiar el contenido del editor y pegarlo en el archivo robots.txt almacenado en tu servidor.
  • La herramienta Probador de robots.txt solo prueba tu archivo robots.txt para los agentes de usuario o rastreadores web de Google (como Googlebot). No podemos predecir cómo lo interpretarán otros rastreadores web.
¿Te ha sido útil este artículo?
¿Cómo podemos mejorar esta página?