Examinar archivos robots.txt con el Probador de robots.txt

Con la herramienta Probador de robots.txt, puedes ver si tu archivo robots.txt impide que los rastreadores web de Google accedan a URLs concretas de tu sitio. Por ejemplo, puedes probar si el rastreador Googlebot-Image puede rastrear la URL de una imagen que no quieres que aparezca en la Búsqueda de Imágenes de Google.

 

Abrir la herramienta Probador de robots.txt

 

Puedes enviar una URL al Probador de robots.txt. La herramienta consulta tu archivo robots.txt como lo haría el robot de Google y comprueba que la URL esté bloqueada correctamente.

Probar el archivo robots.txt

1. Abre la herramienta para probar tu sitio. A continuación, busca en el código de tu archivo robots.txt si hay advertencias de sintaxis y errores de lógica destacados. Puedes ver el total de advertencias y errores detectados en tu archivo justo debajo del editor. 
2. Escribe la URL de una página de tu sitio en el cuadro de texto que hay en la parte inferior de la página.
3. Selecciona el user-agent que quieras simular en la lista desplegable que hay a la derecha del cuadro de texto.
4. Haz clic en el botón PROBAR para probar el acceso.
5. Comprueba si en el botón PROBAR ahora pone ACEPTADA o BLOQUEADA para averiguar si los rastreadores web de Google no pueden acceder ahora a la URL que has introducido.
6. Edita el archivo en la página y vuelve a probarlo si hace falta. Recuerda que los cambios que haces en esta página no se guardan en tu sitio. Consulta el siguiente paso.
7. Copia los cambios en el archivo robots.txt de tu sitio. Esta herramienta no realiza cambios al archivo real de tu sitio web, sino que solo lo prueba con la copia alojada en la herramienta.

Limitaciones de la herramienta Probador de robots.txt:

• Solo funciona con propiedades de prefijo de URL. No es compatible con las propiedades de dominio.
• Los cambios que haces en el editor de la herramienta no se guardan automáticamente en tu servidor web. Tienes que copiar el contenido del editor y pegarlo en el archivo robots.txt almacenado en tu servidor.
• La herramienta Probador de robots.txt solo prueba tu archivo robots.txt para los agentes de usuario o rastreadores web de Google (como Googlebot). No podemos predecir cómo lo interpretarán otros rastreadores web.