Probador y validador de robots.txt
Comprueba reglas de rastreo de robots.txt.
Resultados
Acerca de esta herramienta
Probador y validador de robots.txt
Pega el contenido de robots.txt, elige un agente de usuario e introduce una o varias rutas para ver qué regla coincide. También puedes cargar un ejemplo y buscar las líneas Sitemap.
Consejos y límites
El comportamiento real depende del rastreador y de cómo implemente el estándar. robots.txt no protege información privada ni impide por sí solo que una URL aparezca en buscadores.