Generador de robots.txt
Configura el acceso de los rastreadores y descarga un robots.txt listo para revisar.
Googlebot
Google Imágenes
Bingbot
Yahoo! Slurp
Baiduspider
Yandex
✨ Corrección automática: añade las barras que faltan a las rutas.
Vista previa de robots.txt
Acerca de esta herramienta
Define una política general de rastreo y permisos específicos para Googlebot, Bingbot, Yandex y otros buscadores. Puedes bloquear rutas o archivos con comodines, indicar un sitemap y un host canónico, y establecer un retraso entre solicitudes cuando corresponda.
El generador normaliza las rutas y muestra el archivo robots.txt mientras editas. Copia o descarga el resultado cuando hayas revisado sus reglas.
Antes de publicarlo
Comprueba que no bloquees páginas que quieras indexar. Un archivo robots.txt orienta a los rastreadores compatibles; no protege contenido privado ni sustituye los controles de acceso.