Generador de robots.txt
robots.txt indica a los rastreadores respetuosos qué partes de tu sitio pueden solicitar. No es una medida de seguridad: las URL bloqueadas pueden seguir visitándose e incluso aparecer en los resultados si otras páginas las enlazan. Para dejar una página fuera de los resultados, usa una etiqueta noindex.
Probar una ruta
Funciona por completo en tu navegador. Tus datos y archivos no se suben a ningún servidor.
Cómo se usa
- Elige una plantilla inicial.
- Enumera las rutas que quieres bloquear o permitir, una por línea, y añade la URL de tu sitemap.
- Prueba algunas rutas, descarga robots.txt y súbelo a la raíz de tu dominio.
Ejemplos
Bloquea /admin/ y deja el resto del sitio rastreable.
Añade reglas para user agents como GPTBot y CCBot, que publican instrucciones de exclusión.
Privacidad
Funciona por completo en tu navegador. Tus datos y archivos no se suben a ningún servidor. Consulta la política de privacidad para saber qué se guarda en tu navegador (solo favoritos e historial). Política de privacidad
Compruébalo tú mismo: abre las herramientas de desarrollo del navegador, selecciona la pestaña Red (Network) y usa la herramienta. Tu archivo nunca aparece en una solicitud de subida. Cuando esta página esté guardada para uso sin conexión, también puedes desconectarte de internet y seguir trabajando. Los anuncios y las estadísticas de visitas anónimas, cuando están activados, hacen sus propias solicitudes, pero nunca reciben tus archivos ni tus textos.
Preguntas frecuentes
¿Dónde va robots.txt?
En la raíz del host: https://example.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Disallow elimina una página de Google?
No. Detiene el rastreo, no la indexación. Usa una metaetiqueta noindex (y permite el rastreo) para quitar una página de los resultados.
¿Cómo decide el probador?
Sigue el protocolo de exclusión de robots (RFC 9309): gana la regla coincidente más larga, Allow gana en caso de empate y se admiten los comodines * y $. Prueba el grupo de «*».