Esta página se tradujo con IA y todavía no la ha revisado un hablante nativo. Leer la versión en inglés

Generador de robots.txt

robots.txt indica a los rastreadores respetuosos qué partes de tu sitio pueden solicitar. No es una medida de seguridad: las URL bloqueadas pueden seguir visitándose e incluso aparecer en los resultados si otras páginas las enlazan. Para dejar una página fuera de los resultados, usa una etiqueta noindex.

Probar una ruta

Funciona por completo en tu navegador. Tus datos y archivos no se suben a ningún servidor.

Cómo se usa

  1. Elige una plantilla inicial.
  2. Enumera las rutas que quieres bloquear o permitir, una por línea, y añade la URL de tu sitemap.
  3. Prueba algunas rutas, descarga robots.txt y súbelo a la raíz de tu dominio.

Ejemplos

Bloquear un área de administración

Bloquea /admin/ y deja el resto del sitio rastreable.

Excluirse de los rastreadores de entrenamiento de IA

Añade reglas para user agents como GPTBot y CCBot, que publican instrucciones de exclusión.

Privacidad

Funciona por completo en tu navegador. Tus datos y archivos no se suben a ningún servidor. Consulta la política de privacidad para saber qué se guarda en tu navegador (solo favoritos e historial). Política de privacidad

Compruébalo tú mismo: abre las herramientas de desarrollo del navegador, selecciona la pestaña Red (Network) y usa la herramienta. Tu archivo nunca aparece en una solicitud de subida. Cuando esta página esté guardada para uso sin conexión, también puedes desconectarte de internet y seguir trabajando. Los anuncios y las estadísticas de visitas anónimas, cuando están activados, hacen sus propias solicitudes, pero nunca reciben tus archivos ni tus textos.

Preguntas frecuentes

¿Dónde va robots.txt?

En la raíz del host: https://example.com/robots.txt. Cada subdominio necesita su propio archivo.

¿Disallow elimina una página de Google?

No. Detiene el rastreo, no la indexación. Usa una metaetiqueta noindex (y permite el rastreo) para quitar una página de los resultados.

¿Cómo decide el probador?

Sigue el protocolo de exclusión de robots (RFC 9309): gana la regla coincidente más larga, Allow gana en caso de empate y se admiten los comodines * y $. Prueba el grupo de «*».

Herramientas relacionadas

Todo en Herramientas SEO
Generador de sitemap XMLPega una lista de URL y obtén un sitemap.xml válido y escapado con fechas de última modificación opcionales.
Generador de metaetiquetasGenera metaetiquetas HTML limpias para una página: título, descripción, canonical, robots, Open Graph y Twitter Card, con indicaciones de longitud.
Asistente de URL canónicaNormaliza URL a una forma canónica coherente: HTTPS, con o sin www, barra final y sin parámetros de seguimiento.
Generador de faviconGenera un conjunto completo de favicons a partir de una imagen o una letra: favicon.ico, PNG de 16 a 512 px, icono Apple touch, manifiesto web y etiquetas HTML, en un solo ZIP.
Vista previa de Open GraphPrevisualiza una tarjeta de enlace con tus og:title, og:description y og:image, revisa el tamaño de la imagen y la longitud del texto, y copia las etiquetas Open Graph.

Buscar herramientas