Générateur de robots.txt
Le fichier robots.txt indique aux robots respectueux les parties de votre site qu’ils peuvent demander. Ce n’est pas une mesure de sécurité : les URL bloquées restent accessibles et peuvent même apparaître dans les résultats si d’autres pages y renvoient. Pour exclure une page des résultats, utilisez plutôt une balise noindex.
Tester un chemin
Fonctionne entièrement dans votre navigateur. Vos saisies et vos fichiers ne sont envoyés à aucun serveur.
Mode d’emploi
- Choisissez un modèle de départ.
- Listez les chemins à interdire ou autoriser, un par ligne, et ajoutez l’URL de votre sitemap.
- Testez quelques chemins, puis téléchargez robots.txt et placez-le à la racine de votre domaine.
Exemples
Interdisez /admin/ tout en laissant le reste du site explorable.
Ajoutez des règles pour des user agents comme GPTBot et CCBot, qui publient des instructions de refus.
Confidentialité
Fonctionne entièrement dans votre navigateur. Vos saisies et vos fichiers ne sont envoyés à aucun serveur. Consultez la politique de confidentialité pour savoir ce qui est enregistré dans votre navigateur (favoris et historique uniquement). Politique de confidentialité
Vérifiez par vous-même : ouvrez les outils de développement du navigateur, sélectionnez l’onglet Réseau (Network) et utilisez l’outil. Votre fichier n’apparaît dans aucune requête d’envoi. Une fois cette page enregistrée pour une utilisation hors ligne, vous pouvez aussi vous déconnecter d’Internet et continuer à travailler. Les publicités et les statistiques de visite anonymes, lorsqu’elles sont activées, envoient leurs propres requêtes, mais ne reçoivent jamais vos fichiers ni vos textes.
Questions fréquentes
Où placer robots.txt ?
À la racine de l’hôte : https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Disallow retire-t-il une page de Google ?
Non. Il empêche l’exploration, pas l’indexation. Utilisez une balise meta noindex (en autorisant l’exploration) pour retirer une page des résultats.
Comment le testeur décide-t-il ?
Il suit le protocole d’exclusion des robots (RFC 9309) : la règle correspondante la plus longue l’emporte, Allow l’emporte en cas d’égalité, et les jokers * et $ sont pris en charge. Il teste le groupe « * ».