Cette page a été traduite avec l’IA et n’a pas encore été relue par un locuteur natif. Lire la version anglaise

Générateur de robots.txt

Le fichier robots.txt indique aux robots respectueux les parties de votre site qu’ils peuvent demander. Ce n’est pas une mesure de sécurité : les URL bloquées restent accessibles et peuvent même apparaître dans les résultats si d’autres pages y renvoient. Pour exclure une page des résultats, utilisez plutôt une balise noindex.

Tester un chemin

Fonctionne entièrement dans votre navigateur. Vos saisies et vos fichiers ne sont envoyés à aucun serveur.

Mode d’emploi

  1. Choisissez un modèle de départ.
  2. Listez les chemins à interdire ou autoriser, un par ligne, et ajoutez l’URL de votre sitemap.
  3. Testez quelques chemins, puis téléchargez robots.txt et placez-le à la racine de votre domaine.

Exemples

Bloquer une zone d’administration

Interdisez /admin/ tout en laissant le reste du site explorable.

Refuser les robots d’entraînement d’IA

Ajoutez des règles pour des user agents comme GPTBot et CCBot, qui publient des instructions de refus.

Confidentialité

Fonctionne entièrement dans votre navigateur. Vos saisies et vos fichiers ne sont envoyés à aucun serveur. Consultez la politique de confidentialité pour savoir ce qui est enregistré dans votre navigateur (favoris et historique uniquement). Politique de confidentialité

Vérifiez par vous-même : ouvrez les outils de développement du navigateur, sélectionnez l’onglet Réseau (Network) et utilisez l’outil. Votre fichier n’apparaît dans aucune requête d’envoi. Une fois cette page enregistrée pour une utilisation hors ligne, vous pouvez aussi vous déconnecter d’Internet et continuer à travailler. Les publicités et les statistiques de visite anonymes, lorsqu’elles sont activées, envoient leurs propres requêtes, mais ne reçoivent jamais vos fichiers ni vos textes.

Questions fréquentes

Où placer robots.txt ?

À la racine de l’hôte : https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.

Disallow retire-t-il une page de Google ?

Non. Il empêche l’exploration, pas l’indexation. Utilisez une balise meta noindex (en autorisant l’exploration) pour retirer une page des résultats.

Comment le testeur décide-t-il ?

Il suit le protocole d’exclusion des robots (RFC 9309) : la règle correspondante la plus longue l’emporte, Allow l’emporte en cas d’égalité, et les jokers * et $ sont pris en charge. Il teste le groupe « * ».

Générateur de sitemap XMLCollez une liste d’URL et obtenez un sitemap.xml valide et échappé, avec des dates de dernière modification facultatives.
Générateur de balises metaGénérez des balises meta HTML propres pour une page : title, description, canonical, robots, Open Graph et Twitter Card, avec des indications de longueur.
Assistant URL canoniqueNormalisez les URL sous une forme canonique cohérente : HTTPS, avec ou sans www, barre oblique finale, paramètres de suivi supprimés.
Générateur de faviconGénérez un jeu complet de favicons à partir d’une image ou d’une lettre : favicon.ico, PNG de 16 à 512 px, icône Apple touch, manifeste web et balises HTML, dans un seul ZIP.
Aperçu Open GraphPrévisualisez une carte de lien à partir de vos og:title, og:description et og:image, vérifiez la taille de l’image et la longueur du texte, et copiez les balises Open Graph.

Rechercher des outils