XML-Sitemap-GeneratorFügen Sie eine URL-Liste ein und erhalten Sie eine gültige, korrekt maskierte sitemap.xml mit optionalen Änderungsdaten.
Robots.txt-Generator
robots.txt teilt gut programmierten Crawlern mit, welche Bereiche Ihrer Website sie abrufen dürfen. Es ist keine Sicherheitsfunktion – gesperrte URLs können trotzdem aufgerufen werden und sogar in Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken. Um eine Seite aus den Ergebnissen herauszuhalten, verwenden Sie stattdessen ein noindex-Tag.
Pfad testen
Läuft vollständig in Ihrem Browser. Ihre Eingaben und Dateien werden auf keinen Server hochgeladen.
So funktioniert’s
- Wählen Sie eine Vorlage als Ausgangspunkt.
- Listen Sie die zu sperrenden oder zu erlaubenden Pfade auf, einen pro Zeile, und fügen Sie Ihre Sitemap-URL hinzu.
- Testen Sie einige Pfade, laden Sie dann robots.txt herunter und legen Sie sie im Stammverzeichnis Ihrer Domain ab.
Beispiele
Admin-Bereich sperren
/admin/ sperren, den Rest der Website aber crawlbar lassen.
KI-Trainings-Crawler ausschließen
Fügen Sie Regeln für User-Agents wie GPTBot und CCBot hinzu, die Opt-out-Anleitungen veröffentlichen.
Datenschutz
Läuft vollständig in Ihrem Browser. Ihre Eingaben und Dateien werden auf keinen Server hochgeladen. In der Datenschutzerklärung steht, was in Ihrem Browser gespeichert wird (nur Favoriten und Verlauf). Datenschutzerklärung
Prüfen Sie es selbst: Öffnen Sie die Entwicklertools des Browsers, wählen Sie den Tab Netzwerk (Network) und nutzen Sie das Tool. Ihre Datei erscheint in keiner Upload-Anfrage. Sobald diese Seite für die Offline-Nutzung gespeichert ist, können Sie auch die Internetverbindung trennen und weiterarbeiten. Werbung und anonyme Besuchsstatistiken senden, wenn aktiviert, eigene Anfragen, erhalten aber nie Ihre Dateien oder Texte.
Häufige Fragen
Wo gehört robots.txt hin?
In das Stammverzeichnis des Hosts: https://example.com/robots.txt. Jede Subdomain braucht eine eigene Datei.
Entfernt Disallow eine Seite aus Google?
Nein. Es stoppt das Crawlen, nicht die Indexierung. Verwenden Sie ein noindex-Meta-Tag (und erlauben Sie das Crawlen), um eine Seite aus den Ergebnissen zu entfernen.
Wie entscheidet der Tester?
Er folgt dem Robots Exclusion Protocol (RFC 9309): Die längste passende Regel gewinnt, bei Gleichstand gewinnt Allow, und die Platzhalter * und $ werden unterstützt. Getestet wird die Gruppe für „*“.
Ähnliche Tools
Alle: SEO-ToolsMeta-Tag-GeneratorErzeugen Sie saubere HTML-Meta-Tags für eine Seite: Title, Description, Canonical, Robots, Open Graph und Twitter Card – mit Hinweisen zur Länge.
Canonical-URL-HelferNormalisieren Sie URLs auf eine einheitliche kanonische Form: HTTPS, mit oder ohne www, abschließender Schrägstrich, Tracking-Parameter entfernt.
Favicon-GeneratorErzeugen Sie aus einem Bild oder einem Buchstaben ein komplettes Favicon-Set: favicon.ico, PNGs von 16–512 px, Apple-Touch-Icon, Web-Manifest und HTML-Tags in einer ZIP-Datei.
Slug-GeneratorMachen Sie aus Titeln saubere URL-Slugs in Kleinbuchstaben.
Open-Graph-VorschauZeigen Sie eine Linkkarte aus og:title, og:description und og:image an, prüfen Sie Bildgröße und Textlänge und kopieren Sie die Open-Graph-Tags.