Robots.txt-Datei erstellen
Lege globale und crawlerbezogene Regeln fest und erzeuge eine robots.txt mit gesperrten Pfaden, Verzögerung und Sitemap-Adresse
Googlebot
Google Image
Bingbot
Yahoo! Slurp
Baiduspider
Yandex
✨ Automatische Bereinigung: Fehlende Schrägstriche werden sicher ergänzt.
Robots.txt-Vorschau
Über dieses Tool
Robots.txt-Datei erstellen
Lege globale und crawlerbezogene Regeln fest und erzeuge eine robots.txt mit gesperrten Pfaden, Verzögerung und Sitemap-Adresse.
So funktioniert es
Gib die erforderlichen Werte oder Texte ein, passe die Optionen an und prüfe das Ergebnis vor dem Kopieren oder Herunterladen. Beachte Einheiten und Annahmen, wenn du das Ergebnis für wichtige Entscheidungen verwendest.