Robots.txt-Tester und Validator
Prüfe, ob ein bestimmter Crawler einen URL-Pfad laut deiner robots.txt aufrufen darf, und sieh dir die entscheidende Regel an
Ergebnisse
Über dieses Tool
Robots.txt-Tester und Validator
Prüfe, ob ein bestimmter Crawler einen URL-Pfad laut deiner robots.txt aufrufen darf, und sieh dir die entscheidende Regel an.
So funktioniert es
Gib die erforderlichen Werte oder Texte ein, passe die Optionen an und prüfe das Ergebnis vor dem Kopieren oder Herunterladen. Beachte Einheiten und Annahmen, wenn du das Ergebnis für wichtige Entscheidungen verwendest.