Robots.txt-Tester
Fügen Sie Ihre robots.txt ein und testen Sie, ob ein URL-Pfad für einen Crawler erlaubt ist.
So funktioniert es
- 1
robots.txt einfügen
Der vollständige Dateiinhalt.
- 2
Pfad und User-Agent eingeben
Zum Beispiel /privat/seite und Googlebot.
- 3
Urteil lesen
Erlaubt oder gesperrt, mit der zutreffenden Regel.
Passende Tools
Diese Tools werden direkt im Anschluss genutzt.
Gemacht, um nicht im Weg zu stehen
487
Verfügbare Tools
6
Sprachen
0
Hinzugefügte Wasserzeichen
2h
Bis Ihre Dateien gelöscht sind
100%
Kostenloser Einstieg
∞
Unterstützte Geräte
Häufige Fragen
Die mit dem längsten Pfad; bei Gleichstand Allow.
Regeln vor der Veröffentlichung testen
Ein einziges falsches Disallow kann die ganze Website vor Suchmaschinen verstecken. Ein paar wichtige URLs gegen Ihre Regeln zu testen, findet Fehler vor dem Crawler.
Der Tester folgt den Standardregeln: Der spezifischste (längste) Treffer gewinnt, bei Gleichstand schlägt Allow das Disallow, * und $ werden unterstützt.