SEO 2026-04-186 min read
Die häufigsten robots.txt Fehler — und wie Sie sie vermeiden
Eine falsch konfigurierte robots.txt kann Ihre gesamte SEO-Arbeit zunichtemachen. Die 7 häufigsten Fehler und wie Sie sie beheben.
Die robots.txt ist eine kleine Textdatei mit großer Wirkung: Sie steuert, welche Bereiche Ihrer Website von Suchmaschinen gecrawlt werden.
Die 7 häufigsten robots.txt-Fehler
1. Die gesamte Website blockieren User-agent: * / Disallow: / — blockiert alle Suchmaschinen. Oft ein Relikt aus der Entwicklungsphase.
2. Wichtige Seiten versehentlich ausschließen Eine zu breite Disallow-Regel trifft auch Seiten, die indexiert werden sollen.
3. Falsche Reihenfolge der Anweisungen Spezifischere Regeln müssen zuerst kommen, sonst greift die allgemeinere Regel.
4. robots.txt nicht im Wurzelverzeichnis Die Datei muss unter /robots.txt erreichbar sein, nicht in Unterverzeichnissen.
5. Noindex in robots.txt statt im HTML Disallow verhindert Crawling, aber nicht Indexierung über externe Links.
6. CSS und JavaScript blockieren Google braucht Zugriff auf CSS und JS für korrektes Rendering.
7. Keine robots.txt vorhanden Besser als eine falsche — aber eine korrekte ist am besten.
Mit unserem robots.txt Viewer prüfen Sie Ihre Datei in Sekunden.
Website jetzt prüfen
Nutzen Sie unsere kostenlosen Tools, um die Sicherheit Ihrer Website zu analysieren.
Trust Score ermitteln