Robots.txt

Robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie durchsuchen dürfen und welche nicht. Die Datei liegt unter deinedomain.de/robots.txt und wird von Google, Bing und anderen Suchmaschinen automatisch ausgelesen. Mit der robots.txt steuerst du, welche Seiten indexiert werden sollen – und welche nicht.

Viele Unternehmen nutzen die robots.txt falsch oder gar nicht. Das Ergebnis: wichtige Seiten werden blockiert, unwichtige Seiten verstopfen den Index. Die robots.txt ist kein Sicherheitsinstrument – sie ist eine Empfehlung, keine Zugangssperre. Wer sensible Inhalte schützen will, braucht ein Passwort, keine robots.txt.

Warum ist Robots.txt für Unternehmen wichtig?

Die robots.txt hilft dir, das Crawl-Budget deiner Website effizient zu nutzen. Google und andere Suchmaschinen haben begrenzte Ressourcen und crawlen nicht jede Seite täglich. Wenn du unwichtige Bereiche wie Admin-Seiten, Danke-Seiten oder Duplicate Content blockierst, konzentriert sich der Crawler auf deine wichtigen Inhalte. Das verbessert deine Indexierung und kann deine Sichtbarkeit erhöhen.

Gleichzeitig ist die robots.txt ein häufiger Fehlerquell. Wer versehentlich wichtige Seiten blockiert, verschwindet aus den Suchergebnissen. Wer die Datei nicht pflegt, verschwendet Crawl-Budget. Eine gut konfigurierte robots.txt ist Teil jeder soliden SEO-Strategie – und gehört in jede SEO-Checkliste.

Beispiel: Robots.txt in der Praxis

Stell dir vor, ein Onlineshop hat 10.000 Produkte und zusätzlich 5.000 Filter-URLs, die durch Sortierungen und Kombinationen entstehen. Diese Filter-Seiten sind für Nutzer hilfreich, für Suchmaschinen aber Duplicate Content. Der Shop-Betreiber trägt in die robots.txt ein, dass alle URLs mit „?filter=“ nicht gecrawlt werden sollen.

Das Ergebnis: Google konzentriert sich auf die Produktseiten und die Kategorien. Der Index wird sauberer, die wichtigen Seiten werden häufiger gecrawlt. Gleichzeitig prüft der Betreiber regelmäßig die Google Search Console, um sicherzustellen, dass keine wichtigen Seiten versehentlich blockiert wurden. Eine falsche Zeile in der robots.txt kann eine ganze Website unsichtbar machen.

Tipps für die Umsetzung

Nur unwichtige Bereiche blockieren: Blockiere Admin-Bereiche, Danke-Seiten, Warenkorb-URLs oder Filter-Parameter – aber niemals deine Hauptinhalte. Prüfe die Datei regelmäßig, besonders nach einem Relaunch.
Sitemap in robots.txt eintragen: Füge am Ende der Datei die Zeile Sitemap: https://deinedomain.de/sitemap.xml ein. Das erleichtert Suchmaschinen die Orientierung und beschleunigt die Indexierung.
Robots.txt ist keine Sicherheitsmaßnahme: Die Datei verhindert nicht, dass jemand eine URL aufruft – sie ist nur eine Anweisung an Crawler. Sensible Inhalte gehören hinter ein Login oder eine Passwortabfrage.
Testen mit der Search Console: Google bietet in der Search Console ein Tool, um deine robots.txt zu testen. Nutze es, bevor du Änderungen live schaltest. Ein Fehler kann deine gesamte Website aus dem Index werfen.

Die robots.txt ist ein mächtiges Werkzeug – aber nur, wenn du sie verstehst und richtig einsetzt. Wer sie ignoriert, verschwendet Crawl-Budget. Wer sie falsch konfiguriert, schadet seiner Sichtbarkeit. Mehr zur technischen Suchmaschinenoptimierung erfährst du in unserem Beitrag zu moderner Suchmaschinenoptimierung.

Häufige Fragen zu Robots.txt

Wo finde ich die robots.txt meiner Website?

Gib in deinem Browser deinedomain.de/robots.txt ein. Wenn die Datei existiert, wird sie angezeigt. Wenn nicht, siehst du eine Fehlermeldung – dann hat deine Website keine robots.txt.

Muss jede Website eine robots.txt haben?

Nein, aber es ist sinnvoll. Ohne robots.txt crawlen Suchmaschinen alle Bereiche deiner Website – auch die, die nicht indexiert werden sollen. Eine gut gepflegte robots.txt spart Crawl-Budget und verbessert die Indexierung.

Kann ich mit robots.txt Seiten aus dem Google-Index entfernen?

Nein. Die robots.txt verhindert nur das Crawlen, nicht die Indexierung. Wenn eine URL bereits im Index ist und du sie blockierst, bleibt sie oft sichtbar – nur ohne Beschreibung. Nutze stattdessen das Meta-Tag noindex oder die Search Console.

Was passiert, wenn ich versehentlich wichtige Seiten blockiere?

Sie verschwinden aus dem Google-Index, und deine Sichtbarkeit sinkt. Prüfe die robots.txt regelmäßig und teste Änderungen vorab in der Google Search Console. Ein Fehler kann Wochen oder Monate kosten.

Wie sieht eine einfache robots.txt aus?

Eine Basis-Datei könnte so aussehen: User-agent: * (gilt für alle Crawler), Disallow: /admin/ (blockiert den Admin-Bereich), Sitemap: https://deinedomain.de/sitemap.xml (verweist auf die Sitemap). Mehr brauchst du oft nicht.