Was steckt hinter der robots.txt?
robots.txt klingt erstmal wie ein Insider-Fachbegriff aus der IT-Ecke, ist aber im Kern ganz simpel: Das ist eine kleine Textdatei, die du ins Hauptverzeichnis deiner Website legst. Sie gibt Suchmaschinen wie Google oder Bing Anweisungen, welche Seiten sie durchsuchen dürfen und welche sie ignorieren sollen. Man kann sich das vorstellen wie ein Türsteher, der sagt: „Hier rein, da bitte draußen bleiben.“ Die Datei heißt immer „robots.txt“, sonst wird sie nicht erkannt. Sie funktioniert auch nur exakt auf dieser Adresse: deine-domain.de/robots.txt. Klingt trocken, entscheidet aber oft darüber, ob dein Inhalt überhaupt gefunden, oder versehentlich versteckt, wird.
Typische Fehler bei robots.txt, die dich richtig Nerven kosten können
- „Disallow: /“ gesetzt, das bedeutet: Die komplette Website wird für Suchmaschinen gesperrt. Dann taucht deine Seite gar nicht in Google auf, auch nicht der Startbereich.
- Datei liegt am falschen Ort, robots.txt muss direkt im Hauptverzeichnis (Root) liegen, sonst findet sie kein Crawler. Unter /blog/robots.txt bringt nichts.
- Seiten versehentlich ausgeschlossen, zum Beispiel: „Disallow: /wp-“, was bei WordPress mehr blockiert als gewollt und dann auch Bildersuche ausbremst.
- robots.txt mit sensiblen Infos, Viele schreiben ihre geheimen URLs in diese Datei, um sie „versteckt“ zu halten. Schlechte Idee: Jeder kann sie einsehen, auch deine Konkurrenz.
- Syntaxfehler, Ein vergessener Doppelpunkt oder ein Leerzeichen an der falschen Stelle, schon funktioniert die ganze Datei nicht wie gedacht.
Unser Praxis-Tipp: Was du wirklich in der robots.txt regeln solltest
Wir erleben oft, dass robots.txt entweder völlig überladen oder komplett leer ist. Unser Tipp: Halte sie so schlank wie möglich. Wirklich blockieren solltest du nur Seiten, die für Nutzer und Suchmaschinen keinen Wert haben, zum Beispiel Admin-Bereiche bei WooCommerce oder Shopware („Disallow: /admin/“), temporäre Testbereiche oder echte Duplikate. Lass Finger weg von „Disallow: /“, das killt deine Sichtbarkeit. Sensible Daten gehören sowieso nicht hierher. Wichtig: Die robots.txt ist nur eine Bitte an Suchmaschinen, kein Zwang. Google und andere halten sich meistens daran, aber eben nicht immer. Wer einen Bereich wirklich geheim halten will, setzt ein Passwort davor. Für Bild-SEO: Blockiere keine Ordner wie /uploads/, sonst fehlen deine Bilder in den Suchergebnissen. Klingt banal, spart aber viel Ärger und Umsatz.
Du willst dich nicht selbst mit robots.txt herumschlagen, Fehler vermeiden und lieber sicher aufgestellt sein? Dann übernehmen wir das für dich, melde dich einfach bei uns.
Häufige Fragen zu robots.txt
Kann ich mit robots.txt einzelne Seiten komplett aus Google löschen?
Nein, robots.txt verhindert nur das Crawlen. Die Seite kann trotzdem im Index erscheinen, aber ohne Inhalt. Zum vollständigen Entfernen ist ein „noindex“-Meta-Tag auf der Seite besser geeignet.
Was passiert, wenn ich keine robots.txt habe?
Dann durchsuchen Suchmaschinen normalerweise einfach alles, was sie finden dürfen. Das ist für viele Websites völlig ausreichend, solange du keine Bereiche ausschließen willst.