robots.txt ist eine einfache Textdatei im Wurzelverzeichnis deiner Domain, die Crawlern sagt, welche Pfade sie in Ruhe lassen sollen. Einfach genug, um sie von Hand zu schreiben, und leicht katastrophal falsch zu machen — meist wegen eines Missverständnisses darüber, was Disallow tatsächlich bewirkt.
Disallow bedeutet nicht "raus aus Google"
Das ist das folgenschwerste Missverständnis des Themas. Disallow sagt einem Crawler, eine URL nicht abzurufen. Es sagt einer Suchmaschine nicht, sie nicht zu listen. Das sind verschiedene Dinge, und sie zu verwechseln bewirkt genau das Gegenteil des Gewollten.
Verlinkt eine andere Seite deine gesperrte Seite, kann Google die URL indexieren, ohne sie je abgerufen zu haben. Das Ergebnis kennst du: ein Suchtreffer mit der Adresse und der Zeile "Für diese Seite sind keine Informationen verfügbar." Die Seite steht im Index. Du hast Google nur daran gehindert, genau das zu lesen, was sie beschrieben hätte.
Daraus folgt ein echtes Paradox, das man verinnerlichen sollte. Um eine Seite aus dem Index zu halten, braucht es eine noindex-Anweisung — ein Meta-Tag oder einen HTTP-Header auf der Seite selbst. Aber Google sieht diese Anweisung nur, indem es die Seite abruft. Sperrt robots.txt den Abruf, wird das noindex nie gelesen. Disallow und noindex auf derselben URL heben einander auf, und die Seite bleibt indexiert. Nimm eines: Disallow, um Crawl-Budget zu sparen, oder noindex, um aus der Suche zu verschwinden — nie beides.
Es ist eine öffentliche Datei, die deine Geheimnisse auflistet
robots.txt ist für jeden unter deinedomain.de/robots.txt abrufbar. Es ist eines der ersten Dinge, die ein Penetrationstester liest, aus dem naheliegenden Grund: Eine Datei, deren ganzer Zweck darin besteht, die Pfade aufzuzählen, die man lieber unbesucht ließe, ist ein Geschenk.
Disallow: /admin-backup-2019/ zu schreiben verbirgt dieses Verzeichnis nicht. Es bewirbt es, für alle, für immer, in einer Datei, die zum Lesen gemacht ist. Die Befolgung ist freiwillig — wohlerzogene Crawler halten sich daran, alles Bösartige ignoriert es vollständig und weiß nun genau, wo zu suchen ist.
Die Regel daraus: robots.txt ist für Dinge, die nicht gecrawlt werden sollen, nie für Dinge, die nicht gefunden werden sollen. Alles wirklich Sensible braucht Authentifizierung. Darf ein Pfad ohne Anmeldung nicht erreichbar sein, setz eine Anmeldung davor — das ist der einzige Mechanismus, der keine höfliche Bitte ist.
KI-Crawler zu blockieren ist ein Ehrensystem
Der KI-Bot-Abschnitt hier deckt die Crawler ab, die sich derzeit zu erkennen geben: GPTBot, Google-Extended, CCBot, Claude-Web, anthropic-ai und Omgilibot. Sie zu blockieren ist eine vernünftige Wahl und wirkt genau so weit, wie ihre Betreiber es wirken lassen.
Zwei Dinge sind wissenswert. Google-Extended ist überhaupt kein Crawler — es ist ein Token, das steuert, ob bereits von Googlebot abgerufene Inhalte für KI-Training verwendet werden dürfen. Es zu blockieren beeinflusst dein Suchranking nicht, eine Unterscheidung, die Google bewusst gezogen hat und die viele Seitenbetreiber in beide Richtungen übersehen haben.
Und die Liste altert. Neue Crawler tauchen ständig auf, wählen ihre User-Agent-Zeichenketten selbst, und nichts verpflichtet sie, sich anzukündigen. Eine heute geschriebene robots.txt blockiert die Bots, die es heute gab. Ist dir das wichtig, ist es eine Datei zum Wiederbesuchen, nicht zum Einmalschreiben.
Die Regeln, über die man stolpert
Die Datei muss im Wurzelverzeichnis liegen, exakt unter /robots.txt. Eine Datei unter /unterordner/robots.txt wird vollständig ignoriert, und Subdomains brauchen ihre eigene — eine robots.txt auf example.de sagt nichts über shop.example.de.
Pfade sind case-sensitiv: Disallow: /Admin sperrt /admin nicht. Der Abgleich ist ein Präfix, Disallow: /seite sperrt also /seite, /seiten und /seite-zwei gleichermaßen — ein abschließender Schrägstrich zählt mehr, als er aussieht.
Passt eine URL auf mehrere Regeln, gewinnt die spezifischste und nicht die erste — deshalb kann Allow eine Ausnahme aus einem breiteren Disallow schneiden. Und ein leeres Disallow: heißt "alles erlauben", während Disallow: / die ganze Website sperrt. Ein Zeichen zwischen beiden — und es ist das Zeichen, das nach einem Staging-Deploy am ehesten stehen bleibt.
Häufige Fragen
Wird irgendetwas an einen Server geschickt?
Nein. Dieses Tool ist als "client" gekennzeichnet: Die Datei wird in deinem Browser-Tab aus deinen Eingaben zusammengesetzt. Es wird nichts übertragen.
Ich habe eine Seite gesperrt und sie ist immer noch in Google. Warum?
Weil das Sperren des Crawls den Treffer nicht entfernt — siehe oben. Ist die Seite bereits indexiert, lautet die Lösung: das Disallow entfernen, damit Google die Seite wieder abrufen kann, ein noindex ausliefern, auf einen erneuten Crawl warten, und erst dann sperren, falls du noch willst. Widersinnig, und die einzige Reihenfolge, die funktioniert.
Brauche ich überhaupt eine robots.txt?
Nicht für eine kleine Website ohne etwas zu verbergen — keine Datei heißt "alles crawlen", und das ist meist gewollt. Sie verdient ihren Platz, wenn du Pfade hast, die aus dem Crawl gehören: Suchergebnisseiten, die unendlich URLs erzeugen, Facettenfilter, Staging-Bereiche. Eine fehlende robots.txt liefert einen 404, und Crawler kommen damit bestens zurecht — eine leere Datei ist also nichts, was man um ihrer selbst willen anlegt.
Soll ich meine Sitemap darin eintragen?
Ja, es kostet eine Zeile und jede große Suchmaschine liest sie. Es ersetzt nicht das Einreichen der Sitemap in der Search Console — dort siehst du, ob die URLs tatsächlich indexiert wurden — aber so finden sie Crawler, die nicht Google sind.
Funktioniert Crawl-delay?
Nicht bei Google, das es vollständig ignoriert; die Crawl-Rate steuerst du stattdessen in der Search Console. Bing und Yandex befolgen es. Überlastet Googlebot wirklich deinen Server, ist das eher ein Signal, dass mit dem Server etwas nicht stimmt, als mit dem Crawler — aber die Einstellung gibt es in der Search Console, falls du sie brauchst.