robots.txt: Bedeutung, Regeln und typische Missverständnisse

Eine robots.txt ist eine Textdatei mit Regeln für Crawler. Sie legt fest, welche Bereiche einer Website unterstützende Bots abrufen dürfen. Die wichtigste Grenze: Eine Crawl-Sperre ist weder ein Passwortschutz noch eine zuverlässige Anweisung, eine URL aus Google zu entfernen.

Bevor du die Datei änderst, kläre deshalb dein Ziel. Willst du unnötige Abrufe begrenzen, eine öffentlich erreichbare Seite aus den Suchergebnissen ausschließen oder vertrauliche Inhalte schützen? Dafür brauchst du unterschiedliche Mittel.

Was ist eine robots.txt-Datei?

Die Datei gehört zum Robots Exclusion Protocol. Ein Crawler, der dieses Protokoll befolgt, berücksichtigt ihre Regeln bei der Entscheidung, ob er eine URL abrufen darf. So lassen sich beispielsweise bestimmte technische URL-Bereiche vom Crawling ausnehmen.

Die Regeln setzen voraus, dass der jeweilige Bot sie beachtet. Sie verhindern keinen normalen Browserzugriff und sind auch selbst öffentlich abrufbar. Es wäre daher ein Fehler, interne Dokumente allein dadurch schützen zu wollen, dass ihr Verzeichnis in der robots.txt steht. Google beschreibt diese Grenzen ausdrücklich in seiner Einführung zu robots.txt.

Wo liegt die Datei und wie liest ein Crawler sie?

Der übliche Ort ist das Stammverzeichnis des jeweiligen Hosts, beispielsweise https://example.com/robots.txt. Eine Datei unter /wissen/robots.txt erfüllt diesen Zweck nicht. Die Regeln gelten für den jeweiligen Host, das Protokoll und den Port. www.example.com und shop.example.com sind deshalb getrennt zu betrachten.

Ein Crawler lädt die Datei und ermittelt die für ihn geltenden Regeln. Falls dir der Abrufprozess noch unklar ist, erklärt unser Glossar die Funktionsweise eines Crawlers. Für Google ist bei mehreren Gruppen nicht pauschal der erste Block entscheidend: Der passende User-Agent und die zugehörigen Regeln zählen. Mehrere passende spezifische Gruppen können zusammengeführt werden.

Verlass dich bei solchen Details auf die Dokumentation des Bots. Die aktuelle Google-Spezifikation erläutert Geltungsbereich, Gruppen und Pfadvergleich. Eine Anweisung, die ein anderer Bot unterstützt, muss Google nicht genauso auswerten.

Was bedeuten User-agent, Allow und Disallow?

User-agent benennt den angesprochenen Crawler. Der Stern steht für eine allgemeine Gruppe. Disallow sperrt passende Pfade für den Abruf, Allow kann einen spezifischeren Pfad erlauben. Das folgende Beispiel ist absichtlich klein und keine Vorlage, die du ungeprüft auf deine Website kopieren solltest:

# Illustratives Beispiel, keine SeoForge-Konfiguration
User-agent: *
Disallow: /entwurf/
Allow: /entwurf/demo/

Sitemap: https://example.com/sitemap.xml

Für einen Googlebot ohne andere spezifische Gruppe ist damit der Bereich /entwurf/ gesperrt, die präzisere Ausnahme /entwurf/demo/ jedoch erlaubt. Nicht erwähnte Bereiche sind durch diese Regeln nicht gesperrt. Die Sitemap-Zeile nennt den Speicherort einer Sitemap; sie hebt keine Crawl-Sperre auf.

Erwarteter Abruf im Beispiel

URL-Pfad	Ergebnis	Grund
/entwurf/notizen/	Gesperrt	Passt zu Disallow
/entwurf/demo/start/	Erlaubt	Spezifischere Allow-Regel
/leistungen/	Erlaubt	Keine passende Sperre

Ein besonders wichtiger Unterschied steckt in einem einzigen Zeichen: Disallow: ohne Pfad sperrt nichts; Disallow: / sperrt innerhalb der geltenden Gruppe alle Pfade. Außerdem wird bei Pfaden zwischen Groß- und Kleinschreibung unterschieden. Teste daher echte URLs statt nur optisch ähnliche Beispiele.

Warum ersetzt robots.txt weder noindex noch Zugriffsschutz?

Google kann eine gesperrte URL über andere Seiten entdecken und unter Umständen trotzdem als Suchergebnis aufführen. Der Inhalt wird wegen der Sperre nicht abgerufen; die Existenz der URL kann aber bekannt sein. Für öffentlich erreichbare Seiten, die nicht in Googles Suchindex sollen, ist noindex im HTML oder HTTP-Antwortheader vorgesehen.

Dabei muss Google die Seite abrufen können, um die Anweisung zu sehen. Ein gleichzeitig gesetztes Disallow kann genau das verhindern. Eine Zeile Noindex: in der robots.txt wird von Google nicht unterstützt. Diese Zusammenhänge erklärt die Google-Dokumentation zu noindex.

Das Mittel folgt dem Ziel

Ziel	Passendes Mittel	Wichtige Grenze
Crawler-Abrufe begrenzen	robots.txt	Kein sicherer Indexausschluss
Öffentliche Seite aus dem Suchindex ausschließen	noindex	Muss beim Abruf erkennbar sein
Vertrauliche Inhalte schützen	Authentifizierung und Zugriffskontrolle	Nicht durch Crawlregeln ersetzen

Wenn eine Seite fehlt oder trotz Sperre erscheint, solltest du deshalb zunächst den Indexierungsstatus und mögliche Blockaden untersuchen. Mehr Sperrregeln lösen nicht automatisch das richtige Problem.

Welche Fehler blockieren wichtige Inhalte?

Problematisch sind besonders pauschale Regeln aus einer Testumgebung, die beim Start der echten Website übernommen werden. Auch ein zu breites Pfadpräfix kann mehr URLs treffen als beabsichtigt. Prüfe beispielsweise den Unterschied zwischen /entwurf und /entwurf/: Der erste Ausdruck passt zusätzlich zu Pfaden, deren Namen lediglich so beginnen.

Blockiere nicht wahllos CSS-, JavaScript- oder Bilddateien. Wenn Google diese Ressourcen braucht, um die Seite sinnvoll darzustellen und zu verstehen, erschwert ihre Sperre die Verarbeitung. Und verwende Crawl-delay nicht als vermeintlichen Google-Regler: Google unterstützt dieses Feld nicht. Eine große Datei voller Anweisungen ist nicht automatisch besser als eine kurze, passende Konfiguration.

Wie prüft man die Regeln vor einer Änderung?

Sichere zuerst den aktuellen Stand und notiere, welches Problem du beheben willst. Stelle anschließend eine kleine Testmenge zusammen: mindestens eine künftig gesperrte URL, eine erlaubte Ausnahme und eine wichtige Seite, die unverändert erreichbar bleiben muss. Berücksichtige den tatsächlichen Host und den gewünschten Bot.

Vergleiche die erwarteten Ergebnisse mit der Parserlogik und prüfe nach der Änderung, welche Datei der Server tatsächlich ausliefert. Kontrolliere außerdem den HTTP-Status und ob statt einer Textdatei versehentlich eine Fehlerseite erscheint. Ein funktionierender Abruf in deinem Browser allein beweist nicht, dass alle Crawlregeln richtig sind.

Beobachte danach die betroffenen URLs. Crawler können Regeln zwischenspeichern; Änderungen werden deshalb nicht zwingend sofort überall sichtbar. Halte die Änderung klein und nachvollziehbar. So lässt sich ein unerwarteter Effekt einer konkreten Regel zuordnen, statt mehrere gleichzeitig veränderte Sperren auseinandernehmen zu müssen.