robots.txt: Aufbau, Beispiele und typische Fehler
robots.txt erklärt: Wo die Datei liegt, wie Disallow, Allow und Sitemap funktionieren, was sie nicht leistet und wie Sie sie in der Search Console prüfen.
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen sollen und welche nicht. Sie steuert das Crawlen, nicht die Indexierung. Eine per Disallow gesperrte URL kann trotzdem in den Suchergebnissen auftauchen, zum Beispiel wenn andere Seiten auf sie verlinken.
Das ist der häufigste Denkfehler. Dieser Ratgeber zeigt den Aufbau der Datei, ein paar fiktive Beispiele, wofür sie taugt und wofür nicht, und wie Sie eine bestehende Datei prüfen.
Wo die Datei liegt und wie sie gelesen wird
Die Datei heißt exakt robots.txt und muss unter dem Hauptverzeichnis der jeweiligen Domain erreichbar sein, etwa https://www.beispiel.de/robots.txt. Eine Datei in einem Unterordner wird nicht beachtet. Jede Subdomain und jedes Protokoll braucht bei Bedarf eine eigene Datei. Das Format ist reiner Text in UTF-8. Google liest laut eigener Dokumentation nur die ersten 500 KiB, alles danach wird ignoriert.
Der Statuscode der Datei zählt mit. Antwortet der Server mit 404, geht Google davon aus, dass es keine Einschränkungen gibt. Bei Serverfehlern (5xx) behandelt Google die Website vorübergehend vorsichtig und crawlt unter Umständen weniger. Prüfen Sie deshalb nach einem Umzug oder Serverwechsel, ob die Datei wirklich mit 200 antwortet. Details stehen in der Google-Dokumentation zur robots.txt.
Aufbau: User-agent, Disallow, Allow, Sitemap
Eine robots.txt besteht aus Gruppen. Jede beginnt mit einer Zeile User-agent und nennt danach die Regeln für diesen Crawler. Als fiktives Beispiel für einen Onlineshop:
User-agent: *
Disallow: /warenkorb/
Disallow: /suche/
Allow: /suche/hilfe/
Sitemap: https://www.beispiel.de/sitemap.xmlSo lesen Sie das:
| Zeile | Bedeutung |
|---|---|
User-agent: * | Die Regeln gelten für alle Crawler, die keine eigene Gruppe haben |
Disallow: /warenkorb/ | Pfade, die mit /warenkorb/ beginnen, sollen nicht gecrawlt werden |
Allow: /suche/hilfe/ | Ausnahme innerhalb eines gesperrten Bereichs |
Sitemap: … | Adresse der XML-Sitemap, immer als vollständige URL |
Zwei Regeln sind wichtig. Erstens werden Pfade unterscheidend nach Groß- und Kleinschreibung verglichen: /Warenkorb/ ist nicht /warenkorb/. Zweitens gewinnt bei widersprüchlichen Regeln die spezifischere, also die längere passende Angabe. Google unterstützt außerdem * als Platzhalter und $ als Endmarkierung, zum Beispiel Disallow: /*.pdf$.
Eine leere Disallow:-Zeile bedeutet „nichts gesperrt“. Disallow: / sperrt dagegen die gesamte Website. Dieser einzelne Schrägstrich ist ein klassischer Unfall, wenn eine Entwicklungsumgebung samt robots.txt live geht.
Was die robots.txt nicht kann
Sie ist kein Mittel, um Seiten aus Google zu entfernen. Soll eine Seite nicht in der Suche erscheinen, brauchen Sie noindex. Dafür muss der Crawler die Seite aber abrufen dürfen, sonst sieht er die Anweisung nie. Wie Sie das richtig lösen, steht im Ratgeber Noindex: Seiten ausschließen und versehentliche Sperren finden.
Sie ist kein Zugriffsschutz. Die Datei ist öffentlich lesbar. Wer dort Disallow: /intern-kunden/ einträgt, verrät den Pfad jedem, der nachschaut. Vertrauliche Bereiche gehören hinter ein Login.
Sie zwingt keinen Crawler zum Gehorsam. Seriöse Suchmaschinen halten sich daran, böswillige Bots ignorieren sie. Auch ein Canonical ersetzt sie nicht; dazu der Ratgeber zum Canonical-Tag.
Wann sich Disallow lohnt
Sinnvoll ist die Sperre vor allem für Bereiche, die beim Crawlen Zeit kosten, aber nie in der Suche stehen sollen:
- Warenkorb, Kasse und Kundenkonto
- interne Suchergebnisse mit beliebigen Parametern
- Filterkombinationen, die endlos neue URLs erzeugen
- Wartungs- und Testbereiche (zusätzlich mit Zugriffsschutz)
Sperren Sie dagegen keine CSS- oder JavaScript-Dateien, die zur Darstellung der Seite nötig sind. Google rendert Seiten und braucht diese Dateien, um Inhalt und Layout zu verstehen.
Bei kleinen Websites mit wenigen Dutzend Seiten ist Crawl-Budget selten das Problem. Dort reicht oft eine kurze Datei, die nur die Sitemap nennt.
KI-Crawler in der robots.txt
Mit eigenen User-agent-Gruppen lassen sich einzelne KI-Crawler steuern, etwa GPTBot von OpenAI oder CCBot von Common Crawl. Das ist eine Entscheidung zur Nutzung Ihrer Inhalte und kein SEO-Hebel.
Wichtig für die Einordnung: Google-Extended regelt, ob Inhalte für Googles KI-Modelle wie Gemini verwendet werden. Es steuert nicht, ob Ihre Seite in der klassischen Google-Suche oder in den AI Overviews erscheint. Wer Googlebot sperrt, verschwindet aus der Suche. Mehr zum Zusammenhang finden Sie im Ratgeber AI Overviews. Welche Crawler es gibt und welche Namen aktuell gelten, stellen die jeweiligen Anbieter in ihrer Dokumentation bereit; prüfen Sie die Schreibweise dort, bevor Sie Zeilen übernehmen.
Datei erstellen und testen
- Notieren Sie, welche Bereiche wirklich nicht gecrawlt werden sollen. Ohne Liste entsteht schnell eine Datei, die mehr sperrt als nötig.
- Erstellen Sie die Datei von Hand oder mit dem robots.txt-Generator, der Regeln, Sitemap und KI-Crawler zusammenstellt.
- Laden Sie sie ins Hauptverzeichnis und öffnen Sie die Adresse im Browser. Sie sollten reinen Text sehen, keinen HTML-Fehler.
- Prüfen Sie in der Google Search Console unter „Einstellungen“ den Bericht zur robots.txt. Dort sehen Sie, welche Version Google zuletzt abgerufen hat und ob es Fehler oder Warnungen gab.
- Testen Sie ein paar wichtige URLs mit der URL-Prüfung. Dort wird angezeigt, ob eine Seite durch die robots.txt blockiert ist.
Nach größeren Änderungen lohnt ein Blick auf die Sitemap: URLs, die in der Sitemap stehen und zugleich per Disallow gesperrt sind, senden widersprüchliche Signale. Der Sitemap-Checker hilft beim Abgleich.
Typische Fehler im Überblick
| Fehler | Folge | Lösung |
|---|---|---|
Disallow: / bleibt nach dem Relaunch stehen | Gesamte Website wird nicht gecrawlt | Datei prüfen, nach jedem Livegang abrufen |
| Seite per robots.txt gesperrt, um sie aus Google zu entfernen | URL kann ohne Beschreibung weiter erscheinen | Sperre aufheben, noindex setzen |
noindex in der robots.txt | Wird von Google nicht unterstützt | Meta-Tag oder X-Robots-Tag nutzen |
| CSS und JavaScript gesperrt | Darstellung wird falsch interpretiert | Ressourcen freigeben |
| Datei liegt nicht im Hauptverzeichnis | Wird nicht gelesen | Unter /robots.txt ablegen |
| Sitemap-Zeile ohne vollständige URL | Sitemap wird nicht gefunden | https://… verwenden |
Auffällig viele Meldungen wie „Gecrawlt, zurzeit nicht indexiert“ oder „Durch robots.txt blockiert“ gehören in eine strukturierte Prüfung. Der Ratgeber zu zurzeit nicht indexiert zeigt, wie Sie Ursachen trennen.
Häufige Fragen
Braucht jede Website eine robots.txt?
Nein. Fehlt die Datei, darf alles gecrawlt werden. Sinnvoll ist sie, sobald Sie Bereiche ausschließen oder die Sitemap-Adresse mitteilen möchten.
Kann ich eine Seite mit robots.txt aus Google entfernen?
Nicht zuverlässig. Eine gesperrte URL kann weiter in den Ergebnissen stehen, nur ohne Inhaltsauszug. Verwenden Sie noindex und lassen Sie das Crawlen zu, oder entfernen Sie die Seite komplett.
Wie lange dauert es, bis Google eine Änderung übernimmt?
Google lädt die Datei laut Dokumentation üblicherweise nicht bei jeder Anfrage neu, sondern speichert sie zwischen, häufig bis zu 24 Stunden. Der Search-Console-Bericht zeigt den letzten Abruf.
Sollte ich KI-Crawler sperren?
Das ist eine inhaltliche und rechtliche Entscheidung. Eine Sperre verhindert, dass der jeweilige Crawler Ihre Seiten abruft, sagt aber nichts über Ihr Ranking in der Google-Suche. Entscheiden Sie pro Crawler und prüfen Sie die Namen in der Anbieterdokumentation.
Was gehört zusätzlich in die Datei?
Meist eine Zeile Sitemap: mit der vollständigen Adresse Ihrer XML-Sitemap. Mehr Zeilen schaden nicht, bringen aber nur etwas, wenn sie ein konkretes Ziel haben.
Dieser Beitrag wurde mit KI-Unterstützung erstellt und redaktionell geprüft. Technische Angaben (500 KiB, Zwischenspeicherung, Statuscodes) beruhen auf der Google-Dokumentation zur robots.txt und sollten bei Änderungen dort gegengeprüft werden. Die Beispiele sind fiktiv.