Crawling steuern

robots.txt Generator

Eine klare Route für Crawler.

Erstellen Sie eine robots.txt mit Sitemap-Verweis und gesperrten Pfaden. Für die KI-Crawler entscheiden Sie separat, ob sie mitlesen dürfen.

Ohne AnmeldungEingaben bleiben lokal

Crawling steuern

robots.txt zusammenstellen

Domain eintragen, Pfade sperren, KI-Crawler freigeben oder aussperren. Das Ergebnis gehört als robots.txt ins Wurzelverzeichnis.

Angehakt heißt: darf crawlen.

Hinweis

robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Wenn eine Seite wirklich nicht in den Index soll, brauchen Sie eine noindex-Anweisung im Seitenkopf oder Antwortheader – und dafür muss die Seite crawlbar bleiben.

Gut zu wissen

Eine robots.txt lesen: Pfade, Bots und Indexierung

Die Datei liegt direkt unter /robots.txt. In einer Gruppe benenntUser-agent den Crawler, Disallow einen gesperrten Pfad undAllow eine erlaubte Ausnahme. Sitemap nennt die vollständige Adresse Ihrer XML-Sitemap. Die Datei schützt keine vertraulichen Inhalte: Dafür brauchen Sie einen Zugangsschutz.

Fiktives Beispiel für eine Website mit öffentlichem Angebot und interner Suche:

User-agent: *
Disallow: /suche/

Sitemap: https://example.com/sitemap-index.xml

Diese Regel sperrt den Abruf unter /suche/. Sie entfernt bereits bekannte URLs nicht zuverlässig aus dem Suchindex. Soll eine öffentlich erreichbare Seite verschwinden, setzen Sie dort noindex und lassen den Abruf zu, damit der Crawler die Anweisung lesen kann. Ein Canonical löst wiederum eine andere Aufgabe: Er benennt die bevorzugte Version ähnlicher Inhalte. Die Unterschiede erklärt der Ratgeber zum Canonical Tag.

Vor dem Hochladen: diese vier Prüfungen

  1. Vorhandene Datei sichern und Regeln aus Plugins oder dem Shop berücksichtigen.
  2. Startseite, Hauptleistungen und benötigte CSS- und JavaScript-Dateien dürfen nicht versehentlich gesperrt werden.
  3. Den Sitemap-Link öffnen: Er muss zu Ihrer tatsächlichen XML-Sitemap führen, die der Sitemap-Checker auslesen kann.
  4. Nach dem Upload die öffentliche robots.txt und den robots.txt-Bericht in der Search Console prüfen.

Grundlage: Googles Einführung zu robots.txt. Der Generator erstellt Regeln; er simuliert keinen Crawler und ersetzt die Prüfung Ihrer Live-Website nicht.

Der häufigste Fehler

Ein Disallow: / aus der Testumgebung geht mit live und sperrt die komplette Website aus. Prüfen Sie nach jedem Relaunch als Erstes Ihre robots.txt – das ist der schnellste Weg, einen Sichtbarkeitseinbruch zu erklären.

KI-Crawler: Suche und Training unterscheiden

Google-Extended steuert die Nutzung für Gemini-Training und bestimmte Gemini-Funktionen. Es steuert nicht die Aufnahme in die Google Suche oder ihre AI Overviews. Dafür gelten Googlebot und die Steuerelemente für Suchvorschauen. Eine Sperre von Google-Extended ist deshalb kein Ausschluss aus den KI-Antworten der Google Suche.

Quelle: Google-Extendedund KI-Funktionen der Google Suche. Die Tokens verschiedener Anbieter haben unterschiedliche Zwecke; die Auswahl im Tool ersetzt keine Prüfung der jeweiligen Anbieterregeln. Für die ChatGPT-Suche erklärt der Artikel ChatGPT SEO die getrennten Crawler.

So arbeitet der Generator

Der robots.txt Generator läuft vollständig in Ihrem Browser: Domain und Pfade werden nicht an einen Server geschickt, und es gibt kein Nutzungslimit. Aus Ihren Eingaben entsteht zuerst eine Gruppe User-agent: * mit Allow: / und je einer Disallow-Zeile pro gesperrtem Pfad; fehlt der Schrägstrich am Anfang, ergänzt das Tool ihn.

Für GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended schreibt der Generator jeweils eine eigene Gruppe: Disallow: /, wenn der Bot ausgesperrt ist, sonst Allow: / plus Ihre gesperrten Pfade. Die Pfade stehen dort ein zweites Mal, weil ein Crawler mit eigener Gruppe die Regeln unterUser-agent: * nicht mehr liest. Am Ende folgt die ZeileSitemap: mit Ihrer Domain.

Grenzen des Tools

Das Tool erstellt eine neue robots.txt, es prüft keine bestehende: Es ruft Ihre Website nicht auf und testet nicht, ob eine bestimmte URL gesperrt ist. Der Sitemap-Eintrag lautet immer /sitemap-index.xml; heißt Ihre Sitemap anders, passen Sie die Zeile vor dem Hochladen an. Platzhalter wie *oder $ in Pfaden übernimmt der Generator unverändert, ohne sie zu prüfen. Andere Crawler als die fünf KI-Bots, etwa Bingbot oder Bytespider, und Angaben wieCrawl-delay müssen Sie von Hand ergänzen.

Danach

Datei ins Wurzelverzeichnis legen, unter ihre-domain.de/robots.txtaufrufen und in der Search Console mit dem robots.txt-Bericht prüfen. Ergänzend beschreibt die llms.txt, worum es auf Ihrer Website inhaltlich geht.

Weitere Werkzeuge

Alle Tools ansehen

Ein persönlicher Blick

Tools helfen.
Erfahrung verbindet die Punkte.

Ich schaue mir Ihre Website persönlich an und melde mich in der Regel innerhalb von zwei Werktagen.