Crawling steuern

robots.txt Generator

Eine klare Route für Crawler.

Erstellen Sie eine robots.txt mit Sitemap-Verweis und gesperrten Pfaden. Für die KI-Crawler entscheiden Sie separat, ob sie mitlesen dürfen.

Ohne AnmeldungEingaben bleiben lokal

Crawling steuern

robots.txt zusammenstellen

Domain eintragen, Pfade sperren, KI-Crawler freigeben oder aussperren. Das Ergebnis gehört als robots.txt ins Wurzelverzeichnis.

Angehakt heißt: darf crawlen.

Hinweis

robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Wenn eine Seite wirklich nicht in den Index soll, brauchen Sie ein noindex im Seitenkopf – und dafür muss die Seite crawlbar bleiben.

Gut zu wissen

Der häufigste Fehler

Ein Disallow: / aus der Testumgebung geht mit live und sperrt die komplette Website aus. Prüfen Sie nach jedem Relaunch als Erstes Ihre robots.txt – das ist der schnellste Weg, einen Sichtbarkeitseinbruch zu erklären.

Rechtsseiten nicht sperren

Impressum und Datenschutz gehören zu den wenigen Vertrauenssignalen, die Google zuverlässig auswerten kann. Sperren Sie sie nicht per robots.txt. Wenn sie nicht in den Index sollen, setzen Sie noindex.

KI-Crawler: aussperren oder nicht?

Wer in ChatGPT, Perplexity oder AI Overviews genannt werden will, muss die entsprechenden Bots zulassen – ohne Zugriff kein Zitat. Wer seine Inhalte nicht für das Training von Sprachmodellen freigeben möchte, sperrt GPTBot und Google-Extended, lässt aber die Such-Bots wie OAI-SearchBot zu. Die Trennung ist nicht überall sauber, deshalb steht hier jeder Bot einzeln.

Danach

Datei ins Wurzelverzeichnis legen, unter ihre-domain.de/robots.txtaufrufen und in der Search Console mit dem robots.txt-Bericht prüfen. Ergänzend beschreibt die llms.txt, worum es auf Ihrer Website inhaltlich geht.

Weitere Werkzeuge

Alle Tools ansehen
Suchergebnis

Meta & SERP

Title und Description schreiben, Suchergebnis live sehen, HTML kopieren.

Sauber weiterleiten

Weiterleitungen

301-Regeln für .htaccess erzeugen, inklusive Prüfung auf Ketten und Schleifen.

KI-Suche

llms.txt

Die Datei erzeugen, mit der Sie KI-Systemen Ihre Website erklären.

Fragen strukturieren

FAQ-Schema

FAQPage-JSON-LD für beliebig viele Fragen erzeugen.

Lokal verstanden werden

LocalBusiness

Unternehmensdaten als LocalBusiness-JSON-LD auszeichnen.

Geteilt werden

Open Graph

Open-Graph-Tags erzeugen und die Link-Vorschau prüfen.

Kampagnen messen

UTM-Links

Kampagnen-Links mit UTM-Parametern bauen.

Themen finden

Keyword-Potenzial

Grobe Einschätzung, wie schwer ein Keyword zu erreichen ist.

Ein persönlicher Blick

Tools helfen.
Erfahrung verbindet die Punkte.

Ich schaue mir Ihre Website persönlich an und melde mich in der Regel innerhalb von zwei Werktagen.

Ersteinschätzung anfordernSEO-Checkliste mit 56 Punkten