Kurz definiert
Die robots.txt ist eine Datei im Wurzelverzeichnis einer Webseite, die Suchmaschinen- und KI-Crawlern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht. Über Einträge pro Crawler (User-Agent) lässt sich gezielt steuern, wer Zugriff erhält. Für die KI-Sichtbarkeit ist sie zentral: Sperrt man versehentlich KI-Crawler wie GPTBot oder ClaudeBot aus, bleibt die Seite für Sprachmodelle unsichtbar.
Die robots.txt ist seit den Anfängen des Webs der Standard, um Crawlern Regeln zu geben. Jeder seriöse Bot ruft sie zuerst ab und hält sich an ihre Vorgaben. Über Zeilen wie „User-agent" und „Disallow" legt man fest, welche Bereiche tabu sind — etwa interne Verzeichnisse.
Mit dem Aufkommen der KI-Suche ist die Datei wichtiger geworden. Denn dieselben Regeln gelten auch für KI-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended und PerplexityBot. Wer in KI-Antworten vorkommen will, sollte den relevanten Bots den Zugriff erlauben; wer Inhalte schützen will, kann einzelne gezielt ausschließen.
Ein häufiger Fehler: eine zu strenge oder fehlerhafte robots.txt, die versehentlich wichtige Seiten oder KI-Crawler blockiert. Die Folge ist eine unsichtbare Webseite — für Suchmaschinen wie für KI. Die Hirschberg.Group prüft die robots.txt als Teil des technischen Fundaments, damit die richtigen Bots die richtigen Inhalte erreichen.
Mehr dazu auf unserer Themenseite: KI-Sichtbarkeit: der Überblick.
Im Wurzelverzeichnis einer Domain, erreichbar unter /robots.txt — zum Beispiel hirschberg.group/robots.txt.
Ja. Über Einträge pro User-Agent lässt sich festlegen, ob KI-Crawler wie GPTBot oder ClaudeBot die Seite lesen dürfen.
Eine zu strenge oder falsche robots.txt kann wichtige Seiten oder Crawler versehentlich blockieren. Die Seite wird dann für Suchmaschinen und KI unsichtbar.
▸ Der rote Faden
Ob Schulung, Webseite oder Buchungssystem — alles zahlt auf dasselbe Ziel ein: dass die KI Sie empfiehlt, wenn Ihr Kunde fragt. Finden Sie in zwei Minuten heraus, was bei Ihnen zuerst dran ist.
