KI-Crawler in der robots.txt freigeben: GPTBot, OAI-SearchBot, ClaudeBot und Co.

GEO

Gitte Ahsbahs Gitte Ahsbahs auf LinkedIn Zuletzt aktualisiert: 9.10.202612 Min. Lesezeit

Was ist eine robots.txt, und muss ich eine haben?

Die robots.txt ist eine Textdatei im Wurzelverzeichnis Ihrer Website, erreichbar unter ihre-domain.de/robots.txt. Sie sagt Crawlern, welche Adressen sie abrufen dürfen. Seit September 2022 ist das Verfahren als Internetstandard RFC 9309 festgeschrieben.

Pflicht ist die Datei nicht. RFC 9309 regelt: Liefert der Server für die robots.txt einen Fehler aus dem Bereich 400 bis 499, zum Beispiel weil die Datei fehlt, dürfen Crawler alles abrufen. Liefert der Server dagegen einen Fehler aus dem Bereich 500 bis 599, müssen Crawler von einer vollständigen Sperre ausgehen. Eine fehlende Datei ist also harmlos, eine fehlerhaft ausgelieferte nicht.

Drei Regeln aus dem Standard, die in der Praxis zählen:

• Die robots.txt ist eine Bitte, kein Schloss. RFC 9309 sagt ausdrücklich, dass die Regeln keine Zugangsberechtigung sind. Seriöse Betreiber halten sich daran, technisch erzwungen wird nichts.
• Eigene Gruppe schlägt Sterngruppe. Hat ein Crawler eine eigene Gruppe (User-agent: GPTBot), gilt für ihn nur diese. Die Regeln unter User-agent: * gelten nur für Crawler ohne eigene Gruppe.
• Die längste Regel gewinnt. Stehen Allow und Disallow für denselben Pfad im Konflikt, gilt die genauere Angabe.

Wichtig für die Abgrenzung: Die robots.txt steuert das Abrufen, nicht das Erscheinen in der Suche. Google schreibt, dass eine gesperrte Seite trotzdem im Index landen kann, wenn andere Seiten auf sie verlinken. Wer eine Seite aus der Google-Suche heraushalten will, nutzt noindex oder einen Passwortschutz.

Welche KI-Crawler gibt es, und was macht der GPTBot?

Der GPTBot ist der Crawler, mit dem OpenAI Inhalte für das Training seiner Basismodelle sammelt. Mit der ChatGPT-Suche hat er nichts zu tun. Dafür ist OAI-SearchBot zuständig. Diese Trennung gibt es bei fast allen Anbietern. Die folgende Übersicht stammt aus der Dokumentation der Betreiber selbst (Abruf 9. Oktober 2026):

Belegstufe aller Zeilen: vom Hersteller dokumentiert. Groß- und Kleinschreibung der Namen spielt in der robots.txt keine Rolle, das legt RFC 9309 fest.

Zum Common Crawl: Das Archiv ist frei zugänglich und laut Betreiber in über 10.000 Forschungsarbeiten zitiert. Wie es ins Training gelangt, zeigt ein dokumentierter Fall: OpenAI hat GPT-3 zu 60 % mit gefilterten Common-Crawl-Daten trainiert (Brown u. a., 2020).

Training oder Suche: Was sperre ich, was erlaube ich?

Das ist eine unternehmerische Entscheidung. Die Fakten dazu:

Die Such-Crawler entscheiden über die Sichtbarkeit in der KI-Suche. Das ist der einzige Teil, zu dem die Anbieter eine klare Folge nennen. OpenAI schreibt, dass Websites, die OAI-SearchBot sperren, nicht in Antworten der ChatGPT-Suche erscheinen. Perplexity empfiehlt die Freigabe von PerplexityBot. Laut Anthropic verringert eine Sperre von Claude-SearchBot unter Umständen die Sichtbarkeit. Wer in KI-Antworten genannt werden will, lässt OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot und bingbot zu.

Die Trainings-Crawler betreffen das Wissen künftiger Modelle. Dass eine Freigabe für das Training zu mehr Nennungen in KI-Antworten führt, haben wir in keiner Quelle belegt gefunden. Belegt ist nur, dass die Anbieter Training und Suche getrennt steuern lassen. OpenAI schreibt wörtlich, die Einstellungen seien voneinander unabhängig.

Drei Sonderfälle, bei denen die Trennung nicht sauber ist:

1. Google-Extended ist kein reiner Trainingsschalter. Laut Google steuert er auch das Grounding in den Gemini-Apps, also die Untermauerung von Gemini-Antworten mit Inhalten aus dem Google-Index. Wer ihn sperrt, verzichtet auch darauf. Auf die Google-Suche und AI Overviews wirkt er nicht.
2. Microsoft hat keinen eigenen KI-Crawler. Copilot nutzt laut Bing-Richtlinien dieselbe Grundlage wie die Bing-Suche. Gesteuert wird über Meta-Tags auf der Seite: NOARCHIVE schließt Inhalte aus Copilot-Antworten aus und laut Microsoft-Blog von 2023 auch aus dem Training. NOCACHE beschränkt Copilot auf Adresse, Titel und Snippet. In der Bing-Suche bleibt die Seite in beiden Fällen.
3. AI Overviews und AI Mode steuern Sie nicht über Google-Extended, sondern über den Googlebot, die Snippet-Regeln (nosnippet, max-snippet) und seit 31. August 2026 über einen Schalter in der Google Search Console. Voreinstellung ist die Aufnahme. Eine Property kann den Wert von einer übergeordneten Property erben. Prüfen Sie unter „Einstellungen“, was für Ihre Domain gilt.

Unsere Einschätzung: Für die meisten Unternehmenswebsites ist der Inhalt Werbung für das eigene Angebot. Dort spricht wenig gegen eine vollständige Freigabe. Wer exklusive Inhalte hat, zum Beispiel Fachartikel hinter einer Bezahlschranke, sperrt das Training und lässt die Suche zu.

Wie erstelle ich eine robots.txt für KI-Crawler?

1. Bestehende Datei sichern:ihre-domain.de/robots.txt aufrufen und den Inhalt kopieren. Manche Systeme erzeugen die Datei automatisch.
2. Ziel festlegen: alles erlauben, oder Suche erlauben und Training sperren.
3. Datei schreiben: reiner Text, Zeichenkodierung UTF-8, Dateiname robots.txt in Kleinbuchstaben. Google rät von Textverarbeitungen ab, weil sie typografische Anführungszeichen einfügen.
4. Hochladen: in das Wurzelverzeichnis des Hosts. Jede Subdomain braucht eine eigene Datei.
5. Prüfen: mit den Schritten im nächsten Abschnitt.

Variante 1: alles erlauben (Beispiel ausgedacht)

Kopieren

# Alle Crawler dürfen alles, außer internen Bereichen
User-agent: *
Disallow: /warenkorb/
Disallow: /kundenkonto/

Sitemap: https://www.tischlerei-muster.de/sitemap.xml

Eigene Gruppen für GPTBot oder OAI-SearchBot brauchen Sie dafür nicht. Ohne eigene Gruppe gilt für jeden Crawler die Sterngruppe.

Variante 2: Suche erlauben, Training sperren (Beispiel ausgedacht)

Kopieren

# Suche: Googlebot, bingbot, OAI-SearchBot, PerplexityBot,
# Claude-SearchBot, Applebot und alle anderen folgen dieser Gruppe
User-agent: *
Disallow: /warenkorb/
Disallow: /kundenkonto/

# Training sperren
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

# Nur eintragen, wenn Sie auch auf Grounding in den Gemini-Apps verzichten:
# User-agent: Google-Extended
# Disallow: /

Sitemap: https://www.tischlerei-muster.de/sitemap.xml

Mehrere User-agent-Zeilen über einer Regel sind laut RFC 9309 eine Gruppe. Achten Sie auf einen häufigen Fehler: Ein Disallow: / unter User-agent: * sperrt jeden Crawler ohne eigene Gruppe, also auch OAI-SearchBot, PerplexityBot und Claude-SearchBot.

Wie prüfe ich, ob meine robots.txt korrekt ist?

OpenAI, Perplexity und Anthropic nennen in ihrer Crawler-Dokumentation keinen robots.txt-Tester. So prüfen Sie selbst:

1. Datei aufrufen:ihre-domain.de/robots.txt im Browser. Erwartet: Status 200, reiner Text. Eine HTML-Seite oder eine Weiterleitung auf die Startseite ist ein Fehler.
2. Gruppen lesen: Für jeden Crawler aus der Tabelle oben klären, welche Gruppe für ihn gilt. Eigene Gruppe vorhanden? Dann gilt die Sterngruppe für ihn nicht.
3. Google prüfen: Der robots.txt-Bericht in der Google Search Console zeigt, welche Datei Google gefunden hat, wann zuletzt, und welche Zeilen Fehler enthalten.
4. Bing prüfen: Der robots.txt-Tester in den Bing Webmaster Tools zeigt für eine Adresse, welche Zeile sie sperrt. Er testet Bingbot und AdIdxbot, nicht die Crawler anderer Anbieter.
5. Andere Crawler testen: Google stellt seine robots.txt-Bibliothek als offenen Quellcode bereit. Damit prüfen Entwickler lokal jeden beliebigen User-Agent.
6. Wartezeit einplanen: OpenAI nennt ca. 24 Stunden, bis eine Änderung in der Suche wirkt, Perplexity bis zu 24 Stunden. RFC 9309 erlaubt Crawlern, die Datei bis zu 24 Stunden zwischenzuspeichern.

In 4 von 192 Website-Analysen über geo-profis.de waren KI-Crawler in der robots.txt blockiert oder nicht geregelt, also in 2 %. Die Analysen stammen überwiegend von kleinen und mittleren Unternehmen und sind nicht repräsentativ. Unsere Analyse liest die robots.txt. Eine Sperre in der Firewall erkennt sie nicht. Aktuelle Zahlen: Website-Analysen.

Warum kommen KI-Crawler trotz Freigabe nicht auf meine Website?

Die robots.txt ist nur eine von zwei Stellen. Die zweite ist die Firewall oder das Content Delivery Network vor Ihrer Website. Dort werden Crawler technisch abgewiesen, egal was in der robots.txt steht.

Cloudflare ist der bekannteste Fall, und die Dokumentation von Cloudflare beschreibt die Mechanik:

• Die Einstellung „Block AI bots“ blockiert Crawler, die Cloudflare als Trainings-Crawler einstuft. Laut Cloudflare blockiert jede Einstellung, die das Training sperrt, auch Crawler mit gemischtem Zweck aus Suche und Training.
• Für neue Domains ab 15. September 2026 blockiert Cloudflare in der Voreinstellung Trainings- und Agenten-Crawler auf Seiten mit Werbung. Such-Crawler bleiben erlaubt.
• Cloudflare kann die robots.txt selbst verwalten und Sperrzeilen für GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended und meta-externalagent einfügen. Stehen in Ihrer robots.txt Zeilen, die Sie nie geschrieben haben, ist das die erste Spur. Dazu gehört auch eine Zeile Content-signal. Sie ist ein Vorschlag von Cloudflare und nicht Teil von RFC 9309. Ob OpenAI, Google oder Anthropic sie auswerten, steht in deren Crawler-Dokumentation nicht.
• Im Bereich AI Crawl Control zeigt Cloudflare, welche KI-Crawler Ihre Seite abrufen und welche blockiert werden.

Auch bei anderen Firewalls gilt: OpenAI empfiehlt, Anfragen aus den veröffentlichten IP-Bereichen von OAI-SearchBot zuzulassen. Perplexity beschreibt in seiner Dokumentation, wie Sie PerplexityBot in Cloudflare und AWS ausdrücklich freigeben. Anthropic warnt umgekehrt: Wer Anthropic-IP-Adressen sperrt, statt die robots.txt zu nutzen, verhindert, dass die Crawler die robots.txt überhaupt lesen.

Ein Hinweis zur Echtheit: Common Crawl warnt, dass sich fremde Crawler als CCBot ausgeben. Ein Name in den Server-Protokollen beweist nichts. OpenAI, Perplexity, Anthropic, Apple und Common Crawl veröffentlichen ihre IP-Bereiche, damit Sie echte Abrufe erkennen.

robots.txt, noindex, llms.txt: Was steuert was?

Die llms.txt ist kein Ersatz für die robots.txt. Was sie leistet und was nicht, steht in llms.txt: Anleitung mit Beispiel.

Für die Google-Suche gilt dabei, was Google selbst schreibt: Optimierung für die generative KI-Suche ist aus Sicht von Google weiterhin SEO. Die robots.txt ist die Voraussetzung, nicht der Hebel. Ob eine freigegebene Seite auch genannt wird, hängt von Inhalt, strukturierten Daten und externen Quellen ab.

Checkliste KI-Crawler

• ihre-domain.de/robots.txt liefert Status 200 und Text, keinen Serverfehler
• Kein Disallow: / unter User-agent: *, wenn Sie in der KI-Suche erscheinen wollen
• OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot und bingbot sind frei
• Entscheidung zum Training bewusst getroffen: GPTBot, ClaudeBot, CCBot, Applebot-Extended, meta-externalagent
• Google-Extended nur gesperrt, wenn Sie auf Grounding in den Gemini-Apps verzichten
• Search Console: Schalter „Search generative AI“ geprüft, robots.txt-Bericht ohne Fehler
• Firewall oder Cloudflare: keine Sperre für Such-Crawler, AI Crawl Control angesehen
• Jede Subdomain hat ihre eigene robots.txt
• Nach jeder Änderung 24 Stunden warten, dann erneut prüfen

Kostenloser Check

Wo steht Ihre Website?

Zehn Kategorien, Ergebnis in unter zwei Minuten.

Check starten

Häufige Fragen zu KI-Crawlern und robots.txt

Was ist der GPTBot?

Der GPTBot ist der Crawler, mit dem OpenAI Inhalte für das Training seiner Basismodelle sammelt. Für die Sichtbarkeit in der ChatGPT-Suche ist er nicht zuständig, dafür ist OAI-SearchBot da.

Erscheine ich nicht mehr in ChatGPT, wenn ich GPTBot sperre?

Für die ChatGPT-Suche entscheidet OAI-SearchBot, nicht GPTBot. OpenAI schreibt, dass beide Einstellungen unabhängig voneinander sind. Wer GPTBot sperrt und OAI-SearchBot zulässt, bleibt für die Suche erreichbar.

Kann ich AI Overviews über Google-Extended abschalten?

Nein. Google schreibt, dass Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst. Für AI Overviews und AI Mode gelten der Googlebot, die Snippet-Regeln und der Schalter in der Search Console.

Was passiert, wenn meine Website keine robots.txt hat?

Nach RFC 9309 dürfen Crawler dann alles abrufen. Problematisch ist ein Serverfehler beim Abruf der Datei: Dann müssen Crawler von einer vollständigen Sperre ausgehen.

Halten sich alle KI-Crawler an die robots.txt?

Die Crawler für Training und Suche laut ihren Betreibern ja. Abrufe auf Nutzerfrage sind unterschiedlich geregelt: Perplexity-User ignoriert die robots.txt in der Regel, bei ChatGPT-User gelten die Regeln laut OpenAI unter Umständen nicht, Meta-ExternalFetcher kann sie umgehen. Claude-User hält sich laut Anthropic daran.

Weiterlesen: Warum findet ChatGPT meine Website nicht? · llms.txt: Anleitung mit Beispiel · Strukturierte Daten (JSON-LD) · Leistung: GEO-Optimierung · Die Voraussetzungen Ihrer Startseite prüft der kostenlose GEO-Check.

Quellen (Abruf 9. Oktober 2026)

Weiterlesen

• GEO Wikidata, Wikipedia und Knowledge Panel: Wie Google und KI-Systeme ein Unternehmen erkennen \ \ Google ordnet Suchanfragen Einheiten zu, also Personen, Orten, Organisationen, und speichert die Fakten\ dazu im Knowledge Graph.\ \ Gitte Ahsbahs · aktualisiert 10.10.2026 · 14 Min. Lesezeit
• GEO PR im KI-Zeitalter: welche Pressearbeit in ChatGPT, Gemini und Google ankommt \ \ KI-Systeme zitieren zu einem großen Teil Seiten, die nicht dem genannten Unternehmen gehören, darunter viele journalistische Beiträge.\ \ Gitte Ahsbahs · aktualisiert 10.10.2026 · 11 Min. Lesezeit
• KI-generiert\ \ GEO Texte für KI-Suchmaschinen schreiben: was belegt ist und was nicht \ \ Für KI-Suchmaschinen brauchen Sie keine eigene Schreibweise: Google sagt das für AI Overviews und AI Mode ausdrücklich.\ \ Gitte Ahsbahs · aktualisiert 9.10.2026 · 12 Min. Lesezeit

Wie steht Ihr Unternehmen aktuell da?

Das Website-Röntgen prüft Ihre Seite in zehn Kategorien und zeigt die wichtigsten Baustellen – kostenlos.

Kostenlosen Check anfragen Zurück zum Wissens-Hub