Welche KI-Crawler sind relevant?
GPTBot und OAI-SearchBot von OpenAI, ClaudeBot und ClaudeBot-User von Anthropic, PerplexityBot, Google-Extended für Gemini und AI Overviews sowie CCBot für Common Crawl, aus dem viele Modelle ihr Trainingsmaterial beziehen.
Diese Namen ändern sich gelegentlich. Prüfen Sie einmal pro Quartal Ihre Server-Logs darauf, welche User-Agents tatsächlich anfragen.
Was passiert bei einem Disallow?
Bei einem Disallow ruft der Crawler Ihre Seiten nicht ab. Das System kann dann höchstens noch auf Sekundärquellen zurückgreifen – Verzeichnisse, Presse, Wettbewerber-Vergleiche.
Praktisch bedeutet das: Über Ihr Unternehmen wird geredet, aber nicht mit Ihren Worten. Korrekturen an falschen Angaben werden dadurch nahezu unmöglich.
Wie sieht eine sinnvolle Freigabe aus?
Pro Bot ein eigener Block mit User-agent und Allow: /, ergänzt um gezielte Disallow-Regeln für Bereiche, die niemand zitieren soll: Login, Warenkorb, interne Suche, Kundenportale.
Ergänzen Sie am Ende die Sitemap-Zeile. Sie kostet nichts und erhöht die Wahrscheinlichkeit, dass auch tiefer liegende Seiten abgerufen werden.
Muss ich Angst um meine Inhalte haben?
Zwischen Training und Abruf zur Beantwortung wird unterschieden. Wer Training ausschließen, aber zitiert werden will, sperrt CCBot und Google-Extended und gibt OAI-SearchBot, PerplexityBot und ClaudeBot frei.
Diese Trennung ist eine unternehmerische Entscheidung. Eine Komplettsperre ist es auch – nur wird sie meist versehentlich getroffen, nicht bewusst.