Schadet es meiner Sichtbarkeit, wenn ich GPTBot blockiere?

Nein, solange OAI-SearchBot erlaubt bleibt. GPTBot sammelt laut OpenAI Material für das Training der Modelle, OAI-SearchBot beliefert die Suchfunktionen in ChatGPT und erzeugt damit die Antworten mit Quellenangabe. Beide Bots zu sperren ist der häufigste Fehler, weil er wie eine Entscheidung aussieht, aber zwei sind.

Wie blockiere ich Bots, die sich nicht an die robots.txt halten?

Über die Firewall oder das CDN, nicht über die Datei. ChatGPT-User, Perplexity-User und meta-externalfetcher werden durch eine Nutzeranfrage ausgelöst, und die Anbieter behalten sich für diesen Fall ausdrücklich vor, robots.txt-Regeln nicht anzuwenden. Bei Cloudflare läuft das über die Bot-Kategorien im Dashboard, sonst über Regeln auf User-Agent und verifizierte IP-Bereiche.

Wie schnell wirkt eine Änderung an der robots.txt?

Nicht sofort, weil Crawler die Datei zwischenspeichern. Meta nennt für die eigenen Bots bis zu 24 Stunden, bei anderen Anbietern liegt die Spanne je nach Crawl-Frequenz der Seite eher bei Tagen. Plane die Prüfung im Server-Log deshalb frühestens eine Woche nach der Änderung ein.

Brauche ich zusätzlich eine llms.txt?

Sie ersetzt die robots.txt nicht, sie ergänzt sie. Die robots.txt steuert den Zugriff, die llms.txt gibt KI-Systemen einen kuratierten Überblick über die wichtigsten Inhalte. Sinnvoll ist die Reihenfolge: erst den Zugang richtig einstellen, dann die Orientierung verbessern.

Welche KI-Crawler soll ich zulassen?

Q: Woran erkenne ich, ob ein Bot echt ist?

An der IP-Adresse, nicht am Namen. Der User-Agent ist frei wählbar und wird regelmäßig gefälscht, deshalb veröffentlichen die Anbieter maschinenlesbare IP-Listen, etwa Anthropic unter claude.com/crawling/bots.json. Prüfe die zugreifende IP gegen diese Liste oder per Reverse-DNS, bevor du aus Logdaten Schlüsse ziehst.

Wofür crawlen die Anbieter überhaupt?

Für drei verschiedene Zwecke, und die großen Anbieter trennen diese Zwecke inzwischen selbst nach Bot: Suche, Training und Abruf auf Nutzeranfrage. Wer eine einzige Regel für alle KI-Bots schreibt, trifft drei Entscheidungen auf einmal, ohne sie getroffen zu haben.

Suche: Der Bot baut einen Index, aus dem später Antworten mit Quellenangabe entstehen. Das ist der einzige Zweck, der dir Zitate und Links bringt.
Training: Der Bot sammelt Material für kommende Modellgenerationen. Was er mitnimmt, taucht frühestens mit dem nächsten Trainingsstand auf, ohne Link und ohne Nennung deiner Domain.
Abruf auf Nutzeranfrage: Jemand hat im Chat einen Link geschickt oder nach deinem Angebot gefragt, und das System holt die Seite live. Das ist kein Crawling im eigentlichen Sinn, sondern ein einzelner Zugriff mit einer Person dahinter.

Wie ungleich sich diese drei Zwecke verteilen, hat Cloudflare gemessen: Im Juli 2025 entfielen knapp 80 Prozent des Crawlings von KI-Bots auf Training, während Abrufe auf Nutzeranfrage zusammen mit nicht deklarierten Zwecken unter 5 Prozent blieben (Cloudflare, 28. August 2025). Der Zweck, der am wenigsten Last erzeugt, ist also derselbe, der am ehesten jemanden auf deine Seite bringt.

Welcher Bot gehört wozu?

Diese Tabelle ist die eigentliche Entscheidung. Sie führt die verbreiteten Bots mit dem Zweck auf, den der Anbieter selbst angibt, und mit der Empfehlung für eine Website, die über Sichtbarkeit Kund*innen gewinnt. Stand: August 2026, geprüft an den Anbieter-Dokumentationen.

Bot	Zweck laut Anbieter	robots.txt	Empfehlung
`OAI-SearchBot`	OpenAI: Suchfunktionen in ChatGPT	befolgt	zulassen
`GPTBot`	OpenAI: Training der Foundation Models	befolgt	frei entscheiden
`ChatGPT-User`	OpenAI: Abruf auf Nutzeranfrage	greift ggf. nicht	zulassen
`OAI-AdsBot`	OpenAI: Prüfung von Anzeigenseiten	befolgt	nur bei Anzeigen relevant
`Claude-SearchBot`	Anthropic: Qualität der Suchergebnisse	befolgt	zulassen
`ClaudeBot`	Anthropic: Inhalte, die ins Training einfließen können	befolgt	frei entscheiden
`Claude-User`	Anthropic: Abruf auf Nutzeranfrage	befolgt	zulassen
`PerplexityBot`	Perplexity: Suchergebnisse, laut Anbieter kein Training	befolgt	zulassen
`Perplexity-User`	Perplexity: Abruf auf Nutzeranfrage	wird meist ignoriert	zulassen
`Googlebot`	Google: Suchindex, Grundlage für AI Overviews und AI Mode	befolgt	zulassen
`Google-Extended`	Google: Training und Grounding für Gemini und Vertex AI	befolgt	frei entscheiden
`Google-CloudVertexBot`	Google: Vertex-AI-Agenten auf Anforderung des Betreibers	befolgt	nur bei eigenem Einsatz
`Bingbot`	Microsoft: Suchindex, Grundlage für Copilot	befolgt	zulassen
`Applebot`	Apple: Suche in Spotlight, Siri und Safari	befolgt	zulassen
`Applebot-Extended`	Apple: Training der Foundation Models	befolgt	frei entscheiden
`meta-webindexer`	Meta: Suchergebnisse in Meta AI	befolgt	zulassen
`meta-externalagent`	Meta: Training und Indexierung für Produkte	befolgt	frei entscheiden
`meta-externalfetcher`	Meta: Abruf auf Nutzeranfrage	kann umgangen werden	zulassen
`CCBot`	Common Crawl: offener Datensatz, den viele Modelle nutzen	befolgt	frei entscheiden

Zwei Zeilen verdienen besondere Aufmerksamkeit, weil sie am häufigsten falsch verstanden werden. Google-Extended ist kein Crawler, sondern ein Schalter: Er steuert, ob bereits gecrawlte Inhalte für das Training künftiger Gemini-Modelle verwendet werden dürfen, und hat keinen Einfluss auf die Aufnahme in die Suche (Google Search Central, 2026). Für Applebot-Extended gilt dasselbe Prinzip, Apple formuliert es sogar ausdrücklich: Die Kennung crawlt selbst keine Seiten, und wer sie sperrt, bleibt in den Suchergebnissen (Apple Support, 2026). Beide sind damit die einzigen Sperren in dieser Liste, die dich garantiert nichts kosten.

Was kostet dich ein pauschaler Block?

Die Sichtbarkeit in genau den Antworten, die verlinken. Wer alle KI-Bots aussperrt, verschwindet aus den Antworten von ChatGPT, Perplexity und Copilot, ohne dass die Trainingsdaten dadurch zurückkämen, die längst in älteren Modellständen stecken. Der Schutz wirkt nach vorn, der Verlust wirkt sofort.

Trotzdem hat die Gegenseite gute Argumente, und sie lassen sich beziffern. Cloudflare stellt dem Crawling die zurückgeschickten Besuche gegenüber: Anfang August 2025 kam Anthropic auf ein Verhältnis von knapp 50.000 abgerufenen Seiten pro Verweis, OpenAI auf 887 zu 1 und Perplexity auf 118 zu 1 (Cloudflare, 28. August 2025). Für ein werbefinanziertes Medium, das jeden Seitenaufruf verkauft, ist das ein schlechtes Geschäft. Für ein Unternehmen, das über Sichtbarkeit Kund*innen gewinnt, sieht die Rechnung anders aus: Dort ist die Erwähnung in der Antwort selbst der Wert, auch ohne Klick.

Die ehrliche Trennlinie verläuft also nicht zwischen offen und geschlossen, sondern zwischen den drei Zwecken. Für die meisten Unternehmensseiten lautet die Antwort: Suche zulassen, Nutzerabrufe zulassen, beim Training entscheiden, wie man zu der Frage steht.

Wie sieht eine robots.txt aus, die das trennt?

Vorweg eine Regel, an der die meisten selbstgebauten Dateien scheitern: Ein Bot liest nur die Gruppe, die auf seinen Namen passt. Steht sein Name irgendwo in der Datei, ignoriert er User-agent: * vollständig, auch alles, was dort erlaubt wäre. Wer einzelne Bots benennt, muss jede Regel für sie also wiederholen, statt sich auf die Sammelgruppe zu verlassen.

Für eine Unternehmensseite, die über Sichtbarkeit verkauft, reicht das offene Profil:

User-agent: *
Allow: /

Sitemap: https://deine-domain.de/sitemap.xml

Wer die Suche zulassen und das Training begrenzen will, benennt beide Seiten ausdrücklich:

# Suche und Antworten: erwünscht
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Applebot
Allow: /

User-agent: meta-webindexer
Allow: /

# Abrufe auf Nutzeranfrage: erwünscht
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

# Training: nicht erwünscht
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://deine-domain.de/sitemap.xml

Für Publikationen mit bezahlten Inhalten kommt eine dritte Variante infrage: Such-Crawler auf die frei zugänglichen Verzeichnisse begrenzen, den Rest sperren und die kostenpflichtigen Bereiche zusätzlich serverseitig schützen. Eine robots.txt ist eine Bitte, kein Schloss, und sie eignet sich nicht dazu, Inhalte vertraulich zu halten.

Warum entscheidet die robots.txt nicht allein?

Weil drei Ebenen nacheinander greifen: Die robots.txt bittet, die Firewall entscheidet, die Meta-Tags regeln die Verwendung.

Die zweite Ebene ist die, die am häufigsten übersehen wird, weil sie niemand in der Datei sieht. Cloudflare hat die Steuerung im Juli 2026 in die drei Klassen Search, Agent und Training aufgeteilt und setzt für neu hinzukommende Domains ab dem 15. September 2026 neue Standardwerte: Search bleibt erlaubt, Agent und Training werden auf werbefinanzierten Seiten blockiert, und Mehrzweck-Crawler, die Suche und Training verbinden, fallen unter die Training-Sperre (Cloudflare Changelog, 1. Juli 2026). Wer seine robots.txt sorgfältig pflegt und das Dashboard nie öffnet, kann deshalb blockieren, ohne es zu wissen.

Die dritte Ebene greift erst nach dem Crawl und steuert nicht den Zugriff, sondern die Verwendung. Microsoft baut sie auf bestehende Meta-Tags: noarchive schließt eine Seite aus den Copilot-Antworten aus, nocache erlaubt nur URL, Titel und Snippet, und in beiden Fällen bleibt die Seite in den Bing-Suchergebnissen (Bing Webmaster Blog, 22. September 2023). Bei Google wirken nosnippet, max-snippet, data-nosnippet und noindex vergleichbar: Sie begrenzen die Vorschau und damit auch die KI-Funktionen. Wie die Auswahl dort im Detail funktioniert, steht in Wie komme ich in Google AI Overviews?

Welche Bots halten sich nicht an die robots.txt?

Die, die eine Person ausgelöst hat, und die Anbieter sagen das offen. OpenAI schreibt zu ChatGPT-User, dass robots.txt-Regeln bei nutzerinitiierten Aktionen möglicherweise nicht greifen (OpenAI-Doku, 2026). Perplexity formuliert für Perplexity-User, dass die Regeln in der Regel ignoriert werden, weil der Abruf auf eine konkrete Nutzerfrage zurückgeht (Perplexity-Doku, 2026). Meta hält es bei meta-externalfetcher genauso (Meta-Doku, 2026).

Das ist kein Regelbruch, sondern eine bewusste Unterscheidung: Ein Mensch, der einen Link öffnet, ist kein Crawler. Wer diese Zugriffe trotzdem verhindern will, braucht die Firewall statt der Datei. Die Frage ist nur, ob man das will, denn hinter jedem dieser Abrufe steht jemand, der gerade nach dir gefragt hat.

Die zweite Gruppe sind Bots, die sich nur so nennen. Der User-Agent ist ein frei wählbarer Text, und Common Crawl warnt ausdrücklich vor Crawlern, die sich fälschlich als CCBot ausgeben. Deshalb veröffentlichen die Anbieter maschinenlesbare IP-Listen, etwa Anthropic unter claude.com/crawling/bots.json. Prüfe die IP, bevor du aus einem Namen im Log eine Schlussfolgerung ziehst.

Wie prüfst du, ob deine Entscheidung wirkt?

Im Server-Log, eine Woche nach der Änderung, weil Crawler die robots.txt zwischenspeichern. Meta nennt dafür bis zu 24 Stunden, bei selten besuchten Seiten dauert es länger. Filtere die Zugriffe der letzten 30 Tage nach den Bot-Namen aus der Tabelle und vergleiche das Ergebnis mit deiner Absicht: Such-Crawler regelmäßig, Trainings-Crawler entsprechend deiner Einstellung, Nutzerabrufe vereinzelt und in Wellen.

Damit ist allerdings nur die halbe Frage beantwortet. Zugang ist die Voraussetzung für ein Zitat, nicht der Beweis dafür. Ob aus dem Zugriff eine Erwähnung wird, zeigt erst die Messung über mehrere Läufe hinweg, und die läuft anders als ein Ranking-Check: Wie messe ich meine Sichtbarkeit in KI-Antworten? beschreibt die Kennzahlen dafür. Und wenn der Zugang stimmt und die Nennung trotzdem ausbleibt, hilft die Diagnose in Warum werde ich in KI-Antworten nicht zitiert? weiter.

Genau an dieser Stelle setzt flize an: Der GEO-Score prüft Zugang und Lesbarkeit deiner Seiten, das Scouting findet die Fragen, die deine Zielgruppe wirklich stellt, der Antwort-Check gleicht sie mit deiner Website ab, und die Content-Produktion schließt die Lücken. Artikel, geschrieben, um zitiert zu werden.