Einleitung

Jeder Artikel über KI-Crawler warnt vor demselben Fehler. Du hast GPTBot während der Scraping-Panik 2023 blockiert, so lautet die Warnung, und dabei versehentlich auch die neueren Agenten mitgeschnappt, die Seiten abrufen, um sie in Live-Antworten zu zitieren. Du wolltest eigentlich nur die Trainings-Scraper stoppen und hast dich damit stillschweigend aus dem Empfehlungssystem ausgeschlossen.

Wir haben überprüft, ob das tatsächlich passiert.

Über 219 Domains hinweg ist das kein einziges Mal passiert.

Nicht selten. Nicht in einer Handvoll Fällen. Nicht ein einziges Mal.

Methodik

Wir haben die zwanzig besten organischen Ergebnisse für 26 kommerzielle Suchanfragen aus sieben Kategorien herangezogen: SaaS, E-Commerce, Finanzen, Gesundheit, Reisen, Wohnen und Marketing. Daraus ergaben sich 254 eindeutige Domains. Am 28. Juli 2026 haben wir für jede davon die robots.txt abgerufen, wobei 219 aufgelöst werden konnten. Sieben davon stellten überhaupt keine robots.txt bereit, was als „alles zulassen“ gilt.

Für jede Domain haben wir jeden KI-User-Agent anhand der Datei unter Anwendung der Standard-Prioritätsregel abgeglichen: Die spezifischste übereinstimmende User-Agent-Gruppe hat Vorrang, sodass eine exakte Übereinstimmung mit einem User-Agent die Regel „*“ außer Kraft setzt. Eine Domain gilt als einen User-Agent blockierend, wenn ihre vorrangige Gruppe den Site-Root ohne eine spezifischere Zulassung verbietet.

Es wurden zwölf User-Agents geprüft, unterteilt nach dem, was sie ausgeben.

Agent	Betreiber	Feeds
GPTBot	OpenAI	Training
OAI-SearchBot	OpenAI	ChatGPT-Suchzitate
ClaudeBot	Anthropic	Training
Claude-SearchBot	Anthropic	Claude-Suchzitate
PerplexityBot	Perplexity	Antworten
DuckAssistBot	DuckDuckGo	Antworten
Amazonbot	Amazon	Antworten
CCBot	Common Crawl	ein Korpus, auf das viele Modelle zurückgreifen
Google-Extended	Google	Gemini-Training, nicht Suche
Applebot-Extended	Apple	Training
Bytespider	ByteDance	Schulung
Meta-Externer-Agent	Meta	Training

Ergebnisse

77 % dieser Domains lassen jeden KI-Agenten zu. 23 % blockieren mindestens einen.

Agent	Blockiert	Domains, die ihn explizit nennen
Bytespider	20 %	45
CCBot	20 %	47
ClaudeBot	17 %	50
Google-Erweitert	16 %	46
Meta-Externalagent	16 %	38
PerplexityBot	15 %	44
GPTBot	14 %	53
Applebot-Extended	14 %	39
Amazonbot	13 %	39
Claude-SearchBot	10 %	22
DuckAssistBot	10 %	24
OAI-SearchBot	9 %	34

Der am seltensten blockierte Agent ist derjenige, der Seiten für ChatGPT zum Zitieren abruft. Die am häufigsten blockierten Agenten sind diejenigen, die Daten für Trainingskorpora sammeln.

Diese Reihenfolge ist kein Zufall und stellt das gesamte Ergebnis dar.

Niemand macht einen Fehler. Jeder trifft eine Entscheidung

Betrachten Sie die beiden Betreiber, die sowohl einen Trainings-Crawler als auch einen Such-Crawler betreiben.

	Blockiert beides	Blockiert das Training, erlaubt die Suche	Blockiert die Suche, erlaubt das Training
OpenAI, GPTBot / OAI-SearchBot	9 %	5 %	0 %
Anthropic, ClaudeBot / Claude-SearchBot	10 %	7 %	0 %

Zwölf Domains blockieren GPTBot, während sie OAI-SearchBot bewusst zulassen. Fünfzehn verfahren bei Anthropic genauso. Das ist eine konsequente Richtlinie: Trainiert nicht mit meinen Inhalten, aber zitiert mich ruhig.

Niemand macht es umgekehrt.

Zwei weitere Zahlen weisen in dieselbe Richtung. Nur vier Domains in der gesamten Stichprobe verwenden ein pauschales „User-agent: *“-Verbot, und genau eine blockiert einen KI-Agenten, ohne einen KI-Agenten explizit zu benennen. Wer auch immer diese Dateien bearbeitet, weiß, welche Agenten es gibt und was jeder einzelne tut.

Die Warnung der Branche bezieht sich also auf ein Problem, das in dieser Stichprobe gar nicht existiert. Die interessante Frage ist nicht, ob man die Suchagenten versehentlich blockiert hat. Die Frage ist, ob man dies beabsichtigt hat.

Denn 18 % dieser Domains blockieren mindestens einen Suchagenten und 4 % blockieren alle vier. Diese Websites haben sich dagegen entschieden, in KI-Antworten zu erscheinen, und nach diesen Erkenntnissen haben sie dies absichtlich getan.

Die 5 Möglichkeiten, das Problem noch heute zu beheben

1. Behandeln Sie Training und Suche als zwei getrennte Themen. Es handelt sich um unterschiedliche Entscheidungen, und der Markt hat bereits eine Trennung vorgenommen. Die meisten Publisher wollen das Zweite ohne das Erste. Verfassen Sie die Datei entsprechend, anstatt „KI-Crawler“ als eine einzige Kategorie zu behandeln.

2. Benennen Sie jeden Agenten explizit. Nur vier Domains hier verlassen sich auf den Platzhalter, und das aus gutem Grund: Ein bloßer „User-agent: * disallow“ fängt Agenten ab, die zum Zeitpunkt der Erstellung noch nicht existierten, und wird auch Agenten abfangen, die noch nicht existieren. Zwei der am häufigsten blockierten Agenten in diesen Ergebnissen, Bytespider und meta-externalagent, sind jünger als die meisten der noch immer kursierenden „robots.txt“-Empfehlungen.

3. Überprüfen Sie OAI-SearchBot und Claude-SearchBot namentlich. Diese beiden entscheiden darüber, ob Sie zitiert werden können. Neun bzw. zehn Prozent der Stichprobe blockieren sie. Wenn Sie zu dieser Gruppe gehören und dies nicht beabsichtigt haben, ist dies die Zeile, die Sie ändern müssen, und es ist der einzige Punkt auf dieser Liste, der unmittelbare Auswirkungen auf die Sichtbarkeit hat.

4. Führen Sie vierteljährlich eine erneute Überprüfung durch. Im vergangenen Jahr sind mehrmals neue Agenten aufgetaucht. In einer vor achtzehn Monaten erstellten Datei fehlen Einträge, ganz gleich, wie sorgfältig sie damals verfasst wurde.

5. Überprüfen Sie dies am Rand, nicht nur in der Datei. Bot-Management-Regeln in Ihrem CDN können einen Agenten blockieren, den robots.txt ausdrücklich zulässt, und die Datei gibt Ihnen darüber keinerlei Auskunft. Dies ist der Fehler, der selbst eine perfekte robots.txt-Datei überlebt.

Ein Ansatzpunkt, der die beiden Entscheidungen voneinander trennt:

# Zitieren. Diese Bots rufen Seiten ab, um sie in Live-Antworten zu zitieren.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Treffen Sie Ranktracker
Die All-in-One-Plattform für effektives SEO
Hinter jedem erfolgreichen Unternehmen steht eine starke SEO-Kampagne. Aber bei den zahllosen Optimierungstools und -techniken, die zur Auswahl stehen, kann es schwierig sein, zu wissen, wo man anfangen soll. Nun, keine Angst mehr, denn ich habe genau das Richtige, um zu helfen. Ich präsentiere die Ranktracker All-in-One-Plattform für effektives SEO
Wir haben endlich die Registrierung zu Ranktracker absolut kostenlos geöffnet!
Ein kostenloses Konto erstellen
Oder melden Sie sich mit Ihren Anmeldedaten an 
User-agent: DuckAssistBot
Allow: /
Nicht zum Trainieren verwenden. Ändern Sie diese Einträge auf „Allow“, wenn Sie anderer Meinung sind.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

Das entspricht in etwa der Konfiguration, die bereits bei zwölf bis fünfzehn Domains in diesem Beispiel zum Einsatz kommt. Es handelt sich mittlerweile eher um eine gängige Vorgehensweise als um eine besonders clevere Lösung.

Warum nichts davon in einem Bericht auftaucht, den du bereits ausführst

Die Search Console meldet Googlebot. Über den OAI-SearchBot wird nichts gesagt. Analytics meldet Sitzungen, und eine Suchmaschine, die Sie nie indexiert, sendet keine Sitzungen, die fehlen könnten. Rank-Tracker melden Positionen, und Ihre Positionen sind von all dem unberührt.

Es gibt zwei Möglichkeiten, dies zu erkennen. Man kann die Datei direkt auslesen, wie es in dieser Studie geschehen ist. Oder man geht anhand der Symptome rückwärts vor, indem man mit einem KI-Sichtbarkeitschecker den Suchmaschinen nach einem festgelegten Zeitplan Fragen zu Ihrer Kategorie stellt und auf die Antwort achtet, die besagt, dass sie Sie überhaupt nicht sehen können.

Das Crawler-Audit, das dieser Studie zugrunde liegt, ist dasjenige, das wir bei Honeyb durchführen: Dabei wird jeder im obigen Katalog genannte Agent nach einem Zeitplan – und nicht nur einmalig – anhand der Robots-Regeln einer Website überprüft. Der Zugriff ist der erste von vier Punkten, die dabei geprüft werden. Die anderen drei sind: ob die Suchmaschinen Sie empfehlen, was konkret geändert werden muss und schließlich die Erstellung und Veröffentlichung der Inhalte, die diese Änderungen umsetzen.

Zwei Einschränkungen, die es zu erwähnen gilt

Bei dieser Stichprobe handelt es sich um kommerzielle SERPs in den USA, sodass sie einen Schwerpunkt auf große Publisher und etablierte Marken legt, die sowohl über das nötige Bewusstsein als auch über die rechtliche Beratung verfügen, um hier eine wohlüberlegte Entscheidung zu treffen. Eine Stichprobe von Websites kleiner Unternehmen würde sehr wahrscheinlich anders aussehen, und die Geschichte der versehentlichen Blockierung könnte sich dort durchaus als wahr herausstellen. Das würden wir als Nächstes untersuchen.

Und eine robots.txt-Datei dokumentiert die Absicht, nicht die Durchsetzung. Wir haben nicht getestet, ob diese Domains tatsächlich Inhalte an jeden Agenten ausliefern – hier kommen die CDN-Regeln ins Spiel, und hier tut sich häufig die Kluft zwischen der Datei und der Realität auf.

Die Plattform hinter dieser Studie ist honeyb.ai.