TIME liefert ClaudeBot 3.096 Wörter – 1.502 sind Werbung
Diese Weiche existiert, sie läuft produktiv, und sie ist dokumentiert (Vincent Schmalbach, The Register). Erzählt wurde darüber bisher fast ausnahmslos eine Erlösgeschichte: Ein Verlag hat einen Weg gefunden, Bot-Traffic abzurechnen. Diese Hälfte ist abgedeckt.
Die andere Hälfte betrifft alle, denen TIME nicht gehört. Jede Website, die um Zitate in KI-Antworten konkurriert, teilt sich die Antwortebene inzwischen mit Seiten, die zum Einlesen gebaut sind und nicht zum Lesen. Und kein Betreiber weiß, ob sein eigener Stack dasselbe tut. Wir haben denselben Test mit sechs User-Agents am selben Morgen gegen unsere eigene Seite gefahren und für jeden Agenten 631.385 Byte byte-identisches HTML zurückbekommen, für Mensch und Crawler gleichermaßen. Der Test dauerte neunzig Sekunden, und wir hatten ihn zuvor nie durchgeführt.
Im Folgenden steht, was TIME tatsächlich ausliefert, wie die Weiche technisch funktioniert, warum es kein Cloaking im Sinne Ihrer SEO-Tools ist – und mit welchem Befehl Sie herausfinden, was Ihre eigene Domain macht.
Was TIME einem KI-Crawler wirklich ausliefert
| User-Agent | Status | Byte | Content-Type |
|---|---|---|---|
| Chrome 139 (Desktop-Browser) | 200 | 1.232.251 | text/html |
| Googlebot | 200 | 1.232.251 | text/html |
| ClaudeBot | 200 | 41.862 | text/markdown |
| GPTBot | 200 | 41.862 | text/markdown |
| ChatGPT-User | 200 | 41.862 | text/markdown |
| PerplexityBot | 406 | 0 | — |
Die Markdown-Fassung ist 29-mal kleiner als das HTML. Bei einer Artikelseite – dem Beitrag vom 5. August über eine Steuereinigung – lag das Verhältnis bei 276.981 Byte HTML zu 10.827 Byte Markdown, also Faktor 25,6. Berichten zufolge hat TIME seine Seiten etwa im Juni 2026 auf Markdown umgestellt, mit der Begründung, ein leichterer maschineller Zugang erhöhe die Chance, in generativen Antworten aufzutauchen (Relevant Audience).
Zwei Zeilen dieser Tabelle widersprechen der Berichterstattung vom 5. August. Dort wurde beschrieben, dass GPTBot und ChatGPT-User mit einem 406 abgewiesen werden, während PerplexityBot Markdown bekommt. In unserer Messung ist die Ablehnung bei PerplexityBot gelandet, und die beiden OpenAI-Agenten werden bedient. Wir behaupten nicht, dass die früheren Berichte falsch waren. Wir berichten, was ein europäischer Netzknoten einen Tag später zurückgab. Die Cloudflare-Ray-ID aller Antworten wies auf München, eine Anfrage aus den USA kann also weiterhin abweichen.
Diese Instabilität ist keine Randnotiz, sondern der eigentliche Befund: Die Freigabeliste ist eine laufende Konfiguration, die sich rund 24 Stunden nach ihrer öffentlichen Dokumentation geändert hat – in einem System ohne erklärte Regelebene. Womit wir bei der Datei wären, die alle prüfen.
Die robots.txt von TIME ist 2.326 Byte groß und führt für Googlebot Dutzende Ausschlüsse von Query-Parametern auf. Sie enthält keine einzige Anweisung für ClaudeBot, GPTBot, ChatGPT-User, PerplexityBot, CCBot oder Google-Extended (time.com/robots.txt, abgerufen am 6. August 2026). Jeder dieser Agenten wird an einer Stelle behandelt, die die robots-Datei gar nicht beschreiben kann.
❌ Die robots.txt lesen, keine KI-Bot-Anweisungen finden und daraus schließen, dass die Seite alle Agenten gleich behandelt.
✅ Die Anfragen abschicken und die Antworten vergleichen.
Beide Methoden liefern auf derselben Domain am selben Tag gegenteilige Ergebnisse.
Die Werbung ist kein Banner, sondern eine Faktenkarte
Der gesponserte Block in der Markdown-Fassung beginnt mit einem HTML-Kommentar, der Anbieter und Kampagne benennt:
<!-- mobian-agent-ad id="c733d38f-..." campaign="ally-2026-q3"
creative="agentads-creative-ally-v1" -->
Mobian ist die Ad-Tech-Plattform dahinter und vermarktet dieses Format ausdrücklich als Werbung für KI-Agenten (themobian.ai). Ally und das Project Management Institute wurden als erste Käufer genannt (Media Copilot).
Interessant ist, was zwischen den Trennmarken steht. Es ist kein Werbetext, sondern ein strukturierter Nachschlageeintrag: eine Überschrift ### Definition, danach ### Organization facts und ### Key product features als Markdown-Tabellen, jede Zeile mit einer Spalte Source, die die Aussage dem Werbekunden zuschreibt. Gegründet 2009. Über 75.000 gebührenfreie Geldautomaten. Null Dispogebühren. Jede Angabe genau so formatiert, wie ein Retrieval-System Fakten am liebsten aufnimmt.
Genau darauf zielt die Bauart. Eine Display-Anzeige kann ein Sprachmodell leicht überspringen, weil sie nicht wie Fließtext aussieht. Eine belegte Definitionstabelle ist formal nicht von den redaktionellen Inhalten daneben zu unterscheiden – und sie steht unmittelbar hinter der Überschrift, vor dem Artikeltext (API Evangelist). Diese Einheit buhlt nicht um Aufmerksamkeit. Sie buhlt darum, abgerufen zu werden.
Die Artikelseite verhielt sich anders, und der Unterschied ist aufschlussreich: Sie enthielt überhaupt keinen Werbeblock, lieferte aber trotzdem einen Impression-Header und eine Token-Zahl zurück. Das Inventar liegt nicht auf jeder Seite. Die Messung schon.
Die Weiche greift beim User-Agent, der Vary-Header behauptet etwas anderes
Die Antwort-Header der Markdown-Fassung sind ungewöhnlich offenherzig:
content-type: text/markdown; charset=utf-8
x-mobian-format: md
x-mobian-tokens: 10448
x-mobian-registry-version: 2026-07-28.v9
x-mobian-impression: 119ce963-1a68-41d5-a3d9-17ac0a0e9fab
cache-control: no-store
vary: Accept
x-mobian-tokens preist die Seite in der Einheit des Käufers aus: 10.448 Token für die Startseite, 2.681 für den Artikel. Die Impression-ID ist bei jeder Anfrage neu; wir haben dieselbe URL dreimal abgerufen und drei verschiedene UUIDs erhalten. Zusammen mit cache-control: no-store heißt das: Jeder Crawler-Abruf ist abrechenbar – was Schmalbach gefunden hat und was unsere Wiederholungsanfragen bestätigen.
Der Mechanismus dahinter ist User-Agent-Erkennung an der von Cloudflare vorgelagerten CDN-Edge, nicht Content Negotiation und kein eigenes URL-Muster (daily.dev).
Bei der letzten Zeile sollte jeder Betreiber innehalten. Vary: Accept erklärt, die Antwort hänge vom Accept-Header ab. Das tut sie nicht. Wir haben Accept: text/markdown zusammen mit einem Desktop-Chrome-User-Agent geschickt und die vollen 1.232.251 Byte HTML bekommen. Die Antwort hängt vom User-Agent ab, und diese Dimension wird nicht deklariert.
Genau deshalb gibt es den standardkonformen Weg. Content Negotiation – der Client fragt text/markdown an, der Server bedient das – ist die dokumentierte Art, maschinenlesbare Varianten auszuliefern (explainx.ai), und llms.txt ist die deklarative Art, Clients darauf hinzuweisen (limy.ai). Beides ist von außen einsehbar. User-Agent-Sniffing an der Edge ist es nicht – und deshalb konnte die Freigabeliste über Nacht kippen, ohne dass sich an der veröffentlichten Konfiguration der Seite irgendetwas geändert hätte.
Warum das kein Cloaking ist – und warum das zählt
Der erste Reflex lautet Cloaking, samt Strafe. Ein Blick in die Definition lohnt sich. Die Spam-Richtlinien von Google beschreiben Cloaking als das Ausliefern anderer Inhalte an Nutzer als an Suchmaschinen (Google Search Central). In unserer Messung erhielt Googlebot 1.232.251 Byte – dieselbe Seite, aufs Byte genau, die auch der Browser bekam.
TIME cloakt Google also nicht. TIME liefert Google exakt das aus, was auch Menschen sehen, und daneben eine getrennte, monetarisierte Fassung an eine Gruppe von Agenten, die Googles Richtlinie gar nicht erfasst. Manche Fachleute halten das für legitim statt für Täuschung (iPullRank); die nützlichere Beobachtung ist enger gefasst.
Anthropics eigene Dokumentation zeigt, wie fein das inzwischen aufgelöst ist: ClaudeBot, Claude-User und Claude-SearchBot sind eigenständige Agenten mit eigenen Zwecken (Anthropic, Search Engine Roundtable). Eine Website darf sich gegenüber jedem einzeln anders verhalten, und nichts im Crawler-Vertrag verpflichtet sie, das offenzulegen.
Was das mit der Zitationsebene macht, auf die Sie angewiesen sind
Die Rechnung von TIME ist nachvollziehbar. Such-Referrals gehen zurück, Bot-Traffic wächst, und den Crawler zu monetarisieren ist eine rationale Antwort (Digiday). Agenten-Anfragen machen inzwischen dem Argument nach die Mehrheit des Web-Traffics aus, was die Frage verschiebt: nicht mehr, ob man sie blockt, sondern was man ihnen ausliefert (WorkOS, Digital Applied). Ein einzelner Verlag, der das tut, ist eine Wirtschaftsmeldung.
Der Effekt zweiter Ordnung hat mit TIME nichts mehr zu tun.
Wenn ein Assistent eine Frage beantwortet, setzt er die Antwort aus Quellen zusammen. Ist eine dieser Quellen eine Seite, auf der rund die Hälfte der Wörter aus einer gesponserten Faktentabelle mit eigener Source-Spalte besteht, dann kommen die gesponserten Angaben in der Antwort mit der Autorität des Verlags an. Der Leser sieht ein Zitat eines angesehenen Mediums. Die Positionierungssätze des Werbekunden sind in derselben Sendung mitgereist – abrufbarer formatiert als der Journalismus daneben.
Niemand in dieser Kette hat sich falsch verhalten. Der Verlag hat den Block als „Sponsored content“ gekennzeichnet. Der Crawler hat abgeholt, was ihm gegeben wurde. Der Assistent hat seine Quelle zitiert. Nur ist die Kennzeichnung keine Struktur, die die Retrieval-Ebene erhalten muss – und wenn die Antwort beim Leser ankommt, gibt es keine gerenderte Seite mehr zum Nachsehen. In Entwicklerkreisen wird bereits über Werbefilter für Inhalte diskutiert, die an Sprachmodelle ausgeliefert werden (Hacker News) – ein Wettrüsten, das noch nicht begonnen hat und das kein Website-Betreiber von seiner Seite aus steuert.
Für alle, die um Zitate konkurrieren, folgen daraus drei Konsequenzen:
- Zitationsanteil ist teilweise käuflich geworden. Nicht über Ihre Inhalte, sondern über einen Platz in der Crawler-Fassung einer fremden Seite. Das ist ein Kanal, in den Wettbewerber einkaufen können und den Sie nicht prüfen können.
- Ihr eigener Fußabdruck in der Antwortebene ist ungeprüft. Jede Seite mit CDN, Edge-Regeln, Headless-CMS oder Bot-Management hat einen Stack, der nach User-Agent verzweigen kann. Die meisten Betreiber haben nie nachgesehen, ob ihrer das tut.
- Die Prüfung muss wiederholt werden. Unsere hat sich binnen 24 Stunden nach der Veröffentlichung verändert. Ein einmaliges Audit misst eine Konfiguration, keine Richtlinie.
Der letzte Punkt ist dieselbe Lehre wie damals, als Claude Code eine Isolationslücke schloss, die der Standard-npm-Kanal noch gar nicht auslieferte: Die Ankündigung und das Artefakt, das Ihre Systeme tatsächlich erhalten, sind zwei verschiedene Tatsachen – und nur eine davon lässt sich prüfen.
Führen Sie die Prüfung an Ihrem eigenen Stack durch
Neunzig Sekunden, keine Abhängigkeiten, kein Konto. Ersetzen Sie die URL:
URL="https://www.example.com/"
for UA in \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/139.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
"ClaudeBot/1.0 ([email protected])" \
"GPTBot/1.2 (+https://openai.com/gptbot)" \
"ChatGPT-User/1.0 (+https://openai.com/bot)" \
"PerplexityBot/1.0 (+https://perplexity.ai/perplexitybot)"
do
printf '%-14s %s\n' \
"$(curl -s -o /dev/null -w '%{http_code} %{size_download}' -A "$UA" -L "$URL")" \
"${UA:0:46}"
done
Lesen Sie das Ergebnis entlang von vier Fragen.
Stimmen die Byte-Zahlen überein? Identische Größen über alle Agenten hinweg bedeuten: keine Weiche. Das war das Ergebnis für unsere eigene Domain – 631.385 Byte, sechsmal, ohne Abweichung.
Bekommt ein Agent etwas anderes als 2xx? Ein 403 oder 406 für einen Crawler und nicht für die anderen ist eine bewusst gesetzte Regel – womöglich eine Voreinstellung des Bot-Managements, die nie jemand geprüft hat. Stellen Sie sicher, dass sie so gewollt ist.
Ändert sich der Content-Type? text/markdown an den Crawler und text/html an den Browser ist eine Weiche, ganz gleich, ob sich die Wörter unterscheiden.
Und wenn verzweigt wird: Stimmt Vary? Hängen Sie -D - an den curl-Aufruf und lesen Sie die Header. Hängt die Antwort vom User-Agent ab, muss Vary: User-Agent das auch sagen.
Ein Ergebnis ungleich null ist nicht automatisch ein Problem. Markdown an Agenten auszuliefern ist eine vernünftige Optimierung, mehrere Dokumentationsplattformen tun das bewusst. Das Problem ist eine Weiche, von der Sie nichts wussten – denn dieselbe Edge-Fähigkeit, die eine Seite auf Markdown eindampft, kann auch in sie hineinschreiben, und aus einem Browser heraus ist der Unterschied unsichtbar. Die Prüfdisziplin ist dieselbe, die wir auf Agent-Skills anwenden, bevor sie gegen einen Produktivstack laufen, und auf maschinenlesbare Schnittstellen allgemein: Prüfen Sie das Artefakt, nicht die Ankündigung.
Lassen Sie den Test gegen Ihre Marketing-Seite, Ihre Doku und Ihre Preisseite laufen – Edge-Regeln sind über diese Bereiche hinweg selten einheitlich. Und wiederholen Sie ihn im nächsten Quartal, denn unserer hat sich binnen eines Tages verschoben.
Wenn Sie das lieber geprüft, überwacht und behoben haben möchten, genau das leistet unsere Praxis für KI-Agenten-Engineering. Es gilt dieselbe Haltung wie bei Tailscales drei Maßnahmen: Die Maßnahme, die etwas wert ist, ist die, die auch dann noch greift, wenn sich die Konfiguration ändert.
Häufig gestellte Fragen
Verstößt es gegen Googles Regeln, KI-Crawlern andere Inhalte auszuliefern? So wie sie geschrieben sind, nicht. Google definiert Cloaking als das Ausspielen anderer Inhalte an Suchmaschinen als an Nutzer. In unserer Messung vom 6. August 2026 erhielt Googlebot exakt dasselbe HTML wie ein Browser, der Vergleich der Richtlinie greift also nie.
Wie finde ich heraus, ob meine eigene Seite nach User-Agent verzweigt? Rufen Sie dieselbe URL mit mehreren User-Agent-Zeichenketten ab und vergleichen Sie Statuscode, Byte-Zahl und Content-Type. Identische Byte-Zahlen über Browser, Googlebot und die großen KI-Agenten hinweg bedeuten: keine Weiche. Die vollständige Schleife steht im Abschnitt oben.
Erscheint der gesponserte Block auf jeder TIME-Seite? Nein. Die Startseite trug am 6. August 2026 einen Block mit 1.502 Wörtern; die von uns geprüfte Artikelseite trug keinen, lieferte aber dennoch einen Impression-Header pro Abruf und eine Token-Zahl.
Ist das dasselbe wie Content Negotiation?
Nein. Wir haben Accept: text/markdown mit einem Browser-User-Agent geschickt und vollständiges HTML erhalten. Die Antwort richtet sich nach dem User-Agent, während der Vary-Header Accept angibt – genau diese Falschangabe sollten Betreiber im eigenen Stack suchen.
Kann ich verhindern, dass KI-Crawler eine werbedurchsetzte Fassung einer Seite lesen, neben der ich zitiert werde? Nein. Sie steuern, was Ihre Domain ausliefert, nicht was fremde Domains ausliefern. Steuerbar ist allein, ob Ihre eigenen Seiten das sind, wofür Sie sie halten.
Quellen
- https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website
- https://www.theregister.com/ai-and-ml/2026/08/05/time-magazine-has-a-separate-version-of-its-website-with-ads-only-ai-can-see/5283640
- https://apievangelist.com/2026/08/03/how-time-serves-ads-to-ai-agents
- https://digiday.com/media/time-has-started-serving-ads-to-ai-agents
- https://themobian.ai
- https://mediacopilot.ai/time-ads-ai-agents-markdown
- https://www.relevantaudience.com/geo/time-ads-targeting-ai-agents-markdown-pages
- https://daily.dev/posts/how-time-serves-ads-to-ai-agents-5mhfmc0bf
- https://news.ycombinator.com/item?id=49182041
- https://ipullrank.com/cloaking-for-llms
- https://www.seroundtable.com/anthropic-updates-its-crawler-docs-40978.html
- https://workos.com/blog/ai-agent-web-traffic-what-developers-need-to-change
- https://explainx.ai/blog/markdown-for-agents-content-negotiation-guide-2026
- https://limy.ai/blog/llms.txt-in-2026-the-full-guide
- https://www.digitalapplied.com/blog/ai-crawler-bot-traffic-statistics-2026-data-reference
- https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- https://time.com/robots.txt
- https://developers.google.com/search/docs/essentials/spam-policies