TIME sert 3 096 mots à ClaudeBot, dont 1 502 de publicité

TIME sert 3 096 mots à ClaudeBot, dont 1 502 de publicité

L'aiguillage est réel, il tourne en production et il est documenté (Vincent Schmalbach, The Register). Ce qu'on en a écrit jusqu'ici, à de rares exceptions près, relève du récit économique : un éditeur a trouvé le moyen de facturer le trafic des robots. Cette moitié-là est couverte.

L'autre moitié concerne tous ceux à qui TIME n'appartient pas. Chaque site qui se bat pour être cité par une IA partage désormais la couche de réponse avec des pages conçues pour être ingérées, non pour être lues. Et aucun exploitant ne sait si sa propre infrastructure fait la même chose. Nous avons passé le même test à six User-Agents sur notre propre site le matin même, et obtenu 631 385 octets de HTML strictement identiques pour chaque agent, humain comme robot. Le test a pris quatre-vingt-dix secondes, et nous ne l'avions jamais fait.

Voici ce que TIME sert réellement, comment l'aiguillage est mis en œuvre, pourquoi ce n'est pas du cloaking au sens que vérifient vos outils de référencement, et la commande qui vous dira ce que fait votre propre domaine.

Ce que TIME sert réellement à un robot d'IA

La version Markdown est vingt-neuf fois plus légère que le HTML. Sur une page d'article — celle du 5 août consacrée à un accord fiscal — le même écart donnait 276 981 octets de HTML contre 10 827 en Markdown, soit un facteur 25,6. TIME aurait converti ses pages en Markdown vers juin 2026, au motif qu'un accès machine facilité augmente ses chances d'apparaître dans les réponses génératives (Relevant Audience).

Deux lignes de ce tableau contredisent les articles parus le 5 août, qui rapportaient un refus 406 pour GPTBot et ChatGPT-User, tandis que PerplexityBot recevait le Markdown. Dans notre mesure, le refus s'est déplacé vers PerplexityBot et les deux agents d'OpenAI sont servis. Nous n'affirmons pas que les premiers comptes rendus étaient faux : nous rapportons ce qu'un point de présence européen a renvoyé un jour plus tard. L'identifiant Cloudflare de chaque réponse pointait vers Munich, une requête depuis les États-Unis peut donc encore différer.

Cette instabilité n'est pas un détail, c'est le résultat central. La liste d'autorisation est une configuration vivante, qui a changé dans les vingt-quatre heures suivant sa documentation publique, au sein d'un système dépourvu de toute règle déclarée. Ce qui nous amène au fichier que tout le monde inspecte.

Le fichier robots.txt de TIME pèse 2 326 octets et aligne des dizaines d'exclusions de paramètres d'URL pour Googlebot. Il ne contient aucune directive concernant ClaudeBot, GPTBot, ChatGPT-User, PerplexityBot, CCBot ou Google-Extended (time.com/robots.txt, consulté le 6 août 2026). Chacun de ces agents est traité à un endroit que le fichier robots ne peut tout simplement pas décrire.

❌ Lire le robots.txt, n'y trouver aucune directive pour les robots d'IA et en conclure que le site traite tous les agents de la même façon. ✅ Envoyer les requêtes et comparer les réponses.

Ces deux méthodes donnent des réponses opposées sur le même domaine, le même jour.

La publicité n'est pas une bannière, c'est une fiche de référence

Le bloc sponsorisé de la version Markdown s'ouvre sur un commentaire HTML qui nomme le prestataire et la campagne :

<!-- mobian-agent-ad id="c733d38f-..." campaign="ally-2026-q3"
     creative="agentads-creative-ally-v1" -->

Mobian est la régie publicitaire derrière ce dispositif, et elle vend explicitement ce format comme de la publicité destinée aux agents d'IA (themobian.ai). Ally et le Project Management Institute figureraient parmi les premiers acheteurs (Media Copilot).

Ce qui se trouve entre les balises mérite l'examen. Ce n'est pas un texte publicitaire, mais une entrée de référence structurée : un titre ### Definition, puis ### Organization facts et ### Key product features sous forme de tableaux Markdown, chaque ligne portant une colonne Source qui attribue l'affirmation à l'annonceur. Fondée en 2009. Plus de 75 000 distributeurs sans frais. Zéro frais de découvert. Chaque fait mis en forme exactement comme un système de recherche documentaire préfère les absorber.

C'est bien l'intention. Une bannière est facile à ignorer pour un modèle de langage, parce qu'elle ne ressemble pas à de la prose. Un tableau de définitions sourcé est formellement indiscernable du contenu éditorial qui l'entoure, et il est placé juste après le titre, avant le corps de l'article (API Evangelist). Cette unité ne dispute pas l'attention. Elle dispute la récupération.

La page d'article s'est comportée autrement, et l'écart est instructif : elle ne portait aucun bloc publicitaire, tout en renvoyant malgré tout un en-tête d'impression et un décompte de tokens. L'inventaire n'est pas sur chaque page. La mesure, si.

L'aiguillage se fait sur le User-Agent, et l'en-tête Vary prétend le contraire

Les en-têtes de réponse de la version Markdown sont d'une franchise inhabituelle :

content-type: text/markdown; charset=utf-8
x-mobian-format: md
x-mobian-tokens: 10448
x-mobian-registry-version: 2026-07-28.v9
x-mobian-impression: 119ce963-1a68-41d5-a3d9-17ac0a0e9fab
cache-control: no-store
vary: Accept

x-mobian-tokens valorise la page dans l'unité de l'acheteur : 10 448 tokens pour la page d'accueil, 2 681 pour l'article. L'identifiant d'impression est neuf à chaque requête ; nous avons appelé trois fois la même URL et obtenu trois UUID distincts. Combiné à cache-control: no-store, cela signifie que chaque passage d'un robot est facturable, ce que Schmalbach avait relevé et que nos requêtes répétées confirment.

Le mécanisme sous-jacent est une détection du User-Agent à la périphérie du réseau de diffusion, devant lequel se trouve Cloudflare — et non une négociation de contenu ni un schéma d'URL distinct (daily.dev).

C'est sur la dernière ligne qu'un exploitant devrait s'arrêter. Vary: Accept déclare que la réponse varie selon l'en-tête Accept. Ce n'est pas le cas. Nous avons envoyé Accept: text/markdown avec un User-Agent Chrome de bureau, et reçu les 1 232 251 octets de HTML complet. La réponse varie selon le User-Agent, et cette dimension-là n'est pas déclarée.

C'est aussi la raison d'être de la voie normalisée. La négociation de contenu — le client demande text/markdown, le serveur l'honore — est la manière documentée de servir des variantes lisibles par machine (explainx.ai), et llms.txt la manière déclarative d'y orienter les clients (limy.ai). Les deux s'inspectent de l'extérieur. Le reniflage de User-Agent en périphérie, non — et c'est précisément pour cela que la liste d'autorisation a pu s'inverser du jour au lendemain sans que rien ne bouge dans la configuration publiée du site.

Pourquoi ce n'est pas du cloaking, et pourquoi cela compte

Le réflexe est de crier au cloaking et d'attendre une sanction. Reprenons la définition. Les règles anti-spam de Google décrivent le cloaking comme le fait de présenter aux utilisateurs un contenu différent de celui présenté aux moteurs de recherche (Google Search Central). Dans notre mesure, Googlebot a reçu 1 232 251 octets — la même page, à l'octet près, que celle reçue par le navigateur.

TIME ne dissimule donc rien à Google. TIME sert à Google exactement ce qu'il sert aux humains, et sert à côté une version distincte et monétisée à un ensemble d'agents que la règle de Google ne couvre pas. Certains praticiens y voient une technique légitime plutôt qu'une tromperie (iPullRank) ; l'observation utile est plus étroite.

La documentation d'Anthropic montre à quel point la granularité est fine désormais : ClaudeBot, Claude-User et Claude-SearchBot sont des agents distincts aux finalités distinctes (Anthropic, Search Engine Roundtable). Un site peut se comporter différemment avec chacun, et rien dans le contrat qui le lie aux robots ne l'oblige à le dire.

Ce que cela fait à la couche de citation dont vous dépendez

Le calcul de TIME se défend. Les visites issues de la recherche reculent, le trafic des robots progresse, et monétiser le robot est une réponse rationnelle (Digiday). On soutient désormais que les requêtes d'agents constituent la majorité du trafic web, ce qui déplace la question : non plus faut-il les bloquer, mais que faut-il leur servir (WorkOS, Digital Applied). Un éditeur isolé qui s'y met, c'est une nouvelle économique.

L'effet de second ordre, lui, ne parle plus de TIME du tout.

Quand un assistant répond à une question, il compose à partir de sources. Si l'une d'elles est une page dont près de la moitié des mots forment un tableau sponsorisé doté de sa propre colonne Source, les faits sponsorisés arrivent dans la réponse revêtus de l'autorité de l'éditeur. Le lecteur voit une citation d'un titre respecté. Les éléments de langage de l'annonceur ont voyagé dans le même envoi, mis en forme de manière plus récupérable que le journalisme voisin.

Personne dans cette chaîne ne s'est mal conduit. L'éditeur a étiqueté le bloc « Sponsored content ». Le robot a récupéré ce qu'on lui donnait. L'assistant a cité sa source. Simplement, l'étiquette n'est pas une structure que la couche de récupération est tenue de préserver, et quand la réponse parvient au lecteur, il n'existe plus de page rendue à inspecter. Des développeurs anticipent déjà des filtres antipublicitaires pour les contenus servis aux modèles de langage (Hacker News) — une course qui n'a pas commencé, et qu'aucun exploitant de site ne pilote depuis chez lui.

Pour quiconque se bat pour être cité, trois conséquences en découlent :

• La part de citation devient en partie achetable. Non par vos contenus, mais par un emplacement dans la version robot du site d'un autre. C'est un canal dans lequel vos concurrents peuvent investir et que vous ne pouvez pas auditer.
• Votre propre empreinte dans la couche de réponse n'est pas vérifiée. Tout site doté d'un réseau de diffusion, de règles en périphérie, d'un CMS découplé ou d'une gestion des robots possède une infrastructure capable d'aiguiller selon le User-Agent. La plupart des exploitants n'ont jamais vérifié si la leur le fait.
• Le contrôle doit être répété. Le nôtre a changé dans les vingt-quatre heures suivant la publication. Un audit ponctuel mesure une configuration, pas une politique.

Ce dernier point rejoint la leçon tirée lorsque Claude Code a corrigé une faille d'isolation que le canal npm par défaut ne diffusait pas encore : l'annonce et l'artefact que vos systèmes reçoivent effectivement sont deux faits distincts, et un seul des deux se vérifie.

Passez le test sur votre propre infrastructure

Quatre-vingt-dix secondes, aucune dépendance, aucun compte. Remplacez l'URL :

URL="https://www.example.com/"
for UA in \
  "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 Chrome/139.0.0.0 Safari/537.36" \
  "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
  "ClaudeBot/1.0 ([email protected])" \
  "GPTBot/1.2 (+https://openai.com/gptbot)" \
  "ChatGPT-User/1.0 (+https://openai.com/bot)" \
  "PerplexityBot/1.0 (+https://perplexity.ai/perplexitybot)"
do
  printf '%-14s %s\n' \
    "$(curl -s -o /dev/null -w '%{http_code} %{size_download}' -A "$UA" -L "$URL")" \
    "${UA:0:46}"
done

Lisez le résultat à travers quatre questions.

Les volumes en octets concordent-ils ? Des tailles identiques pour tous les agents signifient qu'il n'y a pas d'aiguillage. C'est le résultat obtenu sur notre domaine : 631 385 octets, six fois, sans variation.

Un agent reçoit-il autre chose qu'un 2xx ? Un 403 ou un 406 pour un robot et pas pour un autre est une règle que quelqu'un a posée — peut-être un réglage par défaut de la gestion des robots que personne n'a relu. Assurez-vous qu'elle est voulue.

Le Content-Type change-t-il ? text/markdown pour le robot et text/html pour le navigateur constitue un aiguillage, que les mots diffèrent ou non.

Et s'il y a aiguillage, Vary est-il correct ? Ajoutez -D - à l'appel curl et lisez les en-têtes. Si la réponse varie selon le User-Agent, Vary: User-Agent doit le dire.

Un résultat non nul n'est pas automatiquement un problème. Servir du Markdown aux agents est une optimisation raisonnable, et plusieurs plateformes de documentation le font délibérément. Le problème, c'est un aiguillage dont vous ignoriez l'existence — car la même capacité en périphérie qui réduit une page à du Markdown peut aussi y injecter du contenu, et depuis un navigateur la différence est invisible. La discipline de vérification est celle que nous appliquons aux compétences d'agents avant qu'elles ne s'exécutent contre une infrastructure de production et aux interfaces lisibles par machine en général : inspectez l'artefact, pas l'annonce.

Passez le test sur votre site vitrine, votre documentation et votre page tarifaire — les règles en périphérie y sont rarement uniformes. Puis refaites-le au trimestre suivant, car le nôtre a bougé en un jour.

Si vous préférez que cela soit vérifié, surveillé et corrigé, c'est le travail de notre pratique d'ingénierie d'agents IA. La posture est la même que pour les trois mesures de Tailscale : la mesure qui vaut quelque chose est celle qui tient encore quand la configuration change.

Questions fréquentes

Servir des contenus différents aux robots d'IA enfreint-il les règles de Google ? Pas telles qu'elles sont rédigées. Google définit le cloaking comme le fait de montrer aux moteurs de recherche autre chose qu'aux utilisateurs. Dans notre mesure du 6 août 2026, Googlebot a reçu le HTML identique à celui du navigateur : la comparaison prévue par la règle ne se déclenche jamais.

Comment savoir si mon site aiguille selon le User-Agent ? Interrogez la même URL avec plusieurs chaînes User-Agent et comparez le code de statut, le nombre d'octets et le Content-Type. Des volumes identiques entre un navigateur, Googlebot et les grands agents d'IA signifient qu'il n'y a pas d'aiguillage. La boucle complète figure dans la section ci-dessus.

Le bloc sponsorisé apparaît-il sur toutes les pages de TIME ? Non. La page d'accueil portait un bloc de 1 502 mots le 6 août 2026 ; la page d'article que nous avons testée n'en portait aucun, tout en renvoyant un en-tête d'impression par requête et un décompte de tokens.

Est-ce la même chose que la négociation de contenu ? Non. Nous avons envoyé Accept: text/markdown avec un User-Agent de navigateur et reçu du HTML complet. La réponse dépend du User-Agent alors que l'en-tête Vary annonce Accept : c'est cette déclaration erronée que les exploitants doivent traquer chez eux.

Puis-je empêcher les robots d'IA de lire une version publicitaire d'une page à côté de laquelle je suis cité ? Non. Vous maîtrisez ce que sert votre domaine, pas ce que servent les autres. Ce que vous maîtrisez, c'est de savoir si vos propres pages sont bien ce que vous croyez.

Sources

1. https://www.vincentschmalbach.com/time-serves-ai-bots-a-different-website
2. https://www.theregister.com/ai-and-ml/2026/08/05/time-magazine-has-a-separate-version-of-its-website-with-ads-only-ai-can-see/5283640
3. https://apievangelist.com/2026/08/03/how-time-serves-ads-to-ai-agents
4. https://digiday.com/media/time-has-started-serving-ads-to-ai-agents
5. https://themobian.ai
6. https://mediacopilot.ai/time-ads-ai-agents-markdown
7. https://www.relevantaudience.com/geo/time-ads-targeting-ai-agents-markdown-pages
8. https://daily.dev/posts/how-time-serves-ads-to-ai-agents-5mhfmc0bf
9. https://news.ycombinator.com/item?id=49182041
10. https://ipullrank.com/cloaking-for-llms
11. https://www.seroundtable.com/anthropic-updates-its-crawler-docs-40978.html
12. https://workos.com/blog/ai-agent-web-traffic-what-developers-need-to-change
13. https://explainx.ai/blog/markdown-for-agents-content-negotiation-guide-2026
14. https://limy.ai/blog/llms.txt-in-2026-the-full-guide
15. https://www.digitalapplied.com/blog/ai-crawler-bot-traffic-statistics-2026-data-reference
16. https://support.anthropic.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
17. https://time.com/robots.txt
18. https://developers.google.com/search/docs/essentials/spam-policies