Banc d'évaluation maison ou scores de référence publiés : sur quoi fonder le choix de votre modèle ?

Notre Recommandation

Servez-vous des références publiées pour présélectionner, de votre propre banc d'évaluation pour trancher, et n'inversez jamais les deux rôles. Le différend ARC-AGI-3 de juillet 2026 en est la démonstration la plus nette à ce jour. La position d'OpenAI — une référence ne mesure jamais le seul modèle, mais aussi le dispositif technique qui l'entoure — est juste. La position d'ARC Prize — les scores officiels doivent reposer sur une approche standardisée, sans réglage propre à un fournisseur, pour que la comparaison reste honnête — est juste également. François Chollet a tracé la ligne qui résout réellement la contradiction : les bancs d'essai conçus pour résoudre la référence, ou qui intègrent une connaissance de son format, sont exclus ; les fonctions d'API généralistes ouvertes à toute la clientèle sont admises, à condition que les réglages et le coût soient publiés. Vous pouvez appliquer cette règle à vos propres mesures dès demain. Pour une décision d'achat, il en découle un ordre, pas un choix. Les classements éliminent vite et sans frais : un modèle absent du débat sur les références publiques de raisonnement ou de code ne sera sauvé par aucune chaîne d'exécution. Mais dès que deux ou trois candidats ne sont plus séparés que par quelques points, le chiffre publié cesse de discriminer et votre banc d'essai prend le relais. Un écart d'environ un facteur cinq obtenu avec deux réglages d'API dépasse presque tous les écarts entre modèles de pointe dans un classement : la décision sur la chaîne d'exécution l'emporte donc sur la décision sur le modèle, précisément au moment où les équipes cessent d'y penser. Les données d'ingénierie de Cursor pointent dans la même direction depuis un tout autre angle : la part des demandes de fusion intégrées écrites par des agents infonuagiques est passée d'environ une sur dix en décembre à plus de la moitié en juillet, et l'entreprise l'attribue à l'environnement — donner aux agents leurs propres machines et les laisser réparer leur installation — non à un meilleur modèle. Deux données indépendantes de 2026, une seule conclusion : ce qui a bougé, c'est le système autour du modèle. Un cas fait clairement pencher la balance vers les scores publiés, et il n'est pas technique. Si un chiffre doit survivre à un dossier de direction, à un marché public ou à un régulateur, un résultat interne autodéclaré ne tiendra pas. Si ARC Prize publie son financement, ses règles de déport pour le personnel détenant des parts dans un laboratoire testé et la composition d'un comité académique indépendant, c'est précisément pour cela. Votre banc d'essai n'a rien de tout cela, et il ne doit pas prétendre le contraire. Notre recommandation : présélectionnez en une après-midi sur les références publiques, puis consacrez deux semaines à monter un banc de 30 à 50 tâches réelles tirées de vos propres journaux, avec relevé des jetons et du coût par tâche et au moins un réglage de chaîne d'exécution commutable. Relancez-le à chaque changement de modèle et à chaque changement de boucle. Si votre budget ne couvre qu'une des deux options, construisez le banc — mais publiez les réglages et le coût à côté du score, exactement l'exigence que vous poseriez à un fournisseur.