ARC-AGI-3 hat das Harness gemessen, nicht nur das Modell

Wer produktiv mit Agenten arbeitet, misst mit jedem Benchmark auch die eigenen Einstellungen mit — und die hat in den seltensten Fällen jemand bewusst gewählt. OpenAI hat am 29. Juli 2026 veröffentlicht, dass GPT-5.6 Sol im öffentlichen Aufgabenset von ARC-AGI-3 von 13,3 % auf 38,3 % gestiegen ist, ohne dass an den Gewichten irgendetwas verändert wurde (OpenAI). Zwei Einstellungen in der API haben gereicht. Was sich tatsächlich geändert hat, warum der Vergleich, den anschließend fast alle Medien gezogen haben, nicht trägt, und was Sie im eigenen Stack prüfen sollten, steht in diesem Beitrag.

ARC-AGI-3 ist ein Benchmark, in dem Agenten sich unbekannte 2D-Spiele ohne jede Anleitung selbst erschließen müssen ([ARC Prize](https://arcprize.org/competitions/2026/arc-agi-3)). Gemessen wird mit der Relative Human Action Efficiency, also im Verhältnis zu einem menschlichen Vergleichswert und nicht als reine Lösungsquote.

Wir fahren dieselben Agenten-Workloads über Modelle mehrerer Anbieter, und jeder dieser Läufe geht durch einen Wrapper, den wir selbst geschrieben haben — in unserem eigenen Stack entscheidet also dieser Wrapper darüber, was von einem Schritt zum nächsten überhaupt erhalten bleibt, und nicht die Model Card. Genau darum geht es hier. Das ist kein Streit um eine Rangliste, sondern ein Messproblem, das mit hoher Wahrscheinlichkeit auch in Ihrem eigenen Agenten-Code steckt.

Was OpenAI tatsächlich verändert hat

Verändert wurden genau zwei Dinge: Das interne Reasoning des Modells bleibt zwischen den Aktionen erhalten, statt verworfen zu werden, und an die Stelle der rollierenden Kürzung im Harness tritt Compaction, die alten Kontext zusammenfasst, statt ihn zu löschen.

Das offizielle Harness von ARC-AGI-3 hat das interne Reasoning nach jeder Spielaktion verworfen. Sichtbar blieb dem Modell zwar die Liste seiner bisherigen Züge, nicht aber die Überlegungen und Hypothesen, aus denen diese Züge entstanden waren — jeder Durchgang begann damit, das Spiel erneut zu durchschauen. Dazu kam, dass ab 175.000 Zeichen Verlauf schlicht die ältesten Nachrichten gelöscht wurden (OpenAI). Kein dauerhaftes Reasoning und dazu eine verschwindende Vorgeschichte: Für einen Benchmark, dessen ganzer Zweck darin besteht, eine unbekannte Umgebung über die Zeit zu erlernen, ist das ungefähr der ungünstigste denkbare Fall.

Beide Ersatzlösungen sind gewöhnliche Produkteinstellungen, die jedem Entwickler offenstehen: Reasoning-Elemente, die über mehrere Turns hinweg mitgeführt werden (OpenAI-Dokumentation), und Compaction (OpenAI-Dokumentation), beides über die Responses API statt über die ältere Chat-Completions-Schnittstelle (Migrationsleitfaden). Der berichtete Effekt: ungefähr die dreifache Punktzahl bei rund sechsmal weniger Output-Token. Dass das Ergebnis gleichzeitig besser und günstiger ausfällt, macht es glaubwürdig. Eine Einstellung, die allein den Score hebt, wäre verdächtig; eine, die zusätzlich die Token-Rechnung senkt, leistet echte Arbeit.

Warum der verbreitete Vergleich nicht trägt

An dieser Stelle ist die Berichterstattung abgebogen, und der Fehler ist fein genug, dass er präzise benannt werden sollte.

Die 38,3 % stammen aus dem öffentlichen Aufgabenset unter dem Harness von OpenAI. Die 30,2 %, die Claude Opus 5 zugeschrieben werden, sind ein von ARC geprüftes Ergebnis unter dem standardisierten Verfahren von ARC Prize. Unterschiedliche Aufgabensets und unterschiedliche Harnesses — daraus ergibt sich keine Rangfolge.

Berichtet wurde das Ergebnis als „38,3 Prozent, womit Opus 5 mit 30,2 Prozent geschlagen sei“ (The Decoder) und als Einstellungen, die Sol an Opus 5 vorbeiziehen ließen (AI Weekly). Beides lässt sich nicht belegen. Auf der Tafel von ARC Prize, der einzigen Rangliste mit kontrolliertem Harness, steht Opus 5 bei rund 30,2 % und Sol bei rund 7,8 % (Leaderboard, Analyse). An dieser Tafel hat sich am 29. Juli 2026 keine Zeile verändert.

Zwei weitere Punkte gehören zur sauberen Darstellung. Der Zuwachs, der wirklich vergleichbar ist, führt von 13,3 % auf 38,3 %, beide Male im öffentlichen Set — das ist die etwa dreifache Steigerung, von der OpenAI spricht. Die 7,8 % gehören zu einer anderen, teilweise nicht öffentlichen Messung; wer beide Zahlen zusammenrechnet, erhält einen sehr viel größeren und vollständig erfundenen Sprung (Remio). Hinzu kommt, dass in der Veröffentlichung selbst Opus 5 überhaupt nicht vorkommt. Das direkte Duell haben ein Mitarbeiter auf X und danach die Schlagzeilen daraus gemacht, nicht der Text (Analyse).

Eine Zahl fehlt in fast jeder Darstellung: Auch 38,3 % liegen deutlich unter dem menschlichen Vergleichswert von etwa 48 %, den OpenAI aus den Spielprotokollen schätzt. Der Abstand, den die beiden Einstellungen geschlossen haben, ist real. Der verbleibende Abstand ist größer.

Was für das bewusst schlichte Harness spricht

Die bequeme Schlussfolgerung wäre, dass das Harness von ARC einfach kaputt war. Das war es nicht, und das Gegenargument verdient eine ordentliche Darstellung.

ARC-AGI-3 setzt bewusst auf ein schlichtes Harness ohne Tools und ohne anbieterspezifische Funktionen, weil ein einfacher Rahmen die Schwächen der Modelle sichtbar macht und Vergleiche fair hält. Anbieter stimmen ihre Harnesses auf jedes Modell ab; ein Benchmark, der dasselbe täte, würde zum Wettbewerb zwischen Entwicklungsteams statt zwischen Modellen. Der Code liegt offen, jeder kann nachlesen, was dort tatsächlich passiert (ARC-AGI-3-Agents), und dieselben öffentlichen Spiele selbst ausprobieren (Aufgaben, Spieloberfläche).

François Chollet zieht die Grenze dort, wo auch ich sie ziehen würde. Harnesses, die „eigens zur Lösung des Benchmarks gebaut sind oder Wissen über dessen Format enthalten“, sind unzulässig; allgemeine API-Einstellungen, „die nicht für ARC-AGI-3 entwickelt wurden und allen API-Nutzern zur Verfügung stehen“, sind zulässig. Er verweist auf „viel Hin und Her mit OpenAI darüber, wie sich deren Modelle am besten testen lassen, insbesondere im Hinblick auf Compaction“, und räumt ein, dass unterschiedliche Einstellungen je Anbieter „ein mögliches Problem der Vergleichbarkeit“ schaffen — für ihn hinnehmbar, „solange Einstellungen und Kosten klar berichtet werden“ (The Decoder). Das ist kein Labor, das sein Revier verteidigt, sondern ein Benchmark-Betreiber, der eine methodische Lücke einräumt und beschreibt, wie sie sich schließen lässt.

Beides gilt also gleichzeitig. Die Neutralität von ARC ist ein vertretbares Konstruktionsziel, und trotzdem wirken neutrale Voreinstellungen nicht neutral, wenn die Modelle eines Anbieters darauf trainiert sind, ihr Reasoning mitzuführen, und die Voreinstellung es stillschweigend verwirft. Ein schlichtes Harness misst Modelle nicht im luftleeren Raum. Es misst sie unter einer bestimmten Gedächtnisregel, und diese Regel ist selbst eine Entscheidung.

Was Sie im eigenen Stack prüfen sollten

Unangenehm daran ist vor allem, dass kaum jemand seine Gedächtnisregel bewusst gewählt hat. Sie kam als Voreinstellung eines Frameworks mit.

Drei Fragen lohnen sich. Erstens: Führt Ihr Agenten-Loop das Reasoning über Tool-Aufrufe hinweg mit, oder leitet jeder Schritt seinen Plan neu her? Zweitens: Wird gekürzt oder verdichtet, wenn der Kontext voll läuft? Die ältesten Turns zu löschen ist am schnellsten gebaut und wird deshalb am seltensten noch einmal angefasst. Drittens: Arbeiten Sie auf der Schnittstelle, die Ihr Anbieter selbst produktiv einsetzt, oder auf einem älteren Completions-Endpunkt, den Sie einmal eingeführt und nie migriert haben?

Nichts davon ist exotisch. Es ist dieselbe Erkenntnis, auf die wir aus verschiedenen Richtungen immer wieder stoßen: Der Durchsatz eines Agentensystems entsteht aus der Maschinerie ringsum, nicht aus der Wahl eines besseren Modells. Deshalb begrenzt die Review-Kapazität und nicht die Zahl der Agenten die parallele Arbeit, deshalb brauchen Agenten eine Fabrik und keinen besseren Prompt, und deshalb schlägt ein minimales Harness manchmal ein maximales. Aus demselben Grund lesen wir die Prüfkosten, die in einem Fähigkeitsergebnis stecken, und nicht die Schlagzeile. Ein Benchmark-Ergebnis ist eine Eigenschaft des gesamten Systems, und das Modell ist darin nur ein Bauteil.

Der praktische Schluss lautet weder, dass ARC-AGI-3 falsch liegt, noch dass ein Labor gewonnen hat. Er lautet: Eine Zahl, die Sie nicht selbst erzeugt haben, entstanden in einem Harness, das Sie nie geprüft haben, ist kein Beleg über ein Modell. Bevor ein Benchmark-Ergebnis eine Entscheidung in Ihrem Stack verändert, sollten Sie wissen, was der Runner mit dem Gedächtnis des Modells gemacht hat. Wenn Sie diese Ebene sauber geprüft haben möchten: Genau das ist unsere Arbeit.

Häufig gestellte Fragen

Hat GPT-5.6 Sol Claude Opus 5 in ARC-AGI-3 tatsächlich geschlagen? Nein. Auf der offiziellen Tafel von ARC Prize liegt Opus 5 mit rund 30,2 % weiter vor rund 7,8 % (Leaderboard). Die 38,3 % stammen aus einem anderen Aufgabenset unter einem anderen Harness und stehen dazu in keinem Rangverhältnis.

Was bedeuten erhaltenes Reasoning und Compaction? Erhaltenes Reasoning führt die internen Überlegungen eines Modells über mehrere Turns mit, statt sie nach jeder Aktion zu verwerfen. Compaction fasst älteren Kontext zusammen, wenn das Fenster voll wird, statt die ältesten Nachrichten zu löschen (OpenAI-Dokumentation).

Ist der Einsatz dieser Einstellungen ein unzulässiger Vorteil? Chollet zieht die Grenze so: Auf den Benchmark zugeschnittene Harnesses sind unzulässig, allgemeine und allen Nutzern zugängliche API-Einstellungen dagegen zulässig, sofern Einstellungen und Kosten klar berichtet werden (The Decoder).

Wurde das Ergebnis unabhängig überprüft? Bisher nicht. Der Sprung von 13,3 % auf 38,3 % beruht auf Angaben von OpenAI selbst und auf öffentlichen Testdaten (OpenAI). Ein unabhängiger Durchlauf auf dem nicht öffentlichen Set mit dokumentiert gleichen Einstellungen liegt nicht vor.

ARC-AGI-3 hat das Harness gemessen, nicht nur das Modell