Terminal-Bench (KI-Coding-Benchmark)

Terminal-Bench ist ein Bewertungs-Framework für die Leistungsmessung von KI-Coding-Agenten in realen Entwicklungsumgebungen. Im Gegensatz zu klassischen Code-Benchmarks, die nur isolierte Code-Snippets testen, evaluiert Terminal-Bench den gesamten Entwicklungszyklus: Agenten müssen selbstständig Code in einem Terminal ausführen, Fehler debuggen, Dateisysteme navigieren und komplexe Multi-Step-Probleme lösen. Das Framework misst die Fähigkeiten moderner Coding-Agenten wie Claude Code, GitHub Copilot Workspace und ähnlicher Systeme unter realistischen Bedingungen. Mit Terminal-Bench 2.1 – der aktuellen Version – erzielte Anthropics Mythos Preview ein Ergebnis von 92,1 % bei einem 4-Stunden-Timeout, was die bisherige Bestmarke von 82 % deutlich übertrifft. Ein zentrales Merkmal ist die Sensitivität gegenüber Rechenzeit: Je mehr Zeit ein Modell für eine Aufgabe erhält, desto höher ist typischerweise die Lösungsrate. Das zeigt, dass moderne KI-Coding-Agenten häufig keine Fähigkeitslücken haben – sondern Rechenzeit-Limitierungen. Dieser Unterschied ist fundamental für die Praxis: Er beeinflusst, wie Teams KI-gestützte Entwicklungsworkflows planen, budgetieren und skalieren.