KI-Kerntechnologie

SWE-bench Verified

Definition
Ein Benchmark, der KI-Modelle beim eigenständigen Lösen echter GitHub-Issues testet. Die Verified-Variante nutzt menschlich validierte Aufgaben für verlässliche Bewertungen. Claude Sonnet 4.6 erreicht 79,6 %.
Kategorie
KI-Kerntechnologie

Im Detail: SWE-bench Verified

Ein Benchmark, der KI-Modelle beim eigenständigen Lösen echter GitHub-Issues testet. Die Verified-Variante nutzt menschlich validierte Aufgaben für verlässliche Bewertungen. Claude Sonnet 4.6 erreicht 79,6 %.

Produktionsreife Leitplanken