KI-Kerntechnologie
SWE-bench Verified
- Definition
- Ein Benchmark, der KI-Modelle beim eigenständigen Lösen echter GitHub-Issues testet. Die Verified-Variante nutzt menschlich validierte Aufgaben für verlässliche Bewertungen. Claude Sonnet 4.6 erreicht 79,6 %.
- Kategorie
- KI-Kerntechnologie
- Verwandte Begriffe
- SWE-benchTerminal-Bench (KI-Coding-Benchmark)
Im Detail: SWE-bench Verified
Ein Benchmark, der KI-Modelle beim eigenständigen Lösen echter GitHub-Issues testet. Die Verified-Variante nutzt menschlich validierte Aufgaben für verlässliche Bewertungen. Claude Sonnet 4.6 erreicht 79,6 %.
Produktionsreife Leitplanken