Tecnologia AI di base
SWE-bench Verificato
- Definizione
- Un benchmark che testa i modelli di IA nella risoluzione autonoma di problemi reali su GitHub. La variante Verificato utilizza compiti convalidati da esseri umani per un punteggio affidabile. Claude Sonnet 4.6 ottiene un punteggio del 79,6%.
- Categoria
- Tecnologia AI di base
- Termini correlati
- SWE-benchTerminal-Bench (Benchmark di codifica IA)
In dettaglio: SWE-bench Verificato
Un benchmark che testa i modelli di IA nella risoluzione autonoma di problemi reali su GitHub. La variante Verificato utilizza compiti convalidati da esseri umani per un punteggio affidabile. Claude Sonnet 4.6 ottiene un punteggio del 79,6%.
Guardrail pronti per la produzione