Technologie IA de base
SWE-bench Vérifié
- Définition
- Un banc d'essai testant les modèles d'IA sur la résolution autonome de problèmes réels sur GitHub. La variante Vérifiée utilise des tâches validées par des humains pour un score fiable. Claude Sonnet 4.6 obtient un score de 79,6 %.
- Catégorie
- Technologie IA de base
- Termes connexes
- SWE-benchTerminal-Bench (Benchmark de codage IA)
En détail: SWE-bench Vérifié
Un banc d'essai testant les modèles d'IA sur la résolution autonome de problèmes réels sur GitHub. La variante Vérifiée utilise des tâches validées par des humains pour un score fiable. Claude Sonnet 4.6 obtient un score de 79,6 %.
Garde-fous prêts pour la production