Inference

OpenAI a publié les premiers résultats de sa nouvelle puce d'inférence ASIC, Jalapeño, développée avec Broadcom. Elle promet jusqu'à 1,9 fois plus d'efficacité énergétique et des latences considérablement réduites, particulièrement optimisées pour les charges de travail interactives.

Les scores de benchmarks publics ne suffisent pas pour choisir un LLM. Découvrez la méthode en 30 minutes et 5 étapes pour calculer votre propre "Cost-per-Task" en combinant tokens, latence et coûts réels.

DeepSeek-V4-Flash active 13 Md de paramètres par token mais en garde 284 Md en mémoire. Ses experts sont en FP4, et ce choix fixe presque toute la facture.