Self Hosting

Mistral Large 4 : 1 050 milliards de paramètres, 52 Md actifs par jeton. Mesures sur notre cluster 4× DGX Spark : 23,0 tok/s, 42,2 agrégés, 0,553 €/1M jetons.

Qwen3.8-Flash-Next de la RTX 3090 à la RTX PRO 6000 : toutes les mesures côte à côte. Pourquoi les sauts ne sont pas linéaires et le prefill la récompense secrète.

De « j'ai un ordinateur » à « mon endpoint tourne » : évaluer le matériel, choisir la pile, brancher un cas d'usage, mesurer soi-même — avec des recettes pour chaque palier.

Achat, électricité, débit et contre-calcul API : aux prix Flash, le local n'est pas un programme d'économies — c'est un programme de contrôle. Chaque chiffre calculé.

Decode vs. prefill, mean wall TPS, fidélité des quants : 4 pièges des chiffres de benchmark — et l'auto-vérification en 5 minutes. Avec des mesures réelles de 300 recettes.

GLM-5.3-Flash, DeepSeek V4.1 Flash et Qwen3.8-Flash-Next en panorama — et la matrice matérielle honnête : que fait tourner un laptop, un Mac Studio, une DGX Spark, un nœud multi-GPU ?

L'acquisition de Hugging Face par NVIDIA pour près de 13 milliards de dollars soulève une question opérationnelle cruciale : comment sécuriser vos modèles et dépendances face à une centralisation de l'infrastructure open-weights ?