Ein Billionen-Parameter-Modell im Eigenbetrieb: was Mistral Large 4 am 4×-DGX-Spark-Clustern bedeutet
(01)Mistral Large 4: 1,05 Billionen Parameter, 52 Mrd. aktiv pro Token. Wir haben den 4×-DGX-Spark-Cluster gemessen — 23,0 tok/s, 42,2 im Aggregat, 0,553 €/1M Output-Tokens.