--- type: "BlogPosting" title: "Un modello da mille miliardi di parametri in proprio: cosa significa Mistral Large 4 su un cluster 4× DGX Spark" description: "Mistral Large 4: 1,05 mila miliardi di parametri, 52 mld attivi per token. Misurati sul cluster 4× DGX Spark: 23,0 tok/s, 42,2 aggregati, 0,553 € per 1M token output." resource: "https://www.contextstudios.ai/it/blog/mistral-large-4-offene-frontier-modelle-im-eigenen-dgx-spark-cluster" language: "it" tags: ["LLM", "Open Weights", "Self-Hosting", "DGX Spark", "Costi"] generated: by: "process:contextstudios-md/1" at: "2026-10-22T22:07:40.376Z" status: "stable" --- # Un modello da mille miliardi di parametri in proprio: cosa significa Mistral Large 4 su un cluster 4× DGX Spark Published: 2026-10-20 Tags: LLM, Open Weights, Self-Hosting, DGX Spark, Costi ![Un modello da mille miliardi di parametri in proprio: cosa significa Mistral Large 4 su un cluster 4× DGX Spark](https://wary-platypus-754.convex.cloud/api/storage/7ab69010-eddd-4b54-ab92-13c98c673ab7) tg-mistral-large-4-dgx-spark-cluster # Un modello da mille miliardi di parametri in proprio: cosa significa Mistral Large 4 su un cluster 4× DGX Spark **La risposta breve:** con 1,05 mila miliardi di parametri e solo 52 miliardi attivi per token, Mistral Large 4 è il modello open più grande mai annunciato — e la domanda se una cosa del genere funzioni in casa l'abbiamo risposta sul nostro cluster 4× DGX Spark con il modello di riferimento più grande a nostra disposizione: 23,0 token al secondo in flusso singolo, 42,2 sull'aggregato a 8 stream, 0,553 € di energia per milione di token di output. I pesi aperti sono previsti per il 31 ottobre 2026 su Hugging Face; la licenza non è ancora stata annunciata. Il 6 ottobre 2026 Mistral ha aperto la public preview di Mistral Large 4 — internamente il modello si chiama «le Chonk». È il modello più grande della casa: 1,05 mila miliardi di parametri in un'architettura mixture-of-experts a grana fine, 52 miliardi attivi per token (49 miliardi di pura attivazione più 3 miliardi fra embedding e livelli di output), più un vision encoder da 1,6 miliardi di parametri per immagini e documenti. Il contesto è di un milione di token. Secondo Mistral l'addestramento è avvenuto su 3.800 GPU NVIDIA Grace Blackwell in data center europei di proprietà. L'annuncio, però, è solo metà della storia. La domanda interessante per chi valuta hardware propria è un'altra: che cosa significa una classe di modelli così per il self-hosting, e quanto costa davvero un milione di token generati in locale? Abbiamo misurato il nostro cluster 4× DGX Spark e messo i conti a fronte dei prezzi delle API. ## I fatti su Mistral Large 4 in sintesi | Caratteristica | Valore | |---|---| | Parametri totali | 1,05 mila miliardi (1T) | | Attivi per token | 52 mld incluse embedding/output; 49 mld di pura attivazione | | Modalità | Testo e immagini (vision encoder da 1,6 mld) | | Finestra di contesto | 1 milione di token | | Stato | Public preview (API); pesi aperti secondo Hugging Face il 31/10/2026 | | Licenza dei pesi | non ancora annunciata | | Prezzo API (preview, promozionale) | 0,68 $/1M input · 2,09 $/1M output · 0,07 $/1M in cache (listino: 1,36/4,18/0,14) | Una precisazione: la promessa dei pesi aperti è un annuncio, non un dato. Su Hugging Face il modello figura come «upcoming release» con ETA 31 ottobre 2026, e al momento della chiusura Mistral non aveva indicato la licenza. Tutti i dati sul modello provengono dalla pagina ufficiale e dalla documentazione delle API; i benchmark di terzi sono riportati come tali. ## Perché la classe 1T è diversa per il self-hosting La generazione flash di questo autunno — GLM-5.3-Flash, DeepSeek V4.1 Flash, Qwen3.8-Flash-Next — gira su hardware consumer perché attiva solo da 6 a 18 miliardi di parametri per token. Mistral Large 4 ne attiva 52, circa il triplo. In concreto: - **La memoria non è il problema; la velocità sì.** Un quant a 4 bit dei pesi da 1,05T richiede circa 525 GiB più KV cache — fattibile su quattro Spark con 512 GB di memoria unificata più RAM di sistema, non su una singola macchina da 128 GB. - **Decide la banda.** Con 52 mld di parametri attivi a 4 bit vanno letti circa 26 GB per token. Pur mettendo insieme 4×273 GB/s, resta un regime diverso dall'attivazione da 6 mld della classe flash — i nostri 23 tok/s misurati contro i 50+ di Flash-Next lo rendono tangibile. - **Il batching è la leva.** Il valore a flusso singolo sembra modesto; è l'aggregato sugli stream paralleli la cifra che conta per un uso di squadra o per gli agenti. Non abbiamo teorizzato questi tre punti: li abbiamo misurati sul modello più grande già stabile sulla nostra hardware, Qwen3.8-Flash-Next. ## La nostra misurazione *Misura propria, 20 ottobre 2026, ore 10:30 CEST. Endpoint: http://127.0.0.1:8212 (vLLM, compatibile OpenAI), modello qwen3.8-flash-next-nvfp4. L'endpoint serve anche le nostre pipeline di produzione; sono valori operativi, non di laboratorio.* | Metrica | Valore | |---|---| | Decode, 1 stream (mediana) | **23,0 tok/s** | | Time-to-first-token (mediana) | 0,389 s | | Aggregato su 8 stream paralleli | **42,2 tok/s** | | Token di output massimi per richiesta | 256 | Due cose colpiscono. La prima: la TTFT di 0,389 secondi mostra che il prefill sul die GB10 è forte — la risposta parte pronta anche quando lo stream procede a ritmo moderato. La seconda: il salto da 23,0 a 42,2 tok/s nell'aggregato a 8 stream conferma la vecchia regola che questa classe di hardware vive di batching. Per chi guarda il cursore conta il 23,0; per un server di agenti con otto lavori in parallelo conta il 42,2. ## Il conto: 0,553 € a milione di token — e cosa significa Il nostro tetto massimo per i costi energetici: con una potenza nominale presunta di 240 W (spec dell'alimentatore, non misurata) e una tariffa aziendale presunta di 0,35 €/kWh, il lavoro erogato costa **0,553 € per milione di token di output** — calcolato sull'aggregato a 8 stream di 42,2 tok/s, esclusa l'ammortamento dell'hardware. A fronte dei prezzi rilevati dal nostro monitor dei costi: | Voce | Valore | |---|---| | Locale, solo energia (tetto massimo) | 0,553 €/1M output | | Mistral Large 4, output API (prezzo preview) | 2,09 $/1M | | Qwen3.8-Flash, output API | 0,382 $/1M | | Noi, spesa API di picco | 268,59 $/giorno (11/08/2026) | | Noi, spesa API media 30 giorni | 0,43 $/giorno | La lettura onesta: contro le API flash più economiche il conto locale perde sul puro token — contro i 2,09 $ di output di Mistral Large 4 vince con evidenza, di un fattore ~3,8 (2,09 $ ≈ 1,92 € a 0,92 $/€; nostri 0,553 €). Il conto cambia ulteriormente quando la privacy vieta il cloud, serve alta concorrenza o pesano picchi di spesa come i nostri 268,59 $/giorno. Il costo non è mai stato l'argomento principale per l'hardware propria: il controllo sì. ## Il fattore routing: perché conta anche il gateway Una seconda leva di costo sta fuori dal modello: il routing. Il mercato dei gateway è cresciuto nel 2026 da 4,5 a oltre 100 mila miliardi di token instradati a settimana, e le route predefinite favoriscono dimostrabilmente gli endpoint più economici — con provider che limitano silenziosamente contesto e output. Per i propri conti questo significa: il prezzo a milione sulla carta e la qualità effettiva a milione sono due cose diverse, e la differenza nasce nel router, non nel modello. Per il self-hosting sposta ancora il calcolo: servire in locale aggira del tutto la disciplina di routing, i cap dei provider e la volatilità dei prezzi. È il punto in cui «più caro a token» e «più affidabile al lavoro» dicono la stessa cosa. ## Che cosa faremmo concretamente - **Aspettare il 31 ottobre.** Solo i pesi aperti con la loro licenza dimostrano se il self-hosting abbia senso sul piano legale e tecnico. Fino ad allora è aritmetica di preview. - **Guardare al cluster 4× come taglia di riferimento.** Una singola macchina da 128 GB non basta per la classe 1T; quattro Spark con 512 GB in comune più offload su RAM sono il pavimento realistico per quant comodi. - **Osservare l'attivazione, non gli zeri. 52 mld attivi sono la ragione della velocità — chi è abituato a 6 mld deve calibrare le aspettative: metà della velocità della classe flash, ma un vantaggio netto sui costi a token contro l'API 1T. - **Pensare in batching.** 42,2 tok/s aggregati contro 23,0 in singolo: il valore di questo cluster appare in parallelo, non alla scrivania singola. ## Domande frequenti **Mistral Large 4 gira su un singolo DGX Spark?** No, non in modo sensato. I 1,05 mila miliardi di parametri superano i 128 GB di una macchina singola in ogni quantizzazione pratica; anche a 2 bit restano pochi margine per KV cache e sistema. Una Spark da sola può tenere i pesi solo con compromessi pesanti e streaming da SSD, che abbassa ulteriormente la velocità. Il limite realistico per la classe 1T è un complesso a 4 nodi con 512 GB di memoria distribuita più RAM di sistema per il resto. **Quanto è veloce il nostro cluster rispetto alla classe flash?** La nostra verifica di riferimento su qwen3.8-flash-next-nvfp4 del 20 ottobre 2026 ha dato 23,0 tok/s in singolo e 42,2 tok/s come aggregato a 8 stream, con TTFT di 0,389 secondi. I modelli flash da 6 mld attivi arrivano a valori singoli nettemente più alti sulla stessa hardware; il prezzo è l'ingombro funzionale minore. Mistral Large 4 con 52 mld attivi si collocerà sotto quel riferimento in singolo; resta la leva dell'aggregato. **Quanto costa un milione di token di output in locale?** Secondo il nostro tetto massimo, 0,553 € — 240 W nominali presunti per 0,35 €/kWh tariffa presunta, divisi per i 42,2 tok/s erogati. Entrambe le ipotesi sono documentate e modificabili nella nostra configurazione; il consumo reale sarà inferiore se le macchine non tirano sempre a pieno regime. Esclusi ammortamento e rete. Contro i 2,09 $ di output dell'API è un fattore di quasi quattro; contro le API flash più economiche vince il cloud. **Ha senso il self-hosting della classe 1T?** Non per il puro argomento sul costo dei token — ma per tre casi concreti. Quando la privacy vieta il giro nel cloud e i dati devono restare in casa; quando fattorie di agenti lavorano a lunga concorrenza e i picchi di fatturazione API pesano, come il nostro picco di 268,59 $ in un solo giorno; quando si vuole indipendenza dalle decisioni di routing e dai cap dei provider. Chi chat ogni tanto risparmia con un'API flash. **Quando e con quale licenza arrivano i pesi?** Secondo la scheda Hugging Face, il 31 ottobre 2026; al momento della chiusura Mistral non aveva indicato la licenza esatta. Finché il modello è disponibile solo via API a pagamento, a 0,68 $ input e 2,09 $ output promozionali a milione di token. Prima di una decisione sul self-hosting vanno verificati licenza e uso commerciale; aggiorneremo i conti quando pesi e condizioni saranno fissati. **Cosa si sa sulla qualità?** Dalla pagina di prodotto: Mistra colloca Large 4 come stato dell'arte fra i modelli aperti e cita proprie verifiche alla cieca con valutatori professionisti; non le abbiamo verificate in autonomia e le riportiamo come affermazioni. Per la decisione sul self-hosting la qualità pesa meno di licenza, ingombro di memoria e profilo di carico. Il consiglio: dopo il 31 ottobre provare i benchmark della community sulla propria applicazione, prima di ordinare hardware. ## Fonti - Mistral — Introducing Mistral Large 4 (6/10/2026): https://mistral.ai/news/mistral-large-4 - Mistral Docs — Mistral Large 4, specifiche e prezzi API: https://docs.mistral.ai/models/mistral-large-4 - Hugging Face — mistralai/Mistral-Large-4-1T-A52B, upcoming release, ETA 31/10/2026: https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B - Misura propria, cluster 4× DGX Spark (vLLM, qwen3.8-flash-next-nvfp4), 20/10/2026 ore 10:30 CEST: http://127.0.0.1:8212 - Monitor costi proprio (cost-throttle), picco spesa API 268,59 $/giorno l'11/08/2026, media 30 giorni 0,43 $/giorno - daily-intel run #196 (6/10/2026): Mistral Large 4, punteggio 8.0; crescita OpenRouter 4,5→146 bilioni di token/settimana; HN 13:15 UTC ## Related - [Sviluppo LLM](https://www.contextstudios.ai/it/sviluppo-llm.md) - [Integrazione LLM](https://www.contextstudios.ai/it/integrazione-llm.md) - [Sviluppo AI](https://www.contextstudios.ai/it/sviluppo-ia.md) - [Ottimizzazione GEO: visibilità nelle risposte IA](https://www.contextstudios.ai/it/ottimizzazione-geo.md)