--- type: "BlogPosting" title: "Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM)" description: "Da 8 GB a 512 GB di VRAM: quali modelli IA locali girano sulla tua hardware — con le ricette di produzione e i benchmark di Mia's AI Lab." resource: "https://www.contextstudios.ai/it/blog/lokale-ki-modelle-mia-lab-rezept-guide" language: "it" tags: ["Lokale KI-Modelle", "LLM Self-Hosting", "Mia AI Lab", "Quantisierung", "DGX Spark", "MoE"] generated: by: "process:contextstudios-md/1" at: "2026-10-24T21:08:10.943Z" status: "stable" --- # Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM) Published: 2026-09-10 Tags: Lokale KI-Modelle, LLM Self-Hosting, Mia AI Lab, Quantisierung, DGX Spark, MoE ![Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM)](https://wary-platypus-754.convex.cloud/api/storage/3d6b5ce0-fd2c-4df3-ad1c-35b5070f7725) # Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM) La prima domanda che chiunque si pone quando auto-ospita LLM è: **Quale modello posso davvero far girare sulla mia hardware — e quanto mi avvicina al frontier?** È raro trovare risposte oggettive, perché la performance ha senso solo nel contesto della propria macchina. Questa guida adotta esattamente questa prospettiva e si basa esclusivamente su **ricette e repository di Mia's AI Lab (MiaAI-Lab)** — una fonte che non si limita a valutare i modelli, ma li **consegna e li deploya** per configurazioni hardware concrete (da una singola GPU fino a 2× DGX Spark, con stack NVFP4, EXL3 e vLLM). **Importante da subito:** le raccomandazioni sui modelli provengono da una configurazione collaudata; le ricette Mia-Lab qui linkate sono le **ricette di produzione** con cui questi modelli girano davvero su quella hardware. Dove non esiste (ancora) una ricetta Mia dedicata, lo dico onestamente e rimando alla referenza più vicina — nessuna ricetta viene inventata per compiacere. --- ## 8 GB di VRAM — piccolo, ma sorprendentemente capace A 8 GB ogni livello di quantizzazione conta. La regola: modelli snelli, ricchi di contesto e orientati all'agentica, invece di un mero numero di parametri. ### Spark-X2.5-4B Un modello che secondo i benchmark si avvicina alla classe 9B pur essendo tarato sulle **prestazioni in coding e agentica** — e che offre una **finestra di contesto da 1M token**. È esattamente questa combinazione (tanto contesto, pochissima VRAM) a fare la differenza sulle macchine piccole. *Angolo Mia-Lab:* Nessuna ricetta di deploy dedicata qui (per ora). La referenza misurabile è il **[tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench)** di Mia — un benchmark di tool-calling per stack di serving, che permette di confrontare l'idoneità agentica e la qualità dei modelli piccoli prima di impegnarsi. ### Bonsai-27B (Prism ML, Ternary) Il gradino successivo: è il **più vicino a un modello frontier che si possa raggiungere a 8 GB**. La tecnica dietro: un modello `Qwen3.6-27B` viene quantizzato in **Q2**, riducendo drasticamente i pesi — in cambio ottieni una **finestra di contesto da 262K token più la vision**. *Angolo Mia-Lab:* Mia ha misurato questo modello sul proprio benchmark: **[Ternary-Bonsai-27B-tool-eval-bench-results](https://github.com/MiaAI-Lab/Ternary-Bonsai-27B-tool-eval-bench-results)** — risultati tool-eval-bench per il Prism-ML Ternary-Bonsai-27B (Q2_0) con 8 esecuzioni e uno score. Questo consente di dimostrare il posizionamento qualitativo invece di limitarsi ad affermarlo. --- ## 16 GB di VRAM ### Gemma-4-12B Se ti servono **capacità di vision**, è la scelta migliore qui. Gli utenti riportano un enorme sapere sul mondo, una grande capacità di trovare cose in **immagini e video**, e coerenza mantenuta su contesti lunghi. Riserva onesta: **non è il miglior agente** — ma regge notevolmente a questo livello. *Angolo Mia-Lab:* Mia fa girare i modelli Gemma con ricette NVFP4. La referenza più vicina è **[Gemma-4-31B-IT-NVFP4-Recipe](https://github.com/MiaAI-Lab/Gemma-4-31B-IT-NVFP4-Recipe)** (vLLM con decodifica speculativa MTP, tool-calling) — il modello con cui la famiglia Gemma gira nell'ambiente Mia. --- ## 24 GB di VRAM — scelta migliore ### Qwen3.8-27B (variante Mia-EXL3-3.5bpw) **Il mio preferito in questa categoria.** Se vuoi esattamente il modello con la quantizzazione giusta, prendi la **variante EXL3-3.5bpw** di Mia's AI Lab. Il cuore dell'uso: Qwen3.8-27B è stato usato per coding, game dev, editing media, **gestione della configurazione vLLM/SGLang** e **gestione della flotta** — e le prestazioni potrebbero sorprenderti. Da sapere: **ragiona meno** e ha **MTP**, il che ti permette di farlo girare a velocità ragionevoli. Realisticamente siamo a **livello Sonnet/Luna**. *Angolo Mia-Lab:* La ricetta di deploy adatta è **[Qwen3.8-27B-DFlash2-EXL3-5.0bpw](https://github.com/MiaAI-Lab/Qwen3.8-27B-DFlash2-EXL3-5.0bpw)** — un kit che serve esattamente il **target EXL3-3.5bpw** (più una bozza speculativa DFlash2-EXL3-5.0bpw). In alternativa, se preferisci SGLang: **[Qwen3.8-27B-SGLang-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-27B-SGLang-DGX-Spark)**. --- ## 32–64 GB di VRAM — scelta migliore ### Nex-N2.5-Mini Nex post-allena modelli forti (come `Qwen3.6-35B`) su compiti agentici, di coding e media — con l'obiettivo di **accorciare le lunghezze di ragionamento** pur guadagnando qualche punto di QI. Questo è particolarmente interessante per **Mac e GPU più lente**, perché è un **MoE** e **solo una piccola parte del modello** viene attivata per ogni token generato. Risultato: di nuovo **livello Sonnet/Luna**. *Angolo Mia-Lab:* Per la classe MoE/bassa attivazione, Mia offre la ricetta affine **[Qwen3.6-35B-A3B-NVFP4-vLLM](https://github.com/MiaAI-Lab/Qwen3.6-35B-A3B-NVFP4-vLLM)** oltre alla referenza benchmark **[Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026)** (confronto testa a testa di LLM locali per workflow agentici con Hermes Agent + tool-eval-bench). --- ## 96–128 GB di VRAM — qui inizia il frontier ### Qwen3.8-Flash-Next **58,7% su Deepswe**, supporto vision, estremamente veloce, enorme sapere sul mondo — e rispetto a `Terra`/`Opus-4.6` la differenza è appena percepibile. Il rovescio: **55B di parametri**, che possono essere scaricati su supporti di memoria o NVMe più economici (con una perdita di velocità minima). Per farlo servono hardware di questa scala — per es. AMD Strix Halo, un DGX Spark, 4× 3090, una RTX Pro 6000 o un Mac M5 Ultra/Max. *Angolo Mia-Lab:* Esistono esattamente **due** ricette Mia per questo: **[Qwen3.8-Flash-Next-Dual-DGX-Sparks](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks)** (MoE NVFP4 su 2× DGX Spark, TP2, ConnectX-7/RoCEv2) e, per i sistemi singoli, **[Qwen3.8-Flash-Next-Single-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark)**. ### GLM-5.3-Flash-EXL3-2BPW Una ricetta fatta esattamente per **1× DGX Spark o qualsiasi sistema a 128 GB**. È forte nel **reverse engineering** e dovrebbe preservare circa **l'86% dell'intelligenza BF16**. Verdetto: **ancora sperimentale** — se trovi bug, segnalali. *Angolo Mia-Lab:* **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)** è il deploy di riferimento per la famiglia GLM-5.3-Flash-EXL3; se preferisci la variante NVFP4, c'è **[GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark)**. --- ## 196–256 GB — frontier ### GLM-5.3-Flash-EXL3-4BPW **91,7% di corrispondenza top-token a 0,065 KLD** — attualmente il miglior modello di questa classe di dimensione, punto. Richiede un po' di taratura per girare in modo pulito, ma soggettivamente si colloca a **livello Opus/Sol**: «Gli ho tirato tutto addosso, non ha mai raggiunto un limite.» *Angolo Mia-Lab:* Di nuovo la ricetta **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)** come base. ### DeepSeek-V4-Flash-Vision DeepSeek è migliore per la **conversazione**: più personale, più sapere sul mondo, un ottimo agente. Non c'è altro da dire — basta come dichiarazione di qualità. *Angolo Mia-Lab:* Si adatta a **2× DGX Spark** con contesto da 1M: **[DeepSeek-v4-Flash-DSpark-2x-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark)**. Se hai un solo sistema, usa **[DeepSeek-v4-Flash-One-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark)**. ### GLM-5.3-EXL3-3bpw-REAP Il **modello più intelligente per 2× DGX Spark / Mac M5 Ultra 256 GB** in coding, agentica e reverse engineering. Sarà **lento** — ma durante la notte puoi usarlo per fare RE/hacking, costruire componenti complessi e molto altro. Riserva chiara: **fuori da coding/agentica/inglese noterai perdite nette** — non è pensato per questo. *Angolo Mia-Lab:* La referenza EXL3-GLM è ancora la famiglia **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)**. ### Nex-N2.5-Pro Un modello impressionante, **soprattutto per l'editing media**. Provalo. *Angolo Mia-Lab:* Nessuna ricetta dedicata; la raccolta di benchmark agentici serve da metro di qualità (vedi **Best-Local-Model_Agentic-Workflows_2026** qui sopra). --- ## 384–512 GB — fascia alta ### GLM-5.3 Per questa classe consiglio **EXL3-3bpw fino a EXL3-4bpw**. La capacità su compiti **di sviluppo e agentica** è notevole e tende verso **Fable / GPT-5.6-Sol**. *Angolo Mia-Lab:* Per la grande scala, Mia offre **[glm-5.3-flash-4x-dgx-spark-switchless](https://github.com/MiaAI-Lab/glm-5.3-flash-4x-dgx-spark-switchless)** (GLM-5.3-Flash NVFP4 con TP4 su 4× DGX Spark, anello RoCE switchless + DFlash2). Alternativa: il **[GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark)** menzionato sopra. --- ## Perché solo ricette Mia-Lab? Perché le schede modello classiche indicano parametri e quantizzazione, ma quasi mai **se e come** il modello gira sulla *tua* hardware. Mia's AI Lab pubblica per molti di questi modelli **ricette di produzione avviabili** (stack NVFP4/EXL3, setup vLLM/SGLang, configurazioni dual/single-DGX) oltre a **benchmark misuranti** (tool-eval-bench) — questa è la base onesta per una raccomandazione hardware, non una voce su un numero di parametri. Applicare una ricetta è volutamente semplice — in sostanza così: ```bash # Esempio: clonare e avviare una ricetta Mia-Lab (qui GLM-5.3-Flash su 2x DGX Spark) git clone https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks.git cd GLM-5.3-Flash-EXL3-2x-DGX-Sparks cp .env.example .env # impostare MASTER_ADDR, WORKER_HOST, i percorsi ./start.sh # avviare il server, interrogare l'endpoint API ``` --- ## Fonti - **Mia's AI Lab su GitHub:** [https://github.com/MiaAI-Lab](https://github.com/MiaAI-Lab) — 87 repository pubblici, ricette di modelli, benchmark e strumenti. - [tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench) — benchmark di tool-calling per stack di serving LLM. - [Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026) — confronto testa a testa di LLM locali per workflow agentici. - [Ternary-Bonsai-27B-tool-eval-bench-results](https://github.com/MiaAI-Lab/Ternary-Bonsai-27B-tool-eval-bench-results) - [Qwen3.8-27B-DFlash2-EXL3-5.0bpw](https://github.com/MiaAI-Lab/Qwen3.8-27B-DFlash2-EXL3-5.0bpw) - [Qwen3.8-27B-SGLang-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-27B-SGLang-DGX-Spark) - [Qwen3.8-Flash-Next-Dual-DGX-Sparks](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks) - [Qwen3.8-Flash-Next-Single-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark) - [GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks) - [GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark) - [glm-5.3-flash-4x-dgx-spark-switchless](https://github.com/MiaAI-Lab/glm-5.3-flash-4x-dgx-spark-switchless) - [DeepSeek-v4-Flash-DSpark-2x-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark) - [DeepSeek-v4-Flash-One-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark) - [Gemma-4-31B-IT-NVFP4-Recipe](https://github.com/MiaAI-Lab/Gemma-4-31B-IT-NVFP4-Recipe) - [Qwen3.6-35B-A3B-NVFP4-vLLM](https://github.com/MiaAI-Lab/Qwen3.6-35B-A3B-NVFP4-vLLM) --- ## FAQ **Perché dovrei usare una ricetta Mia-Lab per l'auto-hosting?** Perché una scheda modello dice solo *cos'è* un modello — non *se* gira sulla tua hardware. Una ricetta di Mia's AI Lab è una configurazione testata e avviabile (livello di quantizzazione, motore di serving, impostazioni batch/contesto, varianti dual- e single-node). Ti risparmi le ore passate a tarare `tensor-parallel`, la cache KV o le opzioni di memoria e ottieni un avvio riproducibile. Dove non c'è una ricetta, lo dico esplicitamente nell'articolo invece di inventarne una. **Cosa significano "EXL3" o "3.5bpw" nelle raccomandazioni Qwen e GLM?** EXL3 è un motore di quantizzazione (ExLlama) che unisce una compressione dei pesi di alta qualità a una perdita minima di qualità; "bpw" sta per "bits per weight" — più è basso, più il modello è piccolo, più gira veloce su hardware limitata, ma più può perdere in qualità. I livelli 3.5–4bpw sono, per molte applicazioni, il punto di equilibrio tra dimensione e intelligenza. Le ricette di Mia forniscono esattamente queste configurazioni come stack avviabili, incluse le bozze di decodifica speculativa che aumentano nettamente la velocità su hardware piccola. **Posso far girare questi modelli senza hardware NVIDIA (solo Mac/AMD)?** Sì, con dei limiti. Per i modelli MoE come Nex-N2.5-Mini o Qwen3.6-35B-A3B, la bassa attivazione è un grande vantaggio su Mac e GPU più deboli, perché solo una piccola parte del modello viene attivata per token. Molte ricette Mia sono esplicitamente progettate per la classe GB10/DGX-Spark e Mac-m5 (ARM/aarch64). Con i modelli densi classici 27B+ è la memoria unificata o VRAM disponibile a decidere la fattibilità — su un Mac M5 Ultra (o equivalente), molti di questi stack possono girare anch'essi. **Come faccio a capire quale modello è il migliore per il mio caso d'uso specifico?** Prendi prima la classe VRAM/memoria di questa guida, poi verifica l'idoneità tramite un benchmark invece che con promesse di marketing. Il [tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench) di Mia e i confronti testa a testa in [Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026) aiutano a confrontare oggettivamente la qualità agentica e di tool-calling prima di montare uno stack. Per un uso a forte orientamento agentico, coding e reverse engineering, segui le raccomandazioni sopra; per il sapere sul mondo e la conversazione, tendono a andare meglio DeepSeek o Gemma. **Perché "accorciare il ragionamento" è positivo per questi modelli?** Molti modelli capaci di frontier producono lunghe catene di pensiero prima di rispondere. Quando un post-trainer (per es. in Nex) riduce la lunghezza di ragionamento, la latenza per richiesta cala notevolmente — particolarmente rilevante su hardware limitata (Mac, GPU più vecchie). È uno dei motivi per cui modelli come Qwen3.8-27B o Nex-N2.5 girano a velocità ragionevoli pur appartenendo altrimenti a classi superiori. Un modello con "meno ragionamento" quindi non è più debole — è ottimizzato per essere veloce. **Cosa significano i livelli di qualità "livello Sonnet/Luna" o "livello Opus/Sol"?** Sono equivalenze informali con modelli commerciali, pensate per dare un ordine di grandezza della performance attesa. "Livello Sonnet/Luna" significa che un modello locale si avvicina a quei modelli commerciali su molti compiti; "livello Opus/Sol" indica la fascia alta. Nota: queste classificazioni si basano su esperienza pratica e benchmark, non su una metrica standardizzata — sono un'euristica utile per orientarsi, non un risultato da laboratorio. ## Related - [Consulenza AI](https://www.contextstudios.ai/it/consulenza-ia.md) - [Sviluppo AI](https://www.contextstudios.ai/it/sviluppo-ia.md) - [Agenzia AI](https://www.contextstudios.ai/it/agenzia-ia.md) - [Sviluppo LLM](https://www.contextstudios.ai/it/sviluppo-llm.md)