Context Studios
Torna al Blog
Lokale KI-ModelleLLM Self-HostingMia AI Lab
Di Michael Kerkhoff, Founder & CEO

Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM)

Da 8 GB a 512 GB di VRAM: quali modelli IA locali girano sulla tua hardware — con le ricette di produzione e i benchmark di Mia's AI Lab.

Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM)

Quale modello IA locale per la tua hardware? La guida alle ricette Mia-Lab (da 8 GB a 512 GB di VRAM)

La prima domanda che chiunque si pone quando auto-ospita LLM è: Quale modello posso davvero far girare sulla mia hardware — e quanto mi avvicina al frontier? È raro trovare risposte oggettive, perché la performance ha senso solo nel contesto della propria macchina. Questa guida adotta esattamente questa prospettiva e si basa esclusivamente su ricette e repository di Mia's AI Lab (MiaAI-Lab) — una fonte che non si limita a valutare i modelli, ma li consegna e li deploya per configurazioni hardware concrete (da una singola GPU fino a 2× DGX Spark, con stack NVFP4, EXL3 e vLLM).

Importante da subito: le raccomandazioni sui modelli provengono da una configurazione collaudata; le ricette Mia-Lab qui linkate sono le ricette di produzione con cui questi modelli girano davvero su quella hardware. Dove non esiste (ancora) una ricetta Mia dedicata, lo dico onestamente e rimando alla referenza più vicina — nessuna ricetta viene inventata per compiacere.

8 GB di VRAM — piccolo, ma sorprendentemente capace

A 8 GB ogni livello di quantizzazione conta. La regola: modelli snelli, ricchi di contesto e orientati all'agentica, invece di un mero numero di parametri.

Spark-X2.5-4B

Un modello che secondo i benchmark si avvicina alla classe 9B pur essendo tarato sulle prestazioni in coding e agentica — e che offre una finestra di contesto da 1M token. È esattamente questa combinazione (tanto contesto, pochissima VRAM) a fare la differenza sulle macchine piccole.

Angolo Mia-Lab: Nessuna ricetta di deploy dedicata qui (per ora). La referenza misurabile è il tool-eval-bench di Mia — un benchmark di tool-calling per stack di serving, che permette di confrontare l'idoneità agentica e la qualità dei modelli piccoli prima di impegnarsi.

Bonsai-27B (Prism ML, Ternary)

Il gradino successivo: è il più vicino a un modello frontier che si possa raggiungere a 8 GB. La tecnica dietro: un modello Qwen3.6-27B viene quantizzato in Q2, riducendo drasticamente i pesi — in cambio ottieni una finestra di contesto da 262K token più la vision.

Angolo Mia-Lab: Mia ha misurato questo modello sul proprio benchmark: Ternary-Bonsai-27B-tool-eval-bench-results — risultati tool-eval-bench per il Prism-ML Ternary-Bonsai-27B (Q2_0) con 8 esecuzioni e uno score. Questo consente di dimostrare il posizionamento qualitativo invece di limitarsi ad affermarlo.

16 GB di VRAM

Gemma-4-12B

Se ti servono capacità di vision, è la scelta migliore qui. Gli utenti riportano un enorme sapere sul mondo, una grande capacità di trovare cose in immagini e video, e coerenza mantenuta su contesti lunghi. Riserva onesta: non è il miglior agente — ma regge notevolmente a questo livello.

Angolo Mia-Lab: Mia fa girare i modelli Gemma con ricette NVFP4. La referenza più vicina è Gemma-4-31B-IT-NVFP4-Recipe (vLLM con decodifica speculativa MTP, tool-calling) — il modello con cui la famiglia Gemma gira nell'ambiente Mia.

24 GB di VRAM — scelta migliore

Qwen3.8-27B (variante Mia-EXL3-3.5bpw)

Il mio preferito in questa categoria. Se vuoi esattamente il modello con la quantizzazione giusta, prendi la variante EXL3-3.5bpw di Mia's AI Lab. Il cuore dell'uso: Qwen3.8-27B è stato usato per coding, game dev, editing media, gestione della configurazione vLLM/SGLang e gestione della flotta — e le prestazioni potrebbero sorprenderti. Da sapere: ragiona meno e ha MTP, il che ti permette di farlo girare a velocità ragionevoli. Realisticamente siamo a livello Sonnet/Luna.

Angolo Mia-Lab: La ricetta di deploy adatta è Qwen3.8-27B-DFlash2-EXL3-5.0bpw — un kit che serve esattamente il target EXL3-3.5bpw (più una bozza speculativa DFlash2-EXL3-5.0bpw). In alternativa, se preferisci SGLang: Qwen3.8-27B-SGLang-DGX-Spark.

32–64 GB di VRAM — scelta migliore

Nex-N2.5-Mini

Nex post-allena modelli forti (come Qwen3.6-35B) su compiti agentici, di coding e media — con l'obiettivo di accorciare le lunghezze di ragionamento pur guadagnando qualche punto di QI. Questo è particolarmente interessante per Mac e GPU più lente, perché è un MoE e solo una piccola parte del modello viene attivata per ogni token generato. Risultato: di nuovo livello Sonnet/Luna.

Angolo Mia-Lab: Per la classe MoE/bassa attivazione, Mia offre la ricetta affine Qwen3.6-35B-A3B-NVFP4-vLLM oltre alla referenza benchmark Best-Local-Model_Agentic-Workflows_2026 (confronto testa a testa di LLM locali per workflow agentici con Hermes Agent + tool-eval-bench).

96–128 GB di VRAM — qui inizia il frontier

Qwen3.8-Flash-Next

58,7% su Deepswe, supporto vision, estremamente veloce, enorme sapere sul mondo — e rispetto a Terra/Opus-4.6 la differenza è appena percepibile. Il rovescio: 55B di parametri, che possono essere scaricati su supporti di memoria o NVMe più economici (con una perdita di velocità minima). Per farlo servono hardware di questa scala — per es. AMD Strix Halo, un DGX Spark, 4× 3090, una RTX Pro 6000 o un Mac M5 Ultra/Max.

Angolo Mia-Lab: Esistono esattamente due ricette Mia per questo: Qwen3.8-Flash-Next-Dual-DGX-Sparks (MoE NVFP4 su 2× DGX Spark, TP2, ConnectX-7/RoCEv2) e, per i sistemi singoli, Qwen3.8-Flash-Next-Single-DGX-Spark.

GLM-5.3-Flash-EXL3-2BPW

Una ricetta fatta esattamente per 1× DGX Spark o qualsiasi sistema a 128 GB. È forte nel reverse engineering e dovrebbe preservare circa l'86% dell'intelligenza BF16. Verdetto: ancora sperimentale — se trovi bug, segnalali.

Angolo Mia-Lab: GLM-5.3-Flash-EXL3-2x-DGX-Sparks è il deploy di riferimento per la famiglia GLM-5.3-Flash-EXL3; se preferisci la variante NVFP4, c'è GLM-5.3-Flash-NVFP4-Dual-DGX-Spark.

196–256 GB — frontier

GLM-5.3-Flash-EXL3-4BPW

91,7% di corrispondenza top-token a 0,065 KLD — attualmente il miglior modello di questa classe di dimensione, punto. Richiede un po' di taratura per girare in modo pulito, ma soggettivamente si colloca a livello Opus/Sol: «Gli ho tirato tutto addosso, non ha mai raggiunto un limite.»

Angolo Mia-Lab: Di nuovo la ricetta GLM-5.3-Flash-EXL3-2x-DGX-Sparks come base.

DeepSeek-V4-Flash-Vision

DeepSeek è migliore per la conversazione: più personale, più sapere sul mondo, un ottimo agente. Non c'è altro da dire — basta come dichiarazione di qualità.

Angolo Mia-Lab: Si adatta a 2× DGX Spark con contesto da 1M: DeepSeek-v4-Flash-DSpark-2x-DGX-Spark. Se hai un solo sistema, usa DeepSeek-v4-Flash-One-DGX-Spark.

GLM-5.3-EXL3-3bpw-REAP

Il modello più intelligente per 2× DGX Spark / Mac M5 Ultra 256 GB in coding, agentica e reverse engineering. Sarà lento — ma durante la notte puoi usarlo per fare RE/hacking, costruire componenti complessi e molto altro. Riserva chiara: fuori da coding/agentica/inglese noterai perdite nette — non è pensato per questo.

Angolo Mia-Lab: La referenza EXL3-GLM è ancora la famiglia GLM-5.3-Flash-EXL3-2x-DGX-Sparks.

Nex-N2.5-Pro

Un modello impressionante, soprattutto per l'editing media. Provalo.

Angolo Mia-Lab: Nessuna ricetta dedicata; la raccolta di benchmark agentici serve da metro di qualità (vedi Best-Local-Model_Agentic-Workflows_2026 qui sopra).

384–512 GB — fascia alta

GLM-5.3

Per questa classe consiglio EXL3-3bpw fino a EXL3-4bpw. La capacità su compiti di sviluppo e agentica è notevole e tende verso Fable / GPT-5.6-Sol.

Angolo Mia-Lab: Per la grande scala, Mia offre glm-5.3-flash-4x-dgx-spark-switchless (GLM-5.3-Flash NVFP4 con TP4 su 4× DGX Spark, anello RoCE switchless + DFlash2). Alternativa: il GLM-5.3-Flash-NVFP4-Dual-DGX-Spark menzionato sopra.

Perché solo ricette Mia-Lab?

Perché le schede modello classiche indicano parametri e quantizzazione, ma quasi mai se e come il modello gira sulla tua hardware. Mia's AI Lab pubblica per molti di questi modelli ricette di produzione avviabili (stack NVFP4/EXL3, setup vLLM/SGLang, configurazioni dual/single-DGX) oltre a benchmark misuranti (tool-eval-bench) — questa è la base onesta per una raccomandazione hardware, non una voce su un numero di parametri.

Applicare una ricetta è volutamente semplice — in sostanza così:

# Esempio: clonare e avviare una ricetta Mia-Lab (qui GLM-5.3-Flash su 2x DGX Spark)
git clone https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks.git
cd GLM-5.3-Flash-EXL3-2x-DGX-Sparks
cp .env.example .env            # impostare MASTER_ADDR, WORKER_HOST, i percorsi
./start.sh                      # avviare il server, interrogare l'endpoint API

Fonti

FAQ

Perché dovrei usare una ricetta Mia-Lab per l'auto-hosting? Perché una scheda modello dice solo cos'è un modello — non se gira sulla tua hardware. Una ricetta di Mia's AI Lab è una configurazione testata e avviabile (livello di quantizzazione, motore di serving, impostazioni batch/contesto, varianti dual- e single-node). Ti risparmi le ore passate a tarare tensor-parallel, la cache KV o le opzioni di memoria e ottieni un avvio riproducibile. Dove non c'è una ricetta, lo dico esplicitamente nell'articolo invece di inventarne una.

Cosa significano "EXL3" o "3.5bpw" nelle raccomandazioni Qwen e GLM? EXL3 è un motore di quantizzazione (ExLlama) che unisce una compressione dei pesi di alta qualità a una perdita minima di qualità; "bpw" sta per "bits per weight" — più è basso, più il modello è piccolo, più gira veloce su hardware limitata, ma più può perdere in qualità. I livelli 3.5–4bpw sono, per molte applicazioni, il punto di equilibrio tra dimensione e intelligenza. Le ricette di Mia forniscono esattamente queste configurazioni come stack avviabili, incluse le bozze di decodifica speculativa che aumentano nettamente la velocità su hardware piccola.

Posso far girare questi modelli senza hardware NVIDIA (solo Mac/AMD)? Sì, con dei limiti. Per i modelli MoE come Nex-N2.5-Mini o Qwen3.6-35B-A3B, la bassa attivazione è un grande vantaggio su Mac e GPU più deboli, perché solo una piccola parte del modello viene attivata per token. Molte ricette Mia sono esplicitamente progettate per la classe GB10/DGX-Spark e Mac-m5 (ARM/aarch64). Con i modelli densi classici 27B+ è la memoria unificata o VRAM disponibile a decidere la fattibilità — su un Mac M5 Ultra (o equivalente), molti di questi stack possono girare anch'essi.

Come faccio a capire quale modello è il migliore per il mio caso d'uso specifico? Prendi prima la classe VRAM/memoria di questa guida, poi verifica l'idoneità tramite un benchmark invece che con promesse di marketing. Il tool-eval-bench di Mia e i confronti testa a testa in Best-Local-Model_Agentic-Workflows_2026 aiutano a confrontare oggettivamente la qualità agentica e di tool-calling prima di montare uno stack. Per un uso a forte orientamento agentico, coding e reverse engineering, segui le raccomandazioni sopra; per il sapere sul mondo e la conversazione, tendono a andare meglio DeepSeek o Gemma.

Perché "accorciare il ragionamento" è positivo per questi modelli? Molti modelli capaci di frontier producono lunghe catene di pensiero prima di rispondere. Quando un post-trainer (per es. in Nex) riduce la lunghezza di ragionamento, la latenza per richiesta cala notevolmente — particolarmente rilevante su hardware limitata (Mac, GPU più vecchie). È uno dei motivi per cui modelli come Qwen3.8-27B o Nex-N2.5 girano a velocità ragionevoli pur appartenendo altrimenti a classi superiori. Un modello con "meno ragionamento" quindi non è più debole — è ottimizzato per essere veloce.

Cosa significano i livelli di qualità "livello Sonnet/Luna" o "livello Opus/Sol"? Sono equivalenze informali con modelli commerciali, pensate per dare un ordine di grandezza della performance attesa. "Livello Sonnet/Luna" significa che un modello locale si avvicina a quei modelli commerciali su molti compiti; "livello Opus/Sol" indica la fascia alta. Nota: queste classificazioni si basano su esperienza pratica e benchmark, non su una metrica standardizzata — sono un'euristica utile per orientarsi, non un risultato da laboratorio.

Condividi articolo

Share: