Welches lokale KI-Modell für deine Hardware? Der Mia-Lab-Rezept-Guide (8 GB bis 512 GB VRAM)
Die Frage, die sich jede:r beim Selbst-Hosten von LLMs zuerst stellt: Welches Modell kann ich auf meiner Hardware überhaupt laufen lassen — und was bringt mich dem Frontier näher? Antworten findet man selten objektiv, weil Leistung immer im Kontext der eigenen Maschine betrachtet werden muss. Dieser Guide nimmt genau diese Perspektive ein und stützt sich ausschließlich auf die Rezepte und Repositories von Mia's AI Lab (MiaAI-Lab) — einer Quelle, die Modelle nicht nur bewertet, sondern für konkrete Hardware-Konfigurationen ausliefert und deployt (von einer einzelnen GPU bis zu 2× DGX Spark, inklusive NVFP4-, EXL3- und vLLM-Stacks).
Wichtig vorab: Die Modell-Empfehlungen stammen aus einem praxiserprobten Setup; die hier verlinkten Mia-Lab-Rezepte sind die Produktions-Rezepte, mit denen diese Modelle auf der jeweiligen Hardware tatsächlich laufen. Wo es (noch) kein eigenes Mia-Rezept gibt, sage ich das ehrlich dazu und verweise auf die nächstgelegene Referenz — niemandem wird ein Rezept angedichtet.
8 GB VRAM — klein, aber erstaunlich
Auf 8 GB zählt jede Quantisierungsstufe. Die Devise: schlanke Modelle mit viel Kontext und Agentik-Fokus statt Parameter-Zahl.
Spark-X2.5-4B
Ein Modell, das laut Benchmarks an 9B-Modelle herankommt, dabei aber auf Coding- und Agentik-Leistung getrimmt ist — und ein 1M-Token-Kontextfenster bietet. Das ist genau die Kombination (viel Kontext, wenig VRAM), die auf kleinen Kisten den Unterschied macht.
Mia-Lab-Bezug: Hier gibt es (noch) kein eigenes Deployment-Rezept. Die messende Referenz ist Mia's tool-eval-bench — ein Tool-Calling-Benchmark für Servicing-Stacks, über den sich Agentik-Eignung und Qualität kleiner Modelle vergleichen lassen, bevor du dich festlegst.
Bonsai-27B (Prism ML, Ternary)
Der nächstgrößere Sprung: Dies ist der nächste, den du an ein Frontier-Modell auf 8 GB kommst. Die Technik dahinter: Ein Qwen3.6-27B-Modell wird auf Q2 quantisiert, was die Gewichte massiv verkleinert — dafür bekommst du ein 262K-Token-Kontextfenster plus Vision.
Mia-Lab-Bezug: Mia hat dieses Modell auf seinem eigenen Benchmark vermessen: Ternary-Bonsai-27B-tool-eval-bench-results — tool-eval-bench-Ergebnisse für die Prism-ML-Ternary-Bonsai-27B (Q2_0) mit 8 Durchläufen und Score. Damit lässt sich die Qualitäts-Einordnung belegen, statt sie nur zu behaupten.
16 GB VRAM
Gemma-4-12B
Wenn du Vision-Fähigkeiten brauchst, ist das hier die Top-Wahl. Das Modell hat laut Nutzer ein enormes Weltwissen, ist hervorragend darin, Dinge in Bildern und Videos zu finden, und hält die Kohärenz über lange Kontexte. Der faire Hinweis dazu: Es ist nicht der beste Agent — hält aber auf diesem Niveau beachtlich mit.
Mia-Lab-Bezug: Mia betreibt Gemma-Modelle in NVFP4-Rezepten. Als nächste Referenz dient Gemma-4-31B-IT-NVFP4-Recipe (vLLM mit MTP-Spezulative-Dekodierung, Tool-Calling) — das Muster, nach dem Gemma-Familien in der Mia-Umgebung laufen.
24 GB VRAM — Top-Pick
Qwen3.8-27B (Mia-EXL3-3.5bpw-Variante)
Mein klarer Favorit in dieser Kategorie. Wenn du exakt das Modell mit der betreffenden Quantisierung willst, greife zur EXL3-3.5bpw-Variante von Mia's AI Lab. Der Kern des Einsatzes: Qwen3.8-27B wurde für Coding, Game-Dev, Media-Editing, vLLM/SGLang-Konfigurationsmanagement und Fleet-Management genutzt — und die Leistung dürfte überraschen. Wichtig zu wissen: Es reasoniert weniger und hat MTP, wodurch du es auf vernünftigen Geschwindigkeiten laufen lassen kannst. Realistisch ist Sonnet/Luna-Niveau.
Mia-Lab-Bezug: Das passende Deployment-Rezept ist Qwen3.8-27B-DFlash2-EXL3-5.0bpw — ein Kit, das genau das EXL3-3.5bpw-Target (plus einen DFlash2-EXL3-5.0bpw-Speculative-Draft) serviert. Alternativ, falls du lieber auf SGLang setzt: Qwen3.8-27B-SGLang-DGX-Spark.
32–64 GB VRAM — Top-Pick
Nex-N2.5-Mini
Nex post-traint starke Modelle (wie Qwen3.6-35B) auf Agentik-, Coding- und Media-Aufgaben nach — mit dem Ziel, Reasoning-Längen zu kürzen und dennoch ein paar IQ-Punkte herauszuholen. Das hier ist besonders für Macs und langsamere GPUs interessant, weil es ein MoE ist und nur ein kleiner Teil des Modells pro erzeugtem Token aktiviert wird. Ergebnis ebenfalls Sonnet/Luna-Niveau.
Mia-Lab-Bezug: Für die MoE-/Niedrig-Aktivierung-Klasse gibt es bei Mia das verwandte Rezept Qwen3.6-35B-A3B-NVFP4-vLLM sowie die Benchmark-Referenz Best-Local-Model_Agentic-Workflows_2026 (Kopf-an-Kopf-Vergleich lokaler LLMs für agentische Workflows mit Hermes Agent + tool-eval-bench).
96–128 GB VRAM — hier beginnt das Frontier
Qwen3.8-Flash-Next
58,7 % auf Deepswe, Vision-Support, extrem schnell, riesiges Weltwissen — und gegenüber Terra/Opus-4.6 spürst du kaum einen Unterschied. Der Haken: 55B Parameter, die auf günstigere Speicher- oder NVMe-Medien ausgelagert werden können (mit minimalem Geschwindigkeitsverlust). Damit das läuft, brauchst du Hardware ab diesem Maßstab — z. B. AMD Strix Halo, DGX-Spark, 4× 3090, eine RTX Pro 6000 oder ein Mac M5 Ultra/Max.
Mia-Lab-Bezug: Genau dafür gibt es gleich zwei Mia-Rezepte: Qwen3.8-Flash-Next-Dual-DGX-Sparks (NVFP4-MoE über 2× DGX Spark, TP2, ConnectX-7/RoCEv2) und fürs Einzel-System Qwen3.8-Flash-Next-Single-DGX-Spark.
GLM-5.3-Flash-EXL3-2BPW
Ein Rezept, das genau für 1× DGX Spark oder jedes 128-GB-System ausgelegt ist. Es ist stark im Reverse Engineering und sollte etwa 86 % der BF16-Intelligenz erhalten. Bewertung: noch experimentell — wer Fehler findet, soll sie melden.
Mia-Lab-Bezug: GLM-5.3-Flash-EXL3-2x-DGX-Sparks ist das Referenz-Deployment für die GLM-5.3-Flash-EXL3-Familie; falls du lieber die NVFP4-Variante verfolgst, gibt es GLM-5.3-Flash-NVFP4-Dual-DGX-Spark.
196–256 GB — Frontier
GLM-5.3-Flash-EXL3-4BPW
91,7 % Top-Token-Übereinstimmung bei 0,065 KLD — für diese Größenklasse derzeit das beste Modell überhaupt. Es erfordert etwas Feintuning, um sauber zu laufen, aber subjektiv liegt es auf Opus/Sol-Niveau: „Ich habe ihm alles vorgeworfen, es hat nie ein Limit erreicht.“
Mia-Lab-Bezug: Wieder die GLM-5.3-Flash-EXL3-2x-DGX-Sparks-Rezeptur als Grundlage.
DeepSeek-V4-Flash-Vision
DeepSeek ist fürs Gespräch besser: persönlicher, mit mehr Weltwissen, ein exzellenter Agent. Mehr gibt es dazu nicht zu sagen — das reicht als Qualitätsaussage.
Mia-Lab-Bezug: Das passt auf 2× DGX Spark mit 1M-Kontext: DeepSeek-v4-Flash-DSpark-2x-DGX-Spark. Wer nur ein System hat, nutzt DeepSeek-v4-Flash-One-DGX-Spark.
GLM-5.3-EXL3-3bpw-REAP
Das klügste Modell für 2× DGX Spark / Mac M5-Ultra 256 GB in den Bereichen Coding, Agentik und Reverse Engineering. Es wird langsam sein — aber über Nacht kannst du damit RE/Hacken, komplexe Komponenten bauen und vieles mehr. Der klare Hinweis: außerhalb von Coding/Agentik/Englisch merkst du deutliche Einbußen — dafür ist es nicht gedacht.
Mia-Lab-Bezug: Die EXL3-GLM-Referenz ist erneut die GLM-5.3-Flash-EXL3-2x-DGX-Sparks-Familie.
Nex-N2.5-Pro
Ein beeindruckendes Modell, besonders für Media-Editing. Probier es aus.
Mia-Lab-Bezug: Kein dediziertes Rezept; als Qualitätsmaßstab dient die agentische Benchmark-Sammlung (siehe oben, Best-Local-Model_Agentic-Workflows_2026).
384–512 GB — Spitzenklasse
GLM-5.3
Für diese Klasse empfehle ich EXL3-3bpw bis EXL3-4bpw. Die Leistungsfähigkeit bei Development- und Agentik-Aufgaben ist beachtlich und geht in Richtung Fable / GPT-5.6-Sol.
Mia-Lab-Bezug: Für den großen Maßstab gibt es bei Mia glm-5.3-flash-4x-dgx-spark-switchless (GLM-5.3-Flash NVFP4 mit TP4 über 4× DGX Spark, switchless RoCE-Ring + DFlash2). Alternative: das oben genannte GLM-5.3-Flash-NVFP4-Dual-DGX-Spark.
Warum nur Mia-Lab-Rezepte?
Weil die üblichen Modell-Cards zwar Parameter und Quantisierung nennen, aber fast nie ob und wie das Modell auf deiner Hardware läuft. Mia's AI Lab veröffentlicht zu vielen dieser Modelle startbare Produktions-Rezepte (NVFP4/EXL3-Stacks, vLLM/SGLang-Setup, Dual-/Single-DGX-Konfigurationen) plus messende Benchmarks (tool-eval-bench) — das ist die ehrliche Grundlage für eine Hardware-Empfehlung, nicht das Gerücht um eine Parameterzahl.
Ein Rezept anzuwenden ist bewusst simpel gehalten — im Grundsatz so:
# Beispiel: ein Mia-Lab-Rezept klonen und starten (hier GLM-5.3-Flash auf 2x DGX Spark)
git clone https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks.git
cd GLM-5.3-Flash-EXL3-2x-DGX-Sparks
cp .env.example .env # MASTER_ADDR, WORKER_HOST, Pfade setzen
./start.sh # Server hochfahren, API-Endpunkt abfragen
Quellen
- Mia's AI Lab auf GitHub: https://github.com/MiaAI-Lab — 87 öffentliche Repos, Modell-Rezepte, Benchmarks und Tools.
- tool-eval-bench — Tool-Calling-Benchmark für LLM-Serving-Stacks.
- Best-Local-Model_Agentic-Workflows_2026 — Kopf-an-Kopf-Vergleich lokaler LLMs für agentische Workflows.
- Ternary-Bonsai-27B-tool-eval-bench-results
- Qwen3.8-27B-DFlash2-EXL3-5.0bpw
- Qwen3.8-27B-SGLang-DGX-Spark
- Qwen3.8-Flash-Next-Dual-DGX-Sparks
- Qwen3.8-Flash-Next-Single-DGX-Spark
- GLM-5.3-Flash-EXL3-2x-DGX-Sparks
- GLM-5.3-Flash-NVFP4-Dual-DGX-Spark
- glm-5.3-flash-4x-dgx-spark-switchless
- DeepSeek-v4-Flash-DSpark-2x-DGX-Spark
- DeepSeek-v4-Flash-One-DGX-Spark
- Gemma-4-31B-IT-NVFP4-Recipe
- Qwen3.6-35B-A3B-NVFP4-vLLM
FAQ
Warum sollte ich zum Selbst-Hosten überhaupt ein Rezept von Mia-Lab nehmen?
Weil ein Modell-Card-Eintrag nur sagt, was ein Modell ist — nicht, ob es auf deiner Hardware läuft. Ein Rezept aus Mia's AI Lab ist eine ausprobierte, startbare Konfiguration (Quantisierungsgrad, Serving-Engine, Batch-/Kontext-Setup, Dual-/Single-Node-Varianten). Du ersparst dir damit das stundenlange Einstellen von tensor-parallel, KV-Cache- oder Speicher-Optionen und bekommst einen reproduzierbaren Start. Wo es kein Rezept gibt, nenne ich das im Beitrag explizit, statt dir eine zu erfinden.
Was bedeutet „EXL3" bzw. „3.5bpw" bei den Qwen- und GLM-Empfehlungen? EXL3 ist eine Quantisierungs-Engine (ExLlama), die hochwertige Gewichtskompression mit geringem Qualitätsverlust verbindet; „bpw" steht für „bits per weight" — je niedriger, desto kleiner das Modell, desto schneller läuft es auf begrenzter Hardware, aber desto mehr Qualität geht potenziell verloren. Die 3.5–4bpw-Stufen sind für viele Anwendungen der Sweet Spot zwischen Größe und Intelligenz. Mia's Rezepte liefern genau diese Konfigurationen als startbare Stacks, inklusive Speculative-Decoding-Drafts, die die Geschwindigkeit beim Kleinhardware-Betrieb deutlich erhöhen.
Kann ich diese Modelle auch ohne NVIDIA-Hardware (nur Mac/AMD) laufen lassen? Ja, mit Einschränkungen. Für MoE-Modelle wie Nex-N2.5-Mini oder Qwen3.6-35B-A3B ist die Niedrig-Aktivierung ein großer Vorteil auf Macs und schwächeren GPUs, weil nur ein kleiner Teil des Modells pro Token aktiviert wird. Viele Mia-Rezepte sind explizit auf die GB10/DGX-Spark- und Mac-m5-Klasse (ARM/aarch64) ausgelegt. Bei klassischen dichten 27B+-Modellen entscheidet der verfügbare Unified Memory bzw. Speicher über die Machbarkeit — auf einem Mac M5 Ultra (oder vergleichbar) lassen sich viele dieser Stacks ebenfalls fahren.
Wie finde ich heraus, welches Modell für meine spezifische Use-Case am besten ist? Nimm zuerst die VRAM-/Speicher-Klasse aus diesem Guide und prüfe dann die Eignung über einen Benchmark statt über Werbeversprechen. Mia's tool-eval-bench und die Kopf-an-Kopf-Vergleiche in Best-Local-Model_Agentic-Workflows_2026 helfen, Agentik- und Tool-Calling-Qualität objektiv zu vergleichen, bevor du einen Stack aufsetzt. Bei Agentik-, Coding- und Reverse-Engineering-Lastigkeit greife zu den Empfehlungen oben; bei Weltwissen und Gespräch tendiert eher DeepSeek bzw. Gemma.
Warum ist „Reasoning kürzen" bei diesen Modellen gut? Viele Frontier-fähige Modelle produzieren lange Gedankengänge, bevor sie antworten. Wenn ein Post-Trainer (z. B. bei Nex) die Reasoning-Länge reduziert, sinkt die Latenz pro Anfrage erheblich — besonders relevant auf begrenzter Hardware (Mac, ältere GPUs). Das ist einer der Gründe, warum Modelle wie Qwen3.8-27B oder Nex-N2.5 auf vernünftigen Geschwindigkeiten laufen, obwohl sie sonst qualitativ in höhere Klassen gehören. Ein „weniger Reasoning"-Modell ist also nicht schwächer — es ist auf Flott-Sein hin optimiert.
Was bedeutet die Qualitätsangabe „Sonnet/Luna-Niveau" oder „Opus/Sol-Niveau"? Das sind informelle Äquivalenz-Angaben zu kommerziellen Modellen, die eine grobe Einordnung der zu erwartenden Leistungsfähigkeit geben sollen. „Sonnet/Luna-Niveau" bedeutet, dass ein lokales Modell in vielen Aufgaben nahe an diesen kommerziellen Modellen liegt; „Opus/Sol-Niveau" steht für die Spitzenklasse. Beachte: Diese Einordnungen basieren auf praktischen Erfahrungen und Benchmarks, nicht auf einer standardisierten Metrik — sie sind eine nützliche Heuristik zur Orientierung, kein Laborergebnis.