--- type: "BlogPosting" title: "Welches lokale KI-Modell für deine Hardware? Der Mia-Lab-Rezept-Guide (8 GB bis 512 GB VRAM)" description: "Von 8 GB bis 512 GB VRAM: welche lokalen KI-Modelle auf deiner Hardware laufen — mit den Produktionsrezepten und Benchmarks von Mia's AI Lab." resource: "https://www.contextstudios.ai/de/blog/lokale-ki-modelle-mia-lab-rezept-guide" language: "de" tags: ["Lokale KI-Modelle", "LLM Self-Hosting", "Mia AI Lab", "Quantisierung", "DGX Spark", "MoE"] generated: by: "process:contextstudios-md/1" at: "2026-10-25T20:02:51.889Z" status: "stable" --- # Welches lokale KI-Modell für deine Hardware? Der Mia-Lab-Rezept-Guide (8 GB bis 512 GB VRAM) Published: 2026-09-10 Tags: Lokale KI-Modelle, LLM Self-Hosting, Mia AI Lab, Quantisierung, DGX Spark, MoE ![Welches lokale KI-Modell für deine Hardware? Der Mia-Lab-Rezept-Guide (8 GB bis 512 GB VRAM)](https://wary-platypus-754.convex.cloud/api/storage/3d6b5ce0-fd2c-4df3-ad1c-35b5070f7725) # Welches lokale KI-Modell für deine Hardware? Der Mia-Lab-Rezept-Guide (8 GB bis 512 GB VRAM) Die Frage, die sich jede:r beim Selbst-Hosten von LLMs zuerst stellt: **Welches Modell kann ich auf meiner Hardware überhaupt laufen lassen — und was bringt mich dem Frontier näher?** Antworten findet man selten objektiv, weil Leistung immer im Kontext der eigenen Maschine betrachtet werden muss. Dieser Guide nimmt genau diese Perspektive ein und stützt sich ausschließlich auf die **Rezepte und Repositories von Mia's AI Lab (MiaAI-Lab)** — einer Quelle, die Modelle nicht nur bewertet, sondern für konkrete Hardware-Konfigurationen **ausliefert und deployt** (von einer einzelnen GPU bis zu 2× DGX Spark, inklusive NVFP4-, EXL3- und vLLM-Stacks). **Wichtig vorab:** Die Modell-Empfehlungen stammen aus einem praxiserprobten Setup; die hier verlinkten Mia-Lab-Rezepte sind die **Produktions-Rezepte**, mit denen diese Modelle auf der jeweiligen Hardware tatsächlich laufen. Wo es (noch) kein eigenes Mia-Rezept gibt, sage ich das ehrlich dazu und verweise auf die nächstgelegene Referenz — niemandem wird ein Rezept angedichtet. --- ## 8 GB VRAM — klein, aber erstaunlich Auf 8 GB zählt jede Quanti­sierungs­stufe. Die Devise: schlanke Modelle mit viel Kontext und Agentik-Fokus statt Parameter-Zahl. ### Spark-X2.5-4B Ein Modell, das laut Benchmarks an 9B-Modelle herankommt, dabei aber auf **Coding- und Agentik-Leistung** getrimmt ist — und ein **1M-Token-Kontextfenster** bietet. Das ist genau die Kombination (viel Kontext, wenig VRAM), die auf kleinen Kisten den Unterschied macht. *Mia-Lab-Bezug:* Hier gibt es (noch) kein eigenes Deployment-Rezept. Die messende Referenz ist Mia's **[tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench)** — ein Tool-Calling-Benchmark für Servicing-Stacks, über den sich Agentik-Eignung und Qualität kleiner Modelle vergleichen lassen, bevor du dich festlegst. ### Bonsai-27B (Prism ML, Ternary) Der nächstgrößere Sprung: Dies ist der **nächste, den du an ein Frontier-Modell auf 8 GB kommst**. Die Technik dahinter: Ein `Qwen3.6-27B`-Modell wird auf **Q2 quantisiert**, was die Gewichte massiv verkleinert — dafür bekommst du ein **262K-Token-Kontextfenster plus Vision**. *Mia-Lab-Bezug:* Mia hat dieses Modell auf seinem eigenen Benchmark vermessen: **[Ternary-Bonsai-27B-tool-eval-bench-results](https://github.com/MiaAI-Lab/Ternary-Bonsai-27B-tool-eval-bench-results)** — tool-eval-bench-Ergebnisse für die Prism-ML-Ternary-Bonsai-27B (Q2_0) mit 8 Durchläufen und Score. Damit lässt sich die Qualitäts-Einordnung belegen, statt sie nur zu behaupten. --- ## 16 GB VRAM ### Gemma-4-12B Wenn du **Vision-Fähigkeiten** brauchst, ist das hier die Top-Wahl. Das Modell hat laut Nutzer ein enormes Weltwissen, ist hervorragend darin, Dinge in **Bildern und Videos** zu finden, und hält die Kohärenz über lange Kontexte. Der faire Hinweis dazu: **Es ist nicht der beste Agent** — hält aber auf diesem Niveau beachtlich mit. *Mia-Lab-Bezug:* Mia betreibt Gemma-Modelle in NVFP4-Rezepten. Als nächste Referenz dient **[Gemma-4-31B-IT-NVFP4-Recipe](https://github.com/MiaAI-Lab/Gemma-4-31B-IT-NVFP4-Recipe)** (vLLM mit MTP-Spezulative-Dekodierung, Tool-Calling) — das Muster, nach dem Gemma-Familien in der Mia-Umgebung laufen. --- ## 24 GB VRAM — Top-Pick ### Qwen3.8-27B (Mia-EXL3-3.5bpw-Variante) **Mein klarer Favorit in dieser Kategorie.** Wenn du exakt das Modell mit der betreffenden Quantisierung willst, greife zur **EXL3-3.5bpw-Variante** von Mia's AI Lab. Der Kern des Einsatzes: Qwen3.8-27B wurde für Coding, Game-Dev, Media-Editing, **vLLM/SGLang-Konfigurationsmanagement** und **Fleet-Management** genutzt — und die Leistung dürfte überraschen. Wichtig zu wissen: Es **reasoniert weniger** und hat **MTP**, wodurch du es auf vernünftigen Geschwindigkeiten laufen lassen kannst. Realistisch ist **Sonnet/Luna-Niveau**. *Mia-Lab-Bezug:* Das passende Deployment-Rezept ist **[Qwen3.8-27B-DFlash2-EXL3-5.0bpw](https://github.com/MiaAI-Lab/Qwen3.8-27B-DFlash2-EXL3-5.0bpw)** — ein Kit, das genau das **EXL3-3.5bpw-Target** (plus einen DFlash2-EXL3-5.0bpw-Speculative-Draft) serviert. Alternativ, falls du lieber auf SGLang setzt: **[Qwen3.8-27B-SGLang-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-27B-SGLang-DGX-Spark)**. --- ## 32–64 GB VRAM — Top-Pick ### Nex-N2.5-Mini Nex post-traint starke Modelle (wie `Qwen3.6-35B`) auf Agentik-, Coding- und Media-Aufgaben nach — mit dem Ziel, **Reasoning-Längen zu kürzen** und dennoch ein paar IQ-Punkte herauszuholen. Das hier ist besonders für **Macs und langsamere GPUs** interessant, weil es ein **MoE** ist und **nur ein kleiner Teil des Modells** pro erzeugtem Token aktiviert wird. Ergebnis ebenfalls **Sonnet/Luna-Niveau**. *Mia-Lab-Bezug:* Für die MoE-/Niedrig-Aktivierung-Klasse gibt es bei Mia das verwandte Rezept **[Qwen3.6-35B-A3B-NVFP4-vLLM](https://github.com/MiaAI-Lab/Qwen3.6-35B-A3B-NVFP4-vLLM)** sowie die Benchmark-Referenz **[Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026)** (Kopf-an-Kopf-Vergleich lokaler LLMs für agentische Workflows mit Hermes Agent + tool-eval-bench). --- ## 96–128 GB VRAM — hier beginnt das Frontier ### Qwen3.8-Flash-Next **58,7 % auf Deepswe**, Vision-Support, extrem schnell, riesiges Weltwissen — und gegenüber `Terra`/`Opus-4.6` spürst du kaum einen Unterschied. Der Haken: **55B Parameter**, die auf günstigere Speicher- oder NVMe-Medien ausgelagert werden können (mit minimalem Geschwindigkeitsverlust). Damit das läuft, brauchst du Hardware ab diesem Maßstab — z. B. AMD Strix Halo, DGX-Spark, 4× 3090, eine RTX Pro 6000 oder ein Mac M5 Ultra/Max. *Mia-Lab-Bezug:* Genau dafür gibt es gleich **zwei** Mia-Rezepte: **[Qwen3.8-Flash-Next-Dual-DGX-Sparks](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks)** (NVFP4-MoE über 2× DGX Spark, TP2, ConnectX-7/RoCEv2) und fürs Einzel-System **[Qwen3.8-Flash-Next-Single-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark)**. ### GLM-5.3-Flash-EXL3-2BPW Ein Rezept, das genau für **1× DGX Spark oder jedes 128-GB-System** ausgelegt ist. Es ist stark im **Reverse Engineering** und sollte etwa **86 % der BF16-Intelligenz** erhalten. Bewertung: **noch experimentell** — wer Fehler findet, soll sie melden. *Mia-Lab-Bezug:* **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)** ist das Referenz-Deployment für die GLM-5.3-Flash-EXL3-Familie; falls du lieber die NVFP4-Variante verfolgst, gibt es **[GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark)**. --- ## 196–256 GB — Frontier ### GLM-5.3-Flash-EXL3-4BPW **91,7 % Top-Token-Übereinstimmung bei 0,065 KLD** — für diese Größenklasse derzeit das beste Modell überhaupt. Es erfordert etwas Feintuning, um sauber zu laufen, aber subjektiv liegt es auf **Opus/Sol-Niveau**: „Ich habe ihm alles vorgeworfen, es hat nie ein Limit erreicht.“ *Mia-Lab-Bezug:* Wieder die **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)**-Rezeptur als Grundlage. ### DeepSeek-V4-Flash-Vision DeepSeek ist fürs **Gespräch** besser: persönlicher, mit mehr Weltwissen, ein exzellenter Agent. Mehr gibt es dazu nicht zu sagen — das reicht als Qualitätsaussage. *Mia-Lab-Bezug:* Das passt auf **2× DGX Spark** mit 1M-Kontext: **[DeepSeek-v4-Flash-DSpark-2x-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark)**. Wer nur ein System hat, nutzt **[DeepSeek-v4-Flash-One-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark)**. ### GLM-5.3-EXL3-3bpw-REAP Das **klügste Modell für 2× DGX Spark / Mac M5-Ultra 256 GB** in den Bereichen Coding, Agentik und Reverse Engineering. Es wird **langsam** sein — aber über Nacht kannst du damit RE/Hacken, komplexe Komponenten bauen und vieles mehr. Der klare Hinweis: **außerhalb von Coding/Agentik/Englisch merkst du deutliche Einbußen** — dafür ist es nicht gedacht. *Mia-Lab-Bezug:* Die EXL3-GLM-Referenz ist erneut die **[GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks)**-Familie. ### Nex-N2.5-Pro Ein beeindruckendes Modell, **besonders für Media-Editing**. Probier es aus. *Mia-Lab-Bezug:* Kein dediziertes Rezept; als Qualitätsmaßstab dient die agentische Benchmark-Sammlung (siehe oben, **Best-Local-Model_Agentic-Workflows_2026**). --- ## 384–512 GB — Spitzenklasse ### GLM-5.3 Für diese Klasse empfehle ich **EXL3-3bpw bis EXL3-4bpw**. Die Leistungsfähigkeit bei **Development- und Agentik-Aufgaben** ist beachtlich und geht in Richtung **Fable / GPT-5.6-Sol**. *Mia-Lab-Bezug:* Für den großen Maßstab gibt es bei Mia **[glm-5.3-flash-4x-dgx-spark-switchless](https://github.com/MiaAI-Lab/glm-5.3-flash-4x-dgx-spark-switchless)** (GLM-5.3-Flash NVFP4 mit TP4 über 4× DGX Spark, switchless RoCE-Ring + DFlash2). Alternative: das oben genannte **[GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark)**. --- ## Warum nur Mia-Lab-Rezepte? Weil die üblichen Modell-Cards zwar Parameter und Quantisierung nennen, aber fast nie **ob und wie** das Modell auf *deiner* Hardware läuft. Mia's AI Lab veröffentlicht zu vielen dieser Modelle **startbare Produktions-Rezepte** (NVFP4/EXL3-Stacks, vLLM/SGLang-Setup, Dual-/Single-DGX-Konfigurationen) plus **messende Benchmarks** (tool-eval-bench) — das ist die ehrliche Grundlage für eine Hardware-Empfehlung, nicht das Gerücht um eine Parameterzahl. Ein Rezept anzuwenden ist bewusst simpel gehalten — im Grundsatz so: ```bash # Beispiel: ein Mia-Lab-Rezept klonen und starten (hier GLM-5.3-Flash auf 2x DGX Spark) git clone https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks.git cd GLM-5.3-Flash-EXL3-2x-DGX-Sparks cp .env.example .env # MASTER_ADDR, WORKER_HOST, Pfade setzen ./start.sh # Server hochfahren, API-Endpunkt abfragen ``` --- ## Quellen - **Mia's AI Lab auf GitHub:** [https://github.com/MiaAI-Lab](https://github.com/MiaAI-Lab) — 87 öffentliche Repos, Modell-Rezepte, Benchmarks und Tools. - [tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench) — Tool-Calling-Benchmark für LLM-Serving-Stacks. - [Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026) — Kopf-an-Kopf-Vergleich lokaler LLMs für agentische Workflows. - [Ternary-Bonsai-27B-tool-eval-bench-results](https://github.com/MiaAI-Lab/Ternary-Bonsai-27B-tool-eval-bench-results) - [Qwen3.8-27B-DFlash2-EXL3-5.0bpw](https://github.com/MiaAI-Lab/Qwen3.8-27B-DFlash2-EXL3-5.0bpw) - [Qwen3.8-27B-SGLang-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-27B-SGLang-DGX-Spark) - [Qwen3.8-Flash-Next-Dual-DGX-Sparks](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Dual-DGX-Sparks) - [Qwen3.8-Flash-Next-Single-DGX-Spark](https://github.com/MiaAI-Lab/Qwen3.8-Flash-Next-Single-DGX-Spark) - [GLM-5.3-Flash-EXL3-2x-DGX-Sparks](https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks) - [GLM-5.3-Flash-NVFP4-Dual-DGX-Spark](https://github.com/MiaAI-Lab/GLM-5.3-Flash-NVFP4-Dual-DGX-Spark) - [glm-5.3-flash-4x-dgx-spark-switchless](https://github.com/MiaAI-Lab/glm-5.3-flash-4x-dgx-spark-switchless) - [DeepSeek-v4-Flash-DSpark-2x-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark) - [DeepSeek-v4-Flash-One-DGX-Spark](https://github.com/MiaAI-Lab/DeepSeek-v4-Flash-One-DGX-Spark) - [Gemma-4-31B-IT-NVFP4-Recipe](https://github.com/MiaAI-Lab/Gemma-4-31B-IT-NVFP4-Recipe) - [Qwen3.6-35B-A3B-NVFP4-vLLM](https://github.com/MiaAI-Lab/Qwen3.6-35B-A3B-NVFP4-vLLM) --- ## FAQ **Warum sollte ich zum Selbst-Hosten überhaupt ein Rezept von Mia-Lab nehmen?** Weil ein Modell-Card-Eintrag nur sagt, *was* ein Modell ist — nicht, *ob* es auf deiner Hardware läuft. Ein Rezept aus Mia's AI Lab ist eine ausprobierte, startbare Konfiguration (Quantisierungsgrad, Serving-Engine, Batch-/Kontext-Setup, Dual-/Single-Node-Varianten). Du ersparst dir damit das stundenlange Einstellen von `tensor-parallel`, KV-Cache- oder Speicher-Optionen und bekommst einen reproduzierbaren Start. Wo es kein Rezept gibt, nenne ich das im Beitrag explizit, statt dir eine zu erfinden. **Was bedeutet „EXL3" bzw. „3.5bpw" bei den Qwen- und GLM-Empfehlungen?** EXL3 ist eine Quantisierungs-Engine (ExLlama), die hochwertige Gewichtskompression mit geringem Qualitätsverlust verbindet; „bpw" steht für „bits per weight" — je niedriger, desto kleiner das Modell, desto schneller läuft es auf begrenzter Hardware, aber desto mehr Qualität geht potenziell verloren. Die 3.5–4bpw-Stufen sind für viele Anwendungen der Sweet Spot zwischen Größe und Intelligenz. Mia's Rezepte liefern genau diese Konfigurationen als startbare Stacks, inklusive Speculative-Decoding-Drafts, die die Geschwindigkeit beim Kleinhardware-Betrieb deutlich erhöhen. **Kann ich diese Modelle auch ohne NVIDIA-Hardware (nur Mac/AMD) laufen lassen?** Ja, mit Einschränkungen. Für MoE-Modelle wie Nex-N2.5-Mini oder Qwen3.6-35B-A3B ist die Niedrig-Aktivierung ein großer Vorteil auf Macs und schwächeren GPUs, weil nur ein kleiner Teil des Modells pro Token aktiviert wird. Viele Mia-Rezepte sind explizit auf die GB10/DGX-Spark- und Mac-m5-Klasse (ARM/aarch64) ausgelegt. Bei klassischen dichten 27B+-Modellen entscheidet der verfügbare Unified Memory bzw. Speicher über die Machbarkeit — auf einem Mac M5 Ultra (oder vergleichbar) lassen sich viele dieser Stacks ebenfalls fahren. **Wie finde ich heraus, welches Modell für meine spezifische Use-Case am besten ist?** Nimm zuerst die VRAM-/Speicher-Klasse aus diesem Guide und prüfe dann die Eignung über einen Benchmark statt über Werbeversprechen. Mia's [tool-eval-bench](https://github.com/MiaAI-Lab/tool-eval-bench) und die Kopf-an-Kopf-Vergleiche in [Best-Local-Model_Agentic-Workflows_2026](https://github.com/MiaAI-Lab/Best-Local-Model_Agentic-Workflows_2026) helfen, Agentik- und Tool-Calling-Qualität objektiv zu vergleichen, bevor du einen Stack aufsetzt. Bei Agentik-, Coding- und Reverse-Engineering-Lastigkeit greife zu den Empfehlungen oben; bei Weltwissen und Gespräch tendiert eher DeepSeek bzw. Gemma. **Warum ist „Reasoning kürzen" bei diesen Modellen gut?** Viele Frontier-fähige Modelle produzieren lange Gedankengänge, bevor sie antworten. Wenn ein Post-Trainer (z. B. bei Nex) die Reasoning-Länge reduziert, sinkt die Latenz pro Anfrage erheblich — besonders relevant auf begrenzter Hardware (Mac, ältere GPUs). Das ist einer der Gründe, warum Modelle wie Qwen3.8-27B oder Nex-N2.5 auf vernünftigen Geschwindigkeiten laufen, obwohl sie sonst qualitativ in höhere Klassen gehören. Ein „weniger Reasoning"-Modell ist also nicht schwächer — es ist auf Flott-Sein hin optimiert. **Was bedeutet die Qualitätsangabe „Sonnet/Luna-Niveau" oder „Opus/Sol-Niveau"?** Das sind informelle Äquivalenz-Angaben zu kommerziellen Modellen, die eine grobe Einordnung der zu erwartenden Leistungsfähigkeit geben sollen. „Sonnet/Luna-Niveau" bedeutet, dass ein lokales Modell in vielen Aufgaben nahe an diesen kommerziellen Modellen liegt; „Opus/Sol-Niveau" steht für die Spitzenklasse. Beachte: Diese Einordnungen basieren auf praktischen Erfahrungen und Benchmarks, nicht auf einer standardisierten Metrik — sie sind eine nützliche Heuristik zur Orientierung, kein Laborergebnis. ## Related - [KI-Beratung](https://www.contextstudios.ai/de/ki-beratung.md) - [KI-Entwicklung](https://www.contextstudios.ai/de/ki-entwicklung.md) - [KI-Agentur](https://www.contextstudios.ai/de/ki-agentur.md) - [LLM-Entwicklung](https://www.contextstudios.ai/de/llm-entwicklung.md)