Balance1× DGX Spark
Qwen3.8-Flash-Next EXL3 3.05 bpw mit ExLlamaV3 auf 1× DGX Spark
53tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnenRessourcen · Lokale KI
Lokale KI auf Ihrer Hardware.
Welche offenen Modelle laufen auf DGX Spark, Mac, Strix Halo oder RTX, wie schnell und wie klug? Rezepte der Kreatoren, jede Zahl mit Bedingung und Quelle, jedes Gewicht verlinkt.
Schnellwahl für Ihre Hardware
Plattform und Anzahl wählen: Hier erscheinen die drei Empfehlungen für Ihre Hardware.
282 Rezepte24 Kreatoren6 Plattformen217 mit IntelligenzwertStand 26. Sept. 2026
(01)
Was steht bei Ihnen?
Plattform und Anzahl wählen. Empfehlungen und Rezeptliste folgen der Auswahl.
Speicher gesamt—
Speicherklasse—
Rezept282 Rezepte
Speicherklassen (Faustregel)
- S24–32 GB1× 3090, 1× 509027B dicht, 35B-A3B
- M48–96 GB2–4× 3090, 2× 5090dieselben mit viel Kontext
- L96–128 GB1× Spark, 1× PRO 6000, Strix Halo, Mac 128 GBFlash-Klasse, teils nur 2-Bit
- XL192–256 GB2× Spark, 2× PRO 6000DeepSeek-V4-Flash, MiMo, GLM-5.3-Flash 4-Bit
- XXL384 GB+3–4× Spark, 4–8× PRO 6000, Mac 512 GBDeepSeek-V4.1-Flash, GLM-5.3, MiniMax-M3
Faustregel von Context Studios, keine Messung. Was tatsächlich passt, zeigt das jeweilige Rezept.
(02)
Unsere Empfehlungen.
Ohne Auswahl: die ausgewogene Empfehlung je Plattform für die kleinste Ausbaustufe.
Balance1× Mac
DeepSeek-V4.1-Flash 763B mit MLX auf 1× Mac
25,1tok/sAlltag
1 Anfrage, Prosa-Prompt, kurzer Prompt, mit MTP (DSpark built-in) (laut Rezept) Quelle
Intelligenz40mit Denkenohne Denken 25
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnenBalance1× Strix Halo
Qwen3.8-Flash-Next EXL3 3.05 bpw mit ExLlamaV3 auf 1× Strix Halo
41,3tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit ndt=3 Quelle
Intelligenz40mit Denken
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnenBalance1× RTX 3090
Qwen3.6 35B-A3B IQ4_XS mit ik_llama.cpp auf 1× RTX 3090
113tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz18mit Denkenohne Denken 15
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnenBalance1× RTX 5090
Qwen3.6-27B mit NInfer auf 1× RTX 5090
186tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle
Intelligenz21mit Denkenohne Denken 20
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnenBalance1× RTX PRO 6000
Qwen3.8-Flash-Next 125B NVFP4 mit SGLang auf 1× RTX PRO 6000
207tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit FR-Spec + NEXTN (laut Rezept) Quelle
Intelligenz40mit Denken
Gute Qualität bei flüssigem Tempo für den Alltag.
Rezept öffnen(03)
Schnell ist nicht klug.
Jeder Punkt ist ein Rezept: rechts schneller, oben klüger. Die Form zeigt, wie das Tempo gemessen wurde.
- Tempo gemessen als
- Alltag
- Gemischt
- Spitze
- Gestrichelter Kreis: stark komprimiert (unter 2,5 Bit je Gewicht), Intelligenz gilt fürs Originalmodell
209 von 282 Rezepten dargestellt, nur Rezepte mit Tempo- und Intelligenzwert.
Die Tempo-Kategorien sind nicht direkt vergleichbar: „Spitze“ ist ein Bestwert, meist bei Code oder mit Spekulation gemessen, „Alltag“ eine einzelne Anfrage mit Prosa-Prompt.
Intelligenz = Originalmodell laut Artificial Analysis Intelligence Index v4.3.2, Stand 26. Sept. 2026. Quantisierung und Engine können den Wert im Rezept verändern. Quelle: Artificial Analysis
Tippen zeigt Details, zweites Tippen öffnet das Rezept.
(04)
Alle Rezepte.
Filtern nach Hardware, Engine, Quantisierung, Modellfamilie und Kreator. Karten oder Tabelle, gleiche Daten.
1× RTX 5090
252tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenz18mit Denkenohne Denken 15
2× RTX 5090
249tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenz18mit Denkenohne Denken 15
- Lizenz ungeklärt
4× RTX PRO 6000
235tok/sAlltag
1 Anfrage, Prosa-Prompt, Kontext 19, mit DSpark (laut Rezept) Quelle
Intelligenz34mit Denken
- Eigener Kernel nötig
2× RTX 5090
218tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
2× RTX 3090
187tok/sAlltag
1 Anfrage, Prosa-Prompt, Prompt 450 Token, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
2× RTX 3090
179tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenz18mit Denkenohne Denken 15
- Lizenz ungeklärt
1× RTX 3090
168tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz17mit Denkenohne Denken 13
2× RTX 5090
168tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP Quelle
Intelligenz21mit Denkenohne Denken 20
2× RTX 5090
153tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz21mit Denkenohne Denken 20
2× RTX 3090
151tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
2× RTX 5090
149tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
- Experimentell
- Lizenz ungeklärt
4× RTX 3090
145tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DFlash (laut Rezept) Quelle
Intelligenz34mit Denkenohne Denken 20
- Experimentell
2× RTX 3090
144tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
4× RTX PRO 6000
139tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz18mit Denkenohne Denken 21
- Eigener Kernel nötig
1× RTX 5090
128tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz21mit Denkenohne Denken 20
2× RTX 3090
123tok/sAlltag
1 Anfrage, Prosa-Prompt, mit Draft Quelle
Intelligenz34mit Denkenohne Denken 20
1× RTX 3090
113tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz18mit Denkenohne Denken 15
4× RTX 3090
110tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Lizenz ungeklärt
2× RTX 3090
109tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz21mit Denkenohne Denken 20
2× RTX 3090Qwen3.8-27B (ThinkingCap-Finetune)
108tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Experimentell
- Eigener Kernel nötig
- Lizenz ungeklärt
4× RTX 3090
105tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz21mit Denkenohne Denken 20
4× RTX 3090
104tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Experimentell
- Lizenz ungeklärt
4× DGX Spark
87,7tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle
Intelligenz40mit Denkenohne Denken 25
4× RTX 3090
85,3tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle
Intelligenz34mit Denkenohne Denken 20
(05)
AMD Strix Halo: Kann das Modell die Arbeit?
Für Strix Halo zeigen wir Qualität statt Tempo: gelöste Agenten-Aufgaben im Terminal-Bench-Mini (19 Aufgaben im Terminal). Dazu einige ausgewählte Tempowerte mit Quellenangabe; die vollständigen Messreihen liegen beim Autor.
| Modell | Quant | Aufbau | Engine | Gelöst | Im 1. Versuch | Lauf |
|---|---|---|---|---|---|---|
| DeepSeek-V4.1-Flash | Q2 | 2× Strix Halo | DwarfStar pr-16-09-2026 / rocm 10.0 | 18/19 | Lauf ↗ | |
| Qwen3.8-Flash-Next | W4B | 1× Strix Halo | halogen-flash-server / unknown | 18/19 | Lauf ↗ | |
| DeepSeek-V4-Flash-0731 | MXFP4 | 2× Strix Halo | DwarfStar / rocm 7.14 | 15/19 | Lauf ↗ | |
| DeepSeek-V4-Flash-0731 | UD-IQ2_XXS | 1× Strix Halo | llama.cpp vulkan-performance / vulkan | 18/19 | Lauf ↗ | |
| DeepSeek-V4-Flash-0731 | IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8 | 1× Strix Halo | DwarfStar / rocm 10.0 | 18/19 | Lauf ↗ | |
| DeepSeek-V4-Flash-0731 | IQ2XXS-w2Q2K-AProjQ8-SExpQ8-OutQ8 | 1× Strix Halo | DwarfStar / rocm 10.0 | 17/19 | Lauf ↗ | |
| DeepSeek-V4.1-Flash | Q2 | 2× Strix Halo | DwarfStar pr-22-09-2026 / rocm 10.0 | 16/19 | Lauf ↗ | |
| Qwen3.8-27B | UD-Q4_K_XL | 1× Strix Halo | llama.cpp / rocm 7.14 | 15/19 | Lauf ↗ | |
| DeepSeek-V4-Flash-0731 | UD-IQ3_XXS | 1× Strix Halo | llama.cpp / vulkan | 17/19 | Lauf ↗ | |
| Qwen3.8-27B | Q4_0_ROCMI4 | 1× Strix Halo | llama.cpp rocmfpx / rocm 7.14 | 16/19 | Lauf ↗ | |
| Qwen3.8-Flash-Next | UD-IQ4_XS | 1× Strix Halo | EngramHalo / rocm 10.0 | 16/19 | Lauf ↗ | |
| Qwen3.8-27B | Q4_0_ROCMFP4_STRIX | 1× Strix Halo | llama.cpp rocmfpx / rocm 7.14 | 15/19 | Lauf ↗ | |
| GLM 5.3 Flash · Lauf unvollständig | Q2 | 1× Strix Halo | DwarfStar / rocm 10.0 | 14/19 | Lauf ↗ | |
| Qwen3.6-27B | UD-Q8_K_XL | 1× Strix Halo | llama.cpp / rocm 7.14 | 12/19 | Lauf ↗ | |
| Muse-Glimmer-30B | UD-Q4_K_XL | 1× Strix Halo | llama.cpp / rocm 7.14 | 11/19 | Lauf ↗ | |
| Qwen3.6-35B-A3B · Lauf unvollständig | UD-Q4_K_XL | 1× Strix Halo | llama.cpp / rocm 7.14 | 11/19 | Lauf ↗ |
Ergebnisse aus Terminal-Bench-Mini von kyuz0, Apache-2.0 (basiert auf Terminal-Bench 2.1, Apache-2.0). Terminal-Bench-Mini (core19) · kyuz0 · Apache-2.0
Strix Halo einrichten: in 5 Schritten
Zusammengefasst aus den Videos von Donato Capitella und den Toolbox-READMEs von kyuz0. Stand der Quellen steht jeweils dabei.
- Aktuellen Linux-Stack nehmen und nicht mischen
linux-firmware 20251125 meiden; der Fix kam ab 20260110.1 Die Firmware-Doku von kyuz0 (08.01.2026) nennt als Notlösung den Downgrade auf 20251111.2 Kernel 6.18.4 oder neuer nur mit passendem ROCm (7.2+ oder Nightly); ältere ROCm-Images laufen auf neuen Kerneln nicht stabil.3 kyuz0 testet derzeit mit Kernel 6.18.9.4
- Den Speicher der GPU geben
Im BIOS die feste VRAM-Reservierung klein lassen und per Kernel-Parameter rund 124 GB freigeben:
amd_iommu=off amdgpu.gttsize=126976 ttm.pages_limit=32505856. Auf der Ryzen AI Halo übernimmt dasamd-ttm --set 124. Etwa 4 GB bleiben fürs System.4 - Als Server betreiben
Ohne Desktop, mit tuned im Profil accelerator-performance und ohne IOMMU. Die oft genannten „10–15 % schneller“ betreffen vor allem den Prefill (+14 bis +18 %); beim Decode sind es +3 bis +7 %. Ohne IOMMU sind NPU und DMA-Schutz aus.5
- Fertige Container statt Eigenbau
Die Toolboxes von kyuz0 bündeln Engine und Treiber. Am stabilsten ist
vulkan-radv, empfohlen für alle Modelle. MTP steckt inzwischen im normalen llama.cpp; die alten-mtp-Toolboxes sind abgekündigt.6 - MoE-Modelle mit MTP wählen
MTP bringt beim Decode für MoE-Modelle +22 bis +47 %, für dichte 27B-Modelle +72 bis +93 %. Der Prefill wird dabei um 1 bis 27 % langsamer.7,8 Für Qwen3.8-Flash-Next empfiehlt Donato derzeit Halogen vor EngramHalo, mit dem Hinweis, dass sich das ändern kann; EngramHalo braucht
-lm mmap --lazy-mode on.9,6
Quellen
- Donato Capitella, Video 18.01.2026, 1:12 ↗
- kyuz0: troubleshooting-firmware.md, Commit f0e9bc8 (08.01.2026) ↗
- Donato Capitella, Video 18.01.2026, 5:53 und 7:34 ↗
- kyuz0 gfx1151-Toolboxes: Host Config, Commit 456e07e (25.09.2026) ↗
- Donato Capitella, Video 14.07.2026, 8:07 ↗
- kyuz0 Strix-Halo-Toolboxes: README, Commit 54822c5 (26.09.2026) ↗
- Donato Capitella, MTP-Video 18.05.2026, 12:36 und 15:29 ↗
- local-llm-benchmarks.dev (Donato Capitella), eigene Auszählung ↗
- Donato Capitella, Video 11.09.2026, 2:48 (Empfehlung kann sich ändern, 3:04) ↗
Zum Anschauen
- ROCm+Linux Support on Strix Halo: It's finally stable in 2026! ↗ · 18.01.2026 · 12 min · Firmware-, Kernel- und ROCm-Matrix gegen Abstürze.
- How I Configure the Ryzen AI Halo for 10-15% Faster Local Inference ↗ · 14.07.2026 · 21 min · Host-Tuning Schritt für Schritt, mit Vorher-nachher-Messung. Von AMD gesponsert (#AMD_Partner)
- MTP: 2x Faster Token Generation on Strix Halo & R9700 ↗ · 18.05.2026 · 18 min · Der größte Hebel beim Decode, mit Flags und Nachteilen. Von AMD gesponsert (#AMD_Partner)
- Qwen3.8-Flash-Next on Strix Halo: Halogen, N-grams and Benchmarks ↗ · 11.09.2026 · 18 min · Aktueller Engine-Vergleich mit Tempo und Qualität. Von AMD gesponsert (#AMD_Partner)
- DeepSeek V4.1 Flash: Single-Node SSD vs Two-Node Cluster ↗ · 23.09.2026 · 19 min · Wo 128 GB enden und wann sich zwei Geräte lohnen. Von AMD gesponsert (#AMD_Partner)
- Low-Latency Strix Halo Cluster with RDMA (RoCE/Intel E810) and vLLM ↗ · 08.02.2026 · 16 min · Cluster-Rezept mit niedriger Latenz.
Tempo auf Strix Halo: 7 zitierte Messwerte
Ein Modell mit wenig aktiven Parametern ist auf Strix Halo schnell, und der Software-Weg entscheidet mit: Beim Decode liegt Vulkan meist vor ROCm (in allen Paaren nur mit dem experimentellen RADV-Performance-Fork), MTP legt beim Decode deutlich zu, langer Kontext davor kostet spürbar Tempo. Große MoE-Modelle laufen in niedriger Quantisierung, aber deutlich langsamer.
Decode in tok/s, eine Anfrage, 2.048 Token Prompt + 128 Token Ausgabe
- Qwen3.6-35B-A3BSchnellste Messung, mit MTPllama.cpp · Vulkan (RADV) · UD-Q4_K_XL · MTP 3 · ohne Kontext davor · eine Anfrage · Lauf · results.json
- Qwen3.6-35B-A3BGleiches Modell ohne MTPllama.cpp · Vulkan (RADV) · UD-Q4_K_XL · ohne Spec · ohne Kontext davor · eine Anfrage · Lauf · results.json
- Qwen3.6-35B-A3BOhne MTP, ROCm statt Vulkanllama.cpp · ROCm 10.0 · UD-Q4_K_XL · ohne Spec · ohne Kontext davor · eine Anfrage · Lauf · results.json
- Qwen3.6-35B-A3BOhne MTP, 32K Kontext davorllama.cpp · Vulkan (RADV) · UD-Q4_K_XL · ohne Spec · 32K Kontext davor · eine Anfrage · Lauf · results.json
- DeepSeek-V4-Flash-0731Großes MoE-Modell, ohne Spec (Q8-KV)llama.cpp performance fork · Vulkan (RADV) · UD-IQ2_XXS · ohne Spec · KV q8_0 · ohne Kontext davor · eine Anfrage · Lauf · results.json
- DeepSeek-V4-Flash-0731Gleiches Modell mit DSparkllama.cpp performance fork · Vulkan (RADV) · UD-IQ2_XXS · DSpark · KV q8_0 · ohne Kontext davor · eine Anfrage · Lauf · results.json
- Qwen3.8-Flash-NextWeiteres großes Modell, ohne Specllama.cpp performance fork · Vulkan (RADV) · UD-IQ4_XS · ohne Spec · ohne Kontext davor · eine Anfrage · Lauf · results.json
Messungen: Donato Capitella · local-llm-benchmarks.dev · abgerufen 26. Sept. 2026. Ausgewählte Werte zitiert mit Quellenangabe; vollständige Messreihen bei local-llm-benchmarks.dev.
Rezepte mit freien Tempowerten
1× Strix Halo
28,4tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
- Lizenz ungeklärt
1× Strix Halo
41,3tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit ndt=3 Quelle
Intelligenz40mit Denken
- Eigener Kernel nötig
- Lizenz ungeklärt
1× Strix Halo
85,1tok/sSpitze
1 Anfrage, synthetischer Prompt Quelle
Intelligenz8mit Denkenohne Denken 7
1× Strix Halo
70,2tok/sSpitze
1 Anfrage, synthetischer Prompt Quelle
Intelligenz18mit Denkenohne Denken 15
1× Strix Halo
16,3tok/sSpitze
1 Anfrage, Code-Prompt Quelle
Intelligenz34mit Denken
- ≤ 3 bit: Quantisierung kann Qualität kosten
(06)
Hardware im Vergleich.
Datenblatt laut Hersteller, Preise aus deutschen Shops mit Händler und Abrufdatum. Drittanbieterpreise, keine Leistung von Context Studios.
| Plattform | Speicher | Bandbreite | Leistung | FP4 nativ | FP8 nativ | Preis DE |
|---|---|---|---|---|---|---|
| NVIDIA DGX Spark (GB10)Grace Blackwell GB10nvidia.com ↗ developer.nvidia.com ↗ | 128 GBLPDDR5x unified (coherent) | 273 GB/s | k. A. | ja | k. A. | ab 4.800 €NVIDIA Marketplace DE ↗ · Stand 25. Sept. 2026NVIDIA DGX Spark Founders Edition, 128 GB, 4 TB SSDAlle 13 Angebote
|
| Mac / Apple SiliconUnified Memory; Chip/Speicher/Bandbreite je Rezept verschieden | k. A.LPDDR (unified)M2 Max, M2 Ultra, M3 Ultra, M4 Max, M5 Max | k. A. | k. A. | k. A. | k. A. | ab 5.859 €Apple Store DE ↗ · Stand 25. Sept. 2026Apple Mac Studio (M5 Max), M5 Max 18-Core CPU / 40-Core GPU, 128 GB, 512 GB SSDAlle 4 Angebote
|
| AMD Strix Halo16× Zen 5 + Radeon 8060S (40 CU, RDNA 3.5, gfx1151)amd.com ↗ | 128 GBLPDDR5x-8000 (unified, max. 128 GB) | 256 GB/s | 55 (cTDP 45–120) W | nein | nein | ab 3.799 €galaxus (via geizhals.de) ↗ · Stand 25. Sept. 2026GMKtec EVO-X2, Ryzen AI Max+ 395, 128 GB, 2 TB SSDAlle 3 Angebote
|
| NVIDIA RTX 3090Ampere (GA102)images.nvidia.com ↗ nvidia.com ↗ | 24 GBGDDR6X | 936 GB/s | 350 W | nein | nein | ab 2.290 €BC GmbH (via geizhals.de) ↗ · Stand 25. Sept. 2026NVIDIA GeForce RTX 3090 24 GB, neu – EVGA FTW3 Ultra Gaminggebraucht: 999 €–1.500 € · kleinanzeigen.de ↗ |
| NVIDIA RTX 5090Blackwell consumer (GB202)images.nvidia.com ↗ nvidia.com ↗ | 32 GBGDDR7 | 1792 GB/s | 575 W | ja | ja | ab 5.555 €Future-X.de (via geizhals.de) ↗ · Stand 25. Sept. 2026NVIDIA GeForce RTX 5090 32 GB, Zotac Gaming AMP Extreme INFINITY |
| NVIDIA RTX PRO 6000 BlackwellBlackwell (GB202, 188 SM)nvidia.com ↗ nvidia.com ↗ | 96 GBGDDR7 ECC | 1792 GB/s | maxq: 300 W · server: bis 600 (konfigurierbar) W · workstation: 600 W | ja | ja | ab 16.399 €computeruniverse.net (via geizhals.de) ↗ · Stand 25. Sept. 2026NVIDIA RTX PRO 6000 Blackwell 96 GB, Max-Q Workstation Edition (PNY, Smallbox VCNRTXPRO6000MQ-SB)Alle 2 Angebote
|
Preise in EUR inkl. MwSt., Händler und Abrufdatum je Eintrag. je Gerät.
DGX Spark: vom ersten Gerät zum Cluster
Was mehr Sparks bringen, warum die Box trotz knapper Bandbreite taugt und worauf es beim Kauf ankommt. Jede Zahl mit Quelle.
Vom ersten Spark zum Cluster
Ein Spark hat 128 GB Unified Memory,1 nutzbar sind laut Rezept-Autor rund 121 GiB.2 Das reicht für mittelgroße MoE-Modelle: Qwen3.6-35B schafft im Rezept von MiaAI Lab 95,1 tok/s bei einer Anfrage und 317 tok/s gesamt bei acht.3
Zwei Sparks verbindet ein einzelnes QSFP-Kabel.4 Drei schließt man ohne Switch zum Ring mit drei Kabeln.5 Für vier sieht NVIDIA einen Switch mit mindestens vier Ports zu 200 Gbit/s vor.6 Community-Projekte wie SparkRing betreiben vier Geräte auch als Ring ohne Switch; das ist kein von NVIDIA dokumentierter Weg.7
Mehr Geräte bringen vor allem Speicher. DeepSeek-V4.1-Flash belegt 476 GiB auf der Platte und passt erst ab drei Sparks; auf vier erreicht es laut Rezept 87,7 tok/s bei einer Prosa-Anfrage.8
Beim Tempo skaliert Tensor-Parallelität gut, aber nicht linear: In NVIDIAs Test (Llama 3.3 70B, 32K Eingabe) ist Decode mit zwei Sparks 2,0-mal und mit vier 3,7-mal so schnell wie mit einem.9
Warum der Spark trotz 273 GB/s funktioniert
273 GB/s Speicherbandbreite sind wenig für ein Gerät dieser Klasse.1 Beim Schreiben (Decode) liest das Modell für jedes Token seine Gewichte neu. Drei Techniken gleichen das aus.
MoE-Modelle aktivieren pro Token nur einen Bruchteil ihrer Parameter. Spekulatives Decoding (MTP, DSpark, DFlash) lässt ein kleines Hilfsmodell mehrere Token vorschlagen, die das große Modell in einem Schritt prüft. Tensor-Parallelität verteilt jede Gewichtsmatrix auf mehrere Sparks: Bei NVIDIA sinkt die Zeit pro Ausgabetoken von 269 ms (ein Spark) auf 133 ms (zwei) und 72 ms (vier).9
Beim Lesen langer Prompts (Prefill) ist der Gewinn kleiner: 1,6-mal bzw. 2,1-mal bei 32K Token (aus NVIDIAs TTFT-Werten berechnet). NVIDIA schreibt selbst, dass Inferenz unterlinear skaliert, wenn die Knoten oft synchronisieren müssen.9
Worauf beim Kauf achten
Die Partnergeräte nutzen denselben GB10-Chip (Compute Capability 12.1) wie NVIDIAs Founders Edition, die Rezepte sind daher nicht an ein Modell gebunden.10 Welches Gerät der Autor genutzt hat, steht in der Hardware-Notiz des Rezepts.
Die Founders Edition hat 4 TB NVMe.1 Das ist schnell voll: Qwen3.8-Flash-Next braucht allein rund 130 GiB.2
Zum Koppeln gibt NVIDIA die Kabel Amphenol NJAAKK-N911 (0,4 m) bzw. NJAAKK0006 (0,5 m) und Luxshare LMTQF022-SD-R frei. Schnellere Kabel bringen nichts, weil jeder Port bei 200 Gbit/s endet.11
GB10-Geräte verhalten sich nicht gleich: Ein Software-Update senkte den Leerlaufverbrauch der Founders Edition deutlich, ein Dell Pro Max GB10 blieb bei 35–37 W.12
Strom und Lautstärke
Im Leerlauf braucht ein Spark nach aktuellem Software-Stand 22–25 W.12 Bei LLM-Inferenz sind es meist 60–90 W, unter Volllast knapp 200 W; ohne Stresstest blieb er unter 40 dBA.13
Beim deutschen Haushaltsstrompreis von durchschnittlich 37,0 ct/kWh kostet ein Spark im Dauerbetrieb grob 16–24 € im Monat bei typischer Inferenzlast und etwa 6 € im Leerlauf (eigene Rechnung, 720 Stunden).14
Weiterlesen: „DGX Spark: from one box to a cluster“ ↗ · 0xSero für EXO Labs, 25.09.2026. Einige Zahlen im Artikel sind inzwischen veraltet; oben stehen die geprüften Stände.
Quellen
- NVIDIA DGX Spark, Datenblatt ↗
- MiaAI Lab: Qwen3.8-Flash-Next README ↗
- MiaAI Lab: Qwen3.6-35B NVFP4 README ↗
- NVIDIA-Playbook: Connect Two Sparks ↗
- NVIDIA-Playbook: Connect Three Sparks ↗
- NVIDIA-Playbook: Multi Sparks through Switch ↗
- SparkRing (FujitsuPolycom, Apache-2.0) ↗
- MiaAI Lab: DeepSeek-V4.1-Flash README, Stand 25.09.2026 ↗
- NVIDIA Technical Blog, 16.03.2026 ↗
- NVIDIA, CUDA GPU Compute Capability ↗
- NVIDIA-Doku: Spark Clustering ↗
- Tom's Hardware, 12.02.2026 ↗
- ServeTheHome, Review 14.10.2025 ↗
- BDEW-Strompreisanalyse, Herbst 2026 ↗
(07)
Die Kreatoren.
Wir kuratieren und verlinken. Die Arbeit gehört den Menschen, die sie veröffentlicht haben.
- r0b0tlab41 RezepteDGX Spark · RTX 3090
- tonyd2wild39 RezepteDGX Spark · RTX 3090
- 0xSero30 RezepteDGX Spark · RTX 3090 · RTX PRO 6000 · Strix Halo
- noonghunna28 RezepteRTX 3090 · RTX 5090
- MiaAI-Lab20 RezepteDGX Spark · RTX 5090 · RTX PRO 6000
- vcruz30519 RezepteDGX Spark · RTX PRO 6000 · Strix Halo
- antirez17 RezepteDGX Spark · Mac · Strix Halo
- drowzeys12 RezepteDGX Spark · Mac
- 0xBakeer10 RezepteDGX Spark · Mac
- ggml-org8 RezepteRTX 3090 · RTX 5090 · RTX PRO 6000
- notwitcheer8 RezepteRTX 5090
- brandonmmusic-max7 RezepteRTX PRO 6000
- alesha-pro6 RezepteRTX 3090
- brandonmusic6 RezepteRTX PRO 6000
- jcartu5 RezepteRTX PRO 6000
- local-inference-lab5 RezepteRTX PRO 6000
- neroued5 RezepteRTX 5090
- ambientlight4 RezepteRTX PRO 6000
- jpezzulli4 RezepteRTX PRO 6000
- Infatoshi3 RezepteRTX PRO 6000
- helixml2 RezepteRTX PRO 6000
- DaytonLecoq1 RezeptRTX 5090
- deseven/lhl (strixhalo.wiki)1 RezeptStrix Halo
- jnardiello1 RezeptDGX Spark
(08)
So lesen Sie die Zahlen.
Titelzahlen in Repos sind oft Bestwerte. Wir trennen drei Kategorien und zeigen je Karte die beste verfügbare.
(01)
Alltag
Decode bei einer Anfrage mit normalem Text. Das Tempo, das Sie im Chat spüren. Hat Vorrang als Hauptzahl.
(02)
Gemischt
Gemischtes Prompt-Set, oft mit spekulativem Decoding. Liegt zwischen Alltag und Spitze.
(03)
Spitze
Bester belegter Wert, meist Code oder JSON mit spekulativem Decoding. Realistisch für Coding-Agenten, nicht für Prosa.
Rang
Rang: erst Kategorie (Alltag vor Gemischt vor Spitze), dann Tempo. Rezepte ohne belegte Hauptzahl stehen am Ende.
Werte beim Autor
Tempowerte von local-llm-benchmarks.dev und den Strix-Halo-Toolboxes veröffentlichen wir nicht als Zahl, solange die Lizenz ungeklärt ist. Wir verlinken sie.
Intelligenz: Artificial Analysis
Intelligence Index v4.3.2 von Artificial Analysis für das Originalmodell, abgerufen am 26. Sept. 2026 über die offizielle API. Die angezeigte Stufe ist die AA-Standardstufe, klein daneben der Wert ohne Reasoning. Abgeleitete Modelle (REAP, Pruning) erhalten keinen Wert.
Qualität: Terminal-Bench-Mini
Ergebnisse aus Terminal-Bench-Mini von kyuz0, Apache-2.0 (basiert auf Terminal-Bench 2.1, Apache-2.0).
Starke Quantisierung
Bei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
Preise
Hardwarepreise aus deutschen Shops in EUR inkl. MwSt., Stand 25. Sept. 2026. Händler und Abrufdatum stehen je Angebot.
Häufige Fragen.
(01)Was bedeuten Alltag, Gemischt und Spitze?
Alltag ist das Tempo bei einer Anfrage mit normalem Text. Gemischt stammt aus einem gemischten Prompt-Set. Spitze ist der beste belegte Wert, meist Code oder JSON mit spekulativem Decoding. Jede Karte zeigt die beste verfügbare Kategorie und nennt sie.
(02)Warum weichen die Zahlen von der Überschrift im Repo ab?
Überschriften nennen oft den Bestwert. Wir übernehmen die Zahl samt Bedingung aus der verlinkten Quelle und ordnen sie einer Kategorie zu. Die Quelle steht an jeder Zahl.
(03)Woher kommt die Intelligenz-Zahl?
Aus dem Intelligence Index von Artificial Analysis, abgerufen über die offizielle API. Sie gilt für das Originalmodell, nicht für die quantisierte Variante. Ist keine eindeutige Zuordnung möglich, steht dort „kein unabhängiger Wert“.
(04)Warum zeigt Strix Halo keine Tempo-Zahlen aus den großen Benchmarks?
Die Lizenz dieser Daten ist ungeklärt. Wir zeigen stattdessen die Qualitätsrangliste aus Terminal-Bench-Mini (Apache-2.0) und verlinken die Tempowerte beim Autor.
(05)Wie aktuell sind die Preise?
Jeder Preis trägt Händler, Link und Abrufdatum. Hardwarepreise schwanken stark. Prüfen Sie den Preis vor dem Kauf beim Händler.
(06)Kann mein Coding-Agent die Rezepte direkt abfragen?
Ja. Der öffentliche MCP-Server von Context Studios liefert Rezepte, Empfehlungen, Hardware und Methodik ohne Schlüssel. Endpoint und Toolnamen stehen unten auf dieser Seite.
(09)
Für Ihren Agenten. Per MCP.
Alle Rezepte, Empfehlungen und Messwerte sind öffentlich über den MCP-Server von Context Studios abrufbar, ohne Schlüssel.
Öffentlicher Endpoint
https://mcp.contextstudios.ai/api/public/mcp
Tools · Öffentlich · ohne Key
- find_local_ai_recipes
- list_local_ai_recipes
- get_local_ai_recipe
- list_local_ai_creators
- get_local_ai_creator
- get_local_ai_quality
- list_local_ai_hardware
- get_local_ai_methodology
Beispiel
claude mcp add contextstudios \
--transport http https://mcp.contextstudios.ai/api/public/mcp
find_local_ai_recipes({
platform: "dgx-spark",
count: 2,
goal: "balance"
})Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.