2× DGX Spark
35tok/sAlltag
1 Anfrage, Prosa-Prompt, mit EAGLE Quelle
Intelligenzkein unabhängiger Wert
- Experimentell
Lokale KI · Rezept · 4× DGX Spark
MiMo-V2.6-Flash 311B FP8 mit vLLM auf 4× DGX Spark
MiMo-V2.6-Flash 311B FP8 mit vLLM auf 4× DGX Spark: 59,8 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).
von tonyd2wild
Engine
- Engine
- vLLM
- Quantisierung
- Original-Checkpoint (FP8), FP8 KV
- Modellfamilie
- MiMo-V2.6-Flash
- Kontext
- 500.000
- Parameter
- ~311B MoE
- Kreator
- tonyd2wild
- GitHub-Sterne
- 45
- Repo-Stand
- 4. Okt. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Prefill je Kontext
Was brauche ich
- Hardware
- 4 × NVIDIA DGX Spark (GB10)
- Gewichte
- HauptgewichtXiaomiMiMo/MiMo-V2.6-Flash-RL MIT
- Engine
- vLLM
- Kontext
- 500.000 Token
Hinweise
Was vor dem Nachbauen wichtig ist.
- Eigener Kernel nötig
Quellen
- github.com/tonyd2wild/MiMo-V2.6-Flash-DGX-Spark-Recipe/blob/main/results/tp4/bench-tp4-gmu85-c1clean.md
- github.com/tonyd2wild/MiMo-V2.6-Flash-DGX-Spark-Recipe/blob/main/results/tp4/bench-tp4-gmu85-base.md
- github.com/tonyd2wild/MiMo-V2.6-Flash-DGX-Spark-Recipe/blob/main/results/tp4/bench-tp4-gmu85-hiconc.md
- github.com/tonyd2wild/MiMo-V2.6-Flash-DGX-Spark-Recipe/blob/main/README.md#L127
Verwandte Rezepte
2× DGX Spark
53,3tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit DFlash (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Eigener Kernel nötig
1× RTX PRO 6000
184tok/sSpitze
1 Anfrage, Bestwert der Quelle, Kontext 64k Quelle
Intelligenzkein unabhängiger Wert
- ≤ 3 bit: Quantisierung kann Qualität kosten
- Eigener Kernel nötig
2× DGX Spark
kein belegter Tempowert
Intelligenzkein unabhängiger Wert
- Eigener Kernel nötig
4× DGX Spark
87,7tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle
Intelligenz40mit Denkenohne Denken 25
4× DGX Spark
78tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Eigener Kernel nötig
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.