DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

MiMo-V2.6-Flash-MOPD mit SparkRing auf 4× DGX Spark

MiMo-V2.6-Flash-MOPD mit SparkRing auf 4× DGX Spark: 62,8 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von fujitsupolycom

62,8tok/sAlltag

1 Anfrage, Decode bei 16K Kontext (Profil-Tabelle), Thinking on

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
vLLM (local-inference-lab Fork) via SparkRing (switchless NCCL ueber ConnectX-7)
Quantisierung
Stock-Checkpoint (Xiaomi MiMo)
Modellfamilie
MiMo-V2.6-Flash-MOPD
Kontext
—
Parameter
310,8 GB Safetensors
Kreator
fujitsupolycom
GitHub-Sterne
91
Repo-Stand
6. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)62,8 tok/sKontext 16K · 1 Nutzer, je 16K Kontext; Thinking on Quelle 

Decode · parallele Anfragen

Summe über alle Streams ist markiert; pro Anfrage ist es entsprechend weniger.

  • 16 parallele Anfragen317 tok/sSpitze (Decode) · Kontext 16K · Thinking on Quelle 

Prefill je Kontext

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
vLLM (local-inference-lab Fork) via SparkRing (switchless NCCL ueber ConnectX-7)

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht