Lokale KI · Rezept · 4× DGX Spark

DeepSeek-V4.1-Flash mit SGLang auf 4× DGX Spark

DeepSeek-V4.1-Flash mit SGLang auf 4× DGX Spark: 11,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von r0b0tlab

11,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis40mit Denkenohne Denken 25

Engine

Engine
SGLang
Quantisierung
offizieller Checkpoint (unquantisiert laut REPRODUCIBILITY.md: „does not … quantize the checkpoint“)
Modellfamilie
DeepSeek-V4.1-Flash
Kontext
524.288
Kreator
r0b0tlab
GitHub-Sterne
0
Repo-Stand
16. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Gemischt (Decode)11,2 tok/sMedium_c1, K5; enthält Prefill Quelle 
  • Spitze (Decode)58,3 tok/sCounting_c1 (synthetischer Zähl-Workload, fixed-token), Aggregate output tok/s Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben1.870 msKontext Input ≤128 (zufällig 1–128, ShareGPT) · SGLang bench_serving bench-short-c1, Mean TTFT Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
SGLang
Kontext
524.288 Token

Verwandte Rezepte

8× DGX Spark
74tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht), Thinking on, high, mit DSpark (laut Rezept); experimentelles Profil Quelle 

  • Eigener Kernel nötig
  • Experimentell

Stock-Checkpoint FP8/MXFP4 (DeepSeek)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.