Lokale KI · Rezept · 3× DGX Spark

DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark

DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark: 29,6 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von tonyd2wild

29,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis40mit Denkenohne Denken 25

Engine

Engine
vLLM
Quantisierung
EXL3 3.5 bpw routed experts (Pollard) + FP8 Rest
Modellfamilie
DeepSeek-V4.1-Flash
Kontext
300.000
Parameter
~763B MoE
Kreator
tonyd2wild
GitHub-Sterne
154
Repo-Stand
26. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)29,6 tok/sProse, C1 per-stream, exl3tp3a11, Prompt-Set v1, T=0, thinking off Quelle 
  • Gemischt (Decode)46 tok/sC1 aggregate über 8 Kategorien (Counting ausgenommen); per-stream Mittel 51.46 Quelle 
  • Spitze (Decode)70,1 tok/sKategorie coding, exl3tp3a11 Quelle 

Prefill je Kontext

  • 93.3351.199 tok/sCold, unique prefix, TTFT 77.865 s Quelle 

Was brauche ich

Hardware
3 × NVIDIA DGX Spark (GB10)
Engine
vLLM
Kontext
300.000 Token

Verwandte Rezepte

8× DGX Spark
74tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht), Thinking on, high, mit DSpark (laut Rezept); experimentelles Profil Quelle 

  • Eigener Kernel nötig
  • Experimentell

Stock-Checkpoint FP8/MXFP4 (DeepSeek)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.