Lokale KI · Rezept · 1× DGX Spark

DeepSeek-V4.1-Flash Q2 mit DwarfStar auf 1× DGX Spark

von antirez

Für dieses Rezept ist kein Tempowert belegt. Die Seite ist deshalb nicht indexiert.

Intelligenz (Originalmodell) · Artificial Analysis40mit Denkenohne Denken 25

≤ 3 bit: Quantisierung kann Qualität kosten

Engine

Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)
Quantisierung
Q2 (imatrix), 341-GiB-Datei inkl. 189 GiB Disk-Engram-Tabellen
Modellfamilie
DeepSeek-V4.1-Flash
Kontext
32.768
Kreator
antirez
GitHub-Sterne
24.199
Repo-Stand
2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Prefill je Kontext

  • 32K384 tok/sSeparater Lauf mit 64-GiB-Cache-Budget, 64K alloziert, 32K initialer Prefill Quelle 

Was brauche ich

Hardware
1 × NVIDIA DGX Spark (GB10)
Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)
Kontext
32.768 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
  • Streamt von SSD

Quellen

Verwandte Rezepte

8× DGX Spark
74tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht), Thinking on, high, mit DSpark (laut Rezept); experimentelles Profil Quelle 

  • Eigener Kernel nötig
  • Experimentell

Stock-Checkpoint FP8/MXFP4 (DeepSeek)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.