DE
Gespräch buchen

Lokale KI · Rezept · 2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark: 63,9 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Anleitung im README Repo

Engine

Engine
TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark drafts
Quantisierung
EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)
Modellfamilie
DeepSeek-V4.1-Flash-1017
Kontext
1.048.576
Parameter
~763B (HF-API safetensors total der Basis deepseek-ai/DeepSeek-V4.1-Flash-1017: 763.205.315.794)
Kreator
MiaAI-Lab
GitHub-Sterne
400
Repo-Stand
2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)63,9 tok/sProsa, Temperatur 0,7, Thinking an (Rezept-Default THINKING=1), 1 Stream, DSpark-Drafts an, sparkDash, beide GPUs 2.200 MHz, Server CONTEXT=524288; TTFT 214 ms. Prosa mit Temperatur 0 und Thinking aus: 80,7 (TTFT 133 ms) Quelle 
  • Spitze (Decode)118 tok/sCode, Temperatur 0, Thinking aus, 1 Stream (TTFT 213 ms); aggregiert bei 3 Streams: 171,0 Quelle 

Prefill je Kontext

  • 32K2.154 tok/s32K-Prompt (32.788 Tokens gezählt), TTFT 15,40 s; 4K 2.105,9 / 128K 2.077,1 / 256K 2.065,0 tok/s; Engram-Tabellen auf lokaler Platte beider Sparks (über NFS ca. 690–890 tok/s) Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben214 msProsa, Temperatur 0,7, Thinking an, 1 Stream (Thinking aus: 133 ms) Quelle 

Was brauche ich

Hardware
2 × NVIDIA DGX Spark (GB10)
Engine
TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark drafts
Kontext
1.048.576 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
  • Eigener Kernel nötig
  • vision
  • tool-calling

Quellen

Verwandte Rezepte

4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 4,0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

70,9tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 4.0 bpw (4,02 bpw, ~275 GB; eigener Quant)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @0a0b69a, recipe v0.3.5) + kernel kit (362 files), TP4 über RoCE, DSpark drafts, CUDA graphsGewichte Repo Stand 24. Okt. 2026

Details
4× DGX Spark

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring)

von MiaAI-Lab

65,8tok/sAlltag

1 Anfrage, Prosa-Prompt (T = 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig

FP8 / MXFP4 (official checkpoint as published, no re-quantization)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,5 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

60,5tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.5 bpw routed experts (2,52 bpw über die quantisierten Gewichte, ~185 GB; Attention/Shared Experts 4 bpw, DSpark-Drafter 4/6 bpw, Vision-Tower 16 bit)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp2, recipe v0.7.3, served engine 6579b756dcd7) + kernel kit v0.7.0, TP=2 über RoCE, DSpark draftsGewichte Repo Stand 24. Okt. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark

von bertholomus

59,2tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Thinking aus, Einzellauf), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.9 bpw (LibertAI, Revision afc7aa0a)TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0Gewichte Repo Stand 19. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie