DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring)

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring): 65,8 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von MiaAI-Lab

65,8tok/sAlltag

1 Anfrage, Prosa-Prompt (T = 0,7, Thinking an), mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphs
Quantisierung
FP8 / MXFP4 (official checkpoint as published, no re-quantization)
Modellfamilie
DeepSeek-V4.1-Flash-1017
Kontext
1.048.576
Parameter
~763B (HF-API safetensors total: 763.205.315.794)
Kreator
MiaAI-Lab
GitHub-Sterne
55
Repo-Stand
2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)65,8 tok/sProsa, nicht-greedy T = 0,7, Thinking an, 1 Request, Median aus 3 Läufen, Rezept-Defaults (1.048.576-Token-Fenster, 16 Streams, DSpark), switchless Ring, gemessen 2026-10-25; TTFT 186 ms. Jede Session ab 128k Kontext: 58,6 Quelle 
  • Spitze (Decode)117 tok/sCode, greedy T = 0, Thinking aus, 1 Request (TTFT 192 ms); Aggregat bei 8 Requests: 183,7 Quelle 

Prefill je Kontext

  • 32K4.127 tok/s32k-Prompt (32.787 Tokens), TTFT 8,10 s; 64k: 4.134,1; 256k: 3.929,4 tok/s Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben186 msProsa, T = 0,7, Thinking an, 1 Request Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphs
Kontext
1.048.576 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • vision
  • tool-calling

Quellen

Verwandte Rezepte

4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 4,0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

70,9tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 4.0 bpw (4,02 bpw, ~275 GB; eigener Quant)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @0a0b69a, recipe v0.3.5) + kernel kit (362 files), TP4 über RoCE, DSpark drafts, CUDA graphsGewichte Repo Stand 24. Okt. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark draftsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,5 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

60,5tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.5 bpw routed experts (2,52 bpw über die quantisierten Gewichte, ~185 GB; Attention/Shared Experts 4 bpw, DSpark-Drafter 4/6 bpw, Vision-Tower 16 bit)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp2, recipe v0.7.3, served engine 6579b756dcd7) + kernel kit v0.7.0, TP=2 über RoCE, DSpark draftsGewichte Repo Stand 24. Okt. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark

von bertholomus

59,2tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Thinking aus, Einzellauf), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.9 bpw (LibertAI, Revision afc7aa0a)TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0Gewichte Repo Stand 19. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie