DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 3.5 bpw mit TensorFold auf 4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 3.5 bpw mit TensorFold auf 4× DGX Spark: 78 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von tonyd2wild

78tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
TensorFold (bertholomus deepseek-v41-zig-tp4 @ 5940208, recipe kit v0.1.1) + 4 patches, RoCE rail 1 (config.env)
Quantisierung
EXL3 3.5 bpw, all matrices (LibertAI mul1)
Modellfamilie
DeepSeek-V4.1-Flash-1017
Kontext
1.048.576
Parameter
~763B MoE / 16B aktiv
Kreator
tonyd2wild
GitHub-Sterne
154
Repo-Stand
26. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)78 tok/sProse, C1 per-stream, Prompt-Set v1, T=0, thinking off, ein RoCE-Rail (config.env), Lauf tf1017a Quelle 
  • Gemischt (Decode)89,8 tok/sC1 aggregate über 8 Kategorien (Counting ausgenommen), Prompt-Set v1, T=0; per-stream Mittel 101.79; mit zweitem RoCE-Rail 93.57 (tf1017b-rail2) Quelle 
  • Spitze (Decode)135 tok/sKategorie coding, C1 per-stream, tf1017a (ein Rail) Quelle 

Prefill je Kontext

  • 93.3351.929 tok/sCold, unique prefix, TTFT 48.395 s, ein Rail Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben191 msMittel über 8 Kategorien, C1, kurze Prompts (0.191 s) Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
TensorFold (bertholomus deepseek-v41-zig-tp4 @ 5940208, recipe kit v0.1.1) + 4 patches, RoCE rail 1 (config.env)
Kontext
1.048.576 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • vision
  • tool-calling

Quellen

Verwandte Rezepte

4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 4,0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

70,9tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 4.0 bpw (4,02 bpw, ~275 GB; eigener Quant)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @0a0b69a, recipe v0.3.5) + kernel kit (362 files), TP4 über RoCE, DSpark drafts, CUDA graphsGewichte Repo Stand 24. Okt. 2026

Details
4× DGX Spark

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring)

von MiaAI-Lab

65,8tok/sAlltag

1 Anfrage, Prosa-Prompt (T = 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig

FP8 / MXFP4 (official checkpoint as published, no re-quantization)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark draftsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,5 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

60,5tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.5 bpw routed experts (2,52 bpw über die quantisierten Gewichte, ~185 GB; Attention/Shared Experts 4 bpw, DSpark-Drafter 4/6 bpw, Vision-Tower 16 bit)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp2, recipe v0.7.3, served engine 6579b756dcd7) + kernel kit v0.7.0, TP=2 über RoCE, DSpark draftsGewichte Repo Stand 24. Okt. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark

von bertholomus

59,2tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Thinking aus, Einzellauf), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.9 bpw (LibertAI, Revision afc7aa0a)TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0Gewichte Repo Stand 19. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie