DE
Gespräch buchen

Lokale KI · Rezept · 2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark: 59,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von bertholomus

59,2tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Thinking aus, Einzellauf), mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Anleitung im README Repo

Engine

Engine
TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0
Quantisierung
EXL3 2.9 bpw (LibertAI, Revision afc7aa0a)
Modellfamilie
DeepSeek-V4.1-Flash-1017
Kontext
262.144
Parameter
~763B (HF-API safetensors total der Basis deepseek-ai/DeepSeek-V4.1-Flash-1017: 763.205.315.794)
Kreator
bertholomus
GitHub-Sterne
0
Repo-Stand
19. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)59,2 tok/sProsa, erster Prompt-Satz (Client des gepinnten Skript-Repos), 1 Stream, Temperatur 0, Thinking aus, Einzellauf, leerer Server, warme Engine, DSpark-Tiefe 5 (MTP_DRAFTS=5); zweiter Prompt-Satz: 60,0; Streuung laut README ~10 % Quelle 
  • Spitze (Decode)144 tok/sStructured, erster Prompt-Satz, 1 Stream, Einzellauf; Code 97,4; Aggregat 4 Streams über 90 s: 120,9 Quelle 

Prefill je Kontext

  • 128K1.979 tok/sKalter 128K-Prompt, Einzellauf; 8K / 32K / 64K: 2.079 / 1.779 / 2.086 tok/s Quelle 

Was brauche ich

Hardware
2 × NVIDIA DGX Spark (GB10)
Engine
TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
  • Eigener Kernel nötig
  • vision
  • tool-calling

Quellen

Verwandte Rezepte

4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 4,0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

70,9tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 4.0 bpw (4,02 bpw, ~275 GB; eigener Quant)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @0a0b69a, recipe v0.3.5) + kernel kit (362 files), TP4 über RoCE, DSpark drafts, CUDA graphsGewichte Repo Stand 24. Okt. 2026

Details
4× DGX Spark

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring)

von MiaAI-Lab

65,8tok/sAlltag

1 Anfrage, Prosa-Prompt (T = 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig

FP8 / MXFP4 (official checkpoint as published, no re-quantization)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark draftsGewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,5 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

60,5tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.5 bpw routed experts (2,52 bpw über die quantisierten Gewichte, ~185 GB; Attention/Shared Experts 4 bpw, DSpark-Drafter 4/6 bpw, Vision-Tower 16 bit)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp2, recipe v0.7.3, served engine 6579b756dcd7) + kernel kit v0.7.0, TP=2 über RoCE, DSpark draftsGewichte Repo Stand 24. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie