DE
Gespräch buchen

Lokale KI · Rezept · 2× DGX Spark

Ling-3.1-Flash-1019 EXL3 3.03 bpw mit TensorFold auf 2× DGX Spark

Ling-3.1-Flash-1019 EXL3 3.03 bpw mit TensorFold auf 2× DGX Spark: ~38,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von bertholomus

~38,2tok/sSpitzeungefähr · Methodik nicht angegeben

Bestwert der Quelle, 1 Anfrage, Prompt-Typ nicht genannt, 2.222 Prompt-Tokens, Bereich 37,7–38,7 tok/s, mit MTP (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
TensorFold (bertholomus fork, branch ling-3.1-tp2 @ 72f16e48, bailing_v3 family on TensorFold v0.6.6 CUDA engine), image nvcr.io/nvidia/pytorch:26.07-py3, TP2 over direct RoCE, MTP drafting (adaptive depth)
Quantisierung
EXL3 3.03 bpw (routed experts 3, shared experts 5, KDA attention 4, dense MLP 4, MLA attention 6, head 6, MTP layer 4)
Modellfamilie
Ling-3.1-Flash-1019
Kontext
262.144
Parameter
560B MoE / 25B aktiv
Kreator
bertholomus
GitHub-Sterne
2
Repo-Stand
29. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Spitze (Decode)38,2 tok/sKontext 2.222 · Decode drafted (MTP), 3 Läufe 37.7-38.7 tok/s (Mittelwert des Bereichs), 2,222 Prompt-Tokens, 60-88 Reply-Tokens, greedy; Prompt-Typ in der Quelle nicht genannt; 72-Token-Prompt (thinking off) 35.1-36.9, 6,623 Tokens 36.9-39.3, 255,112 Tokens 28.8-29.1, serial 22.9-23.0 Quelle 

Prefill je Kontext

  • 36.531568 tok/sPrompt (time to the first token) 64.3 s, 1 Lauf, kalt; 255,112 Tokens: 224 tok/s (1,137 s) Quelle 

Was brauche ich

Hardware
2 × NVIDIA DGX Spark (GB10)
Engine
TensorFold (bertholomus fork, branch ling-3.1-tp2 @ 72f16e48, bailing_v3 family on TensorFold v0.6.6 CUDA engine), image nvcr.io/nvidia/pytorch:26.07-py3, TP2 over direct RoCE, MTP drafting (adaptive depth)
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • tool-calling

Quellen

Verwandte Rezepte

2× DGX Spark

Qwen3.8-Flash-Next 125B INT4-AutoRound mit TensorFold auf 2× DGX Spark (1M Kontext)

von MiaAI-Lab

89,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig
  • Lizenz ungeklärt

INT4-AutoRound (GPTQ int4, Top-5-Experten) + FP8 n-gram-Tabelle, FP8 KVTensorFold tensorfold-native (Zig, zig-flashnext db281878 + patches), Image ghcr.io/miaai-lab/qwen3.8-flash-dual-dgx-sparks-tensorfold:zig-db28187-f3e1300f4f62, TP=2 über CX7/RoCE, MTP + Copy-Drafts (QUANT=int4ar)Gewichte Repo Stand 26. Okt. 2026

Details
2× DGX Spark

Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark

von myllmbox

74tok/sAlltag

1 Anfrage, Prosa-Prompt (lange Story), Thinking off, mit MTP Quelle 

Intelligenz40mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

INT4-AutoRound (azampatti): int4-Experten, fp8-Seitenschichten; n-gram-Tabelle beim Laden fp8 → NVFP4, halb pro Box auf der GPU; KV-Pin 29G/Box (1.829.182 Tokens)vLLM 0.30 (Image myllmbox/qwen38-flash-next-cluster-vllm:v5.2; RecoverSSM, dynamischer Draft-Depth 3–7 in Full-CUDA-Graphs, sampled Drafts + Block-Verifikation, One-Shot-RoCE-All-Reduce, Dual-Rail, TP=2, 64 Seats) — Kit v5.2Gewichte Repo Stand 29. Okt. 2026

Details
2× DGX Spark

Qwen3.8-Flash-Next NVFP4/MXFP8 CSF mit SparkRing auf 2× DGX Spark

von fujitsupolycom

68tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Paar), Thinking on, xhigh, mit MTP3 (laut Rezept) Quelle 

Intelligenz40mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

NVFP4/MXFP8 CSF QAD (Local Inference Lab)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details
2× DGX Spark

Qwen3.8-Flash-Next 125B NVFP4 mit TensorFold auf 2× DGX Spark (1M Kontext)

von MiaAI-Lab

67,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle 

Intelligenz40mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

NVFP4 (nvidia, Experten) + FP8 n-gram/MTP, FP8 KVTensorFold tensorfold-native (Zig, zig-flashnext db281878 + patches), Image ghcr.io/miaai-lab/qwen3.8-flash-dual-dgx-sparks-tensorfold:zig-db28187-f3e1300f4f62, TP=2 über CX7/RoCE, MTP + Copy-DraftsGewichte Repo Stand 26. Okt. 2026

Details
2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark draftsGewichte Repo Stand 2. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie