Lokale KI · Rezept · 4× DGX Spark

GLM-5.3 743B NVFP4 mit vLLM auf 4× DGX Spark

GLM-5.3 743B NVFP4 mit vLLM auf 4× DGX Spark: 53,3 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von tonyd2wild

53,3tok/sSpitze

1 Anfrage, strukturierte Ausgabe end-to-end (Count-to-300); DCP4-Lane 2: NVFP4-KV

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis45mit Denken

Engine

Engine
vLLM 0.23.1rc1.dev190 + DCP4 (Decode-Context-Parallelism, 2 Lanes, ajclark-Patches, vendored dcp/) + DFlash2 (k=7)
Quantisierung
Int4-Int8Mix + NVFP4 KV
Modellfamilie
GLM-5.3
Kontext
524.288
Parameter
743B total / ~40B active
Kreator
tonyd2wild
GitHub-Sterne
17
Repo-Stand
6. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Spitze (Decode)53,3 tok/sStructured output, end-to-end (Count-to-300); DCP4: Lane 2 (NVFP4-KV, 689.772-Token-KV-Pool @262K Kontext) und Lane 1 (fp8-KV, 462.308) decodieren mit gleichem Tempo; Tool-Call-Prompt 57,6; Code 39,9; JSON 36,0; Needle 3/3 @490.425 Token (524.288-Fenster); Prefill-Trade-off ~400 tok/s Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
vLLM 0.23.1rc1.dev190 + DCP4 (Decode-Context-Parallelism, 2 Lanes, ajclark-Patches, vendored dcp/) + DFlash2 (k=7)
Kontext
524.288 Token

Verwandte Rezepte

8× DGX Spark
46tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht, TP8/DCP4), Thinking immer an (gemessen vor dem Profil-Standard high, also mit Template-Standard max), mit MTP2 (laut Rezept); experimentelles Profil Quelle 

Intelligenz45mit Denken
  • Eigener Kernel nötig
  • Experimentell

NVFP4-Experten/BF16 (Local Inference Lab; Dense-Linears beim Laden MXFP8)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details
3× DGX Spark
31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle 

Intelligenz45mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCEGewichte Repo Stand 4. Okt. 2026

Details
1× Mac
6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle 

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Streamt von SSD
  • Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 2. Nov. 2026

Details
4× DGX Spark
~36tok/sSpitzeungefähr · Methodik nicht angegeben

1 Anfrage, Prompt-Typ nicht genannt, Bereich 33–39 tok/s, mit MTP-3 (laut Rezept) Quelle 

Intelligenz45mit Denken
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 3.0 bpw (exllamav3 1.5.3; routed experts 3.0, attention/shared/dense ~5, MTP experts 4, lm_head 6; 3.04 bpw avg), Q5 latent cacheTensorFold 0.6.0 + bertholomus glm-dsa-tp4 branch (release numbers on 3eb35dd, head ddfad35), image nvcr.io/nvidia/pytorch:26.07-py3, TP4 over direct RoCE, MTP-3 drafting, config B (1M window, DCP4, --parallel 4)Gewichte Repo Stand 9. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.