Lokale KI · Rezept · 8× DGX Spark

GLM-5.3 NVFP4 mit SparkRing auf 8× DGX Spark

GLM-5.3 NVFP4 mit SparkRing auf 8× DGX Spark: 46 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

46tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht, TP8/DCP4), Thinking immer an (gemessen vor dem Profil-Standard high, also mit Template-Standard max), mit MTP2 (laut Rezept); experimentelles Profil

Quelle: github.com

Intelligenz (Originalmodell) · Artificial Analysis45mit Denken

Anleitung im README Repo

Engine: vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2
Quantisierung: NVFP4-Experten/BF16 (Local Inference Lab; Dense-Linears beim Laden MXFP8)
Modellfamilie: GLM-5.3
Kontext: 1.048.576
Parameter: 744B MoE (GLM-5.3 laut Profil-README); 464,9 GB Safetensors (432,9 GiB)
Kreator: fujitsupolycom
GitHub-Sterne: 102
Repo-Stand: 2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

Alltag (Decode)46 tok/sKontext 32K · 1 Stream, 32K Kontext, Ring aus acht Sparks (TP8/DCP4), Release-Image 2026.10.2, GPU-Takt fest 2.418 MHz, ein Start; Thinking immer an, Template-Standard max; MTP2 Quelle

Decode · parallele Anfragen

Summe über alle Streams ist markiert; pro Anfrage ist es entsprechend weniger.

Summe über 8 Streams129 tok/sSpitze (Decode) · Kontext 32K · Aggregate of 8 streams at 32K context, ring of eight; thinking always on, template default max Quelle

Prefill je Kontext

32K1.387 tok/sEin Prompt mit ca. 32.200 Tokens (Client-Messung bis zum ersten Token) Quelle

Was brauche ich

Hardware: 8 × NVIDIA DGX Spark (GB10)
Gewichte: Hauptgewichtlocal-inference-lab/GLM-5.3-NVFP4 MIT
Engine: vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2
Kontext: 1.048.576 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

Eigener Kernel nötig
Experimentell

Quellen

Verwandte Rezepte

4× DGX Spark

GLM-5.3 EXL3 3.38 bpw mit TensorFold auf 4× DGX Spark

von vcruz305

35,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2, Thinking an (laut Rezept) Quelle

Intelligenz45mit Denken

Eigener Kernel nötig
Nicht kommerziell

EXL3 SAGE MixedK 3.38 bpw (319 GB; serviert mit BF16-lm_head), bf16 KV, Draft DFlash2 d7/c0.60TensorFold Fork vcruz305/TensorFold glm53-tp4-spark @757a851 (PR #159, TP=4) + b12x RoCE (b58f34e)Gewichte Repo Stand 5. Okt. 2026

Details

3× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark

von MiaAI-Lab

31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz45mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCEGewichte Repo Stand 4. Okt. 2026

Details

1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

von antirez

6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Streamt von SSD
Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 2. Nov. 2026

Details

4× DGX Spark

GLM-5.3 743B NVFP4 mit vLLM auf 4× DGX Spark

von tonyd2wild

53,3tok/sSpitze

1 Anfrage, strukturierte Ausgabe end-to-end (Count-to-300); DCP4-Lane 2: NVFP4-KV Quelle

Intelligenz45mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

Int4-Int8Mix + NVFP4 KVvLLM 0.23.1rc1.dev190 + DCP4 (Decode-Context-Parallelism, 2 Lanes, ajclark-Patches, vendored dcp/) + DFlash2 (k=7)Gewichte Repo Stand 6. Okt. 2026

Details

4× DGX Spark

GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

~36tok/sSpitzeungefähr · Methodik nicht angegeben

1 Anfrage, Prompt-Typ nicht genannt, Bereich 33–39 tok/s, mit MTP-3 (laut Rezept) Quelle

Intelligenz45mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.0 bpw (exllamav3 1.5.3; routed experts 3.0, attention/shared/dense ~5, MTP experts 4, lm_head 6; 3.04 bpw avg), Q5 latent cacheTensorFold 0.6.0 + bertholomus glm-dsa-tp4 branch (release numbers on 3eb35dd, head ddfad35), image nvcr.io/nvidia/pytorch:26.07-py3, TP4 over direct RoCE, MTP-3 drafting, config B (1M window, DCP4, --parallel 4)Gewichte Repo Stand 9. Okt. 2026

Details

8× DGX Spark

DeepSeek-V4.1-Flash FP8/MXFP4 mit SparkRing auf 8× DGX Spark

von fujitsupolycom

74tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht), Thinking on, high, mit DSpark (laut Rezept); experimentelles Profil Quelle

Intelligenz40mit Denken ohne Denken 25

Eigener Kernel nötig
Experimentell

Stock-Checkpoint FP8/MXFP4 (DeepSeek)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-Workshop Zur Übersicht

Engine

Messwerte

Decode · 1 Anfrage

Decode · parallele Anfragen

Prefill je Kontext

Was brauche ich

Hinweise

Quellen

Verwandte Rezepte

GLM-5.3 EXL3 3.38 bpw mit TensorFold auf 4× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

GLM-5.3 743B NVFP4 mit vLLM auf 4× DGX Spark

GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark

DeepSeek-V4.1-Flash FP8/MXFP4 mit SparkRing auf 8× DGX Spark

Lokale KI im eigenen Unternehmen?