Zum Inhalt springen

DE

Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

GLM-5.2 753B INT4 mit vLLM auf 4× DGX Spark (100k Kontext)

GLM-5.2 753B INT4 mit vLLM auf 4× DGX Spark (100k Kontext): 15,3 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

15,3tok/sSpitze

1 Anfrage, Bestwert der Quelle

Quelle: github.com

Intelligenz (Originalmodell) · Artificial Analysis34mit Denken ohne Denken 22

Anleitung im README Repo

Engine: vLLM from source (nvidia/cuda:13.0.2 base)
Quantisierung: INT4/INT8 mixed + nvfp4_ds_mla KV
Modellfamilie: GLM-5.2
Kontext: 102.400
Parameter: 753B MoE
Kreator: drowzeys
GitHub-Sterne: 7
Repo-Stand: 18. Juli 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

Spitze (Decode)15,3 tok/sTuned, fp8 KV Quelle

Zeit bis zum ersten Token

Kürzer ist besser.

Prompt nicht angegeben67.000 msKontext 18K · ~270 tok/s prefill Quelle

Was brauche ich

Hardware: 4 × NVIDIA DGX Spark (GB10)
Gewichte: HauptgewichtQuantTrio/GLM-5.2-Int4-Int8Mix MIT
Engine: vLLM from source (nvidia/cuda:13.0.2 base)
Kontext: 102.400 Token

Quellen

Verwandte Rezepte

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Text)

81,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + NVFP4 DSA-MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v22-dcpstrideGewichte Repo Stand 1. Aug. 2026

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Vision)

70,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + BF16 MoonViT/PatchMerger, FP8 MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v21Gewichte Repo Stand 1. Sept. 2026

4× RTX PRO 6000

GLM-5.2 NVFP4 mit vLLM auf 4× RTX PRO 6000 (192k Kontext)

von brandonmmusic-max

64tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

MXFP8/NVFP4/NF3-Hybrid weights + NVFP4 MLA KVvLLMGewichte Repo Stand 6. Sept. 2026

4× RTX PRO 6000

GLM-5.2 NVFP4 mit vLLM auf 4× RTX PRO 6000 (250k Kontext)

von brandonmmusic-max

58,5tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 (REAP 172 Experten/Layer) + NVFP4 MLA KV (nvfp4_ds_mla)vLLMGewichte Repo Stand 29. Juni 2026

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (500k Kontext, Text)

104tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3/Trellis 3.0 bpw, nvfp4_ds_mla KVvLLMGewichte Repo Stand 28. Juli 2026

4× RTX PRO 6000

GLM-5.2 504B NVFP4 mit vLLM auf 4× RTX PRO 6000

92,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt) Experten, BF16 Router/Attention, FP8 KVvLLMGewichte Repo Stand 21. Juni 2026

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-Workshop Zur Übersicht