Lokale KI · Rezept · 4× DGX Spark

GLM-5.3 743B NVFP4 mit vLLM auf 4× DGX Spark

von tonyd2wild

53,3tok/sSpitze

1 Anfrage, JSON-Prompt

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis45mit Denken

Engine

Engine
vLLM 0.23.1rc1.dev190
Quantisierung
Int4-Int8Mix + NVFP4 KV
Modellfamilie
GLM-5.3
Kontext
270.000
Parameter
743B total / ~40B active
Kreator
tonyd2wild
GitHub-Sterne
16
Repo-Stand
22. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Für dieses Rezept sind keine Messwerte mit Quelle belegt.

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
vLLM 0.23.1rc1.dev190
Kontext
270.000 Token

Verwandte Rezepte

1× Mac
6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle 

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Streamt von SSD
  • Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 25. Sept. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.