DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

GLM-5.3 EXL3 3.38 bpw mit TensorFold auf 4× DGX Spark

GLM-5.3 EXL3 3.38 bpw mit TensorFold auf 4× DGX Spark: 35,7 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von vcruz305

35,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2, Thinking an (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis45mit Denken
Anleitung im README Repo

Engine

Engine
TensorFold Fork vcruz305/TensorFold glm53-tp4-spark @757a851 (PR #159, TP=4) + b12x RoCE (b58f34e)
Quantisierung
EXL3 SAGE MixedK 3.38 bpw (319 GB; serviert mit BF16-lm_head), bf16 KV, Draft DFlash2 d7/c0.60
Modellfamilie
GLM-5.3
Kontext
262.144
Parameter
78 Layer, 256 routed Experten je MoE-Layer; Gesamtparameter in README nicht genannt
Kreator
vcruz305
GitHub-Sterne
3
Repo-Stand
5. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)35,7 tok/sProsa-Prompt (45 Tokens), greedy, 512 Tokens, engine-reported; ohne Drafting 27.17 Quelle 
  • Gemischt (Decode)41,1 tok/sMittel 6 Prompts (Code, Prosa, Mathe, 2× Chat, 2.842-Token-Dokument), greedy, 512 Tokens, Profil fast-160k Quelle 
  • Spitze (Decode)56,5 tok/sBester Prompt (Mathe), DFlash2 Quelle 

Prefill je Kontext

  • 163K254 tok/s162.544-Token-Prompt, Client-TTFT 639 s Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Gewichte
Engine
TensorFold Fork vcruz305/TensorFold glm53-tp4-spark @757a851 (PR #159, TP=4) + b12x RoCE (b58f34e)
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Nicht kommerziell (Entwurf)
  • Eigener Kernel nötig
  • Fork
  • Nicht kommerziell

Quellen

Verwandte Rezepte

3× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark

von MiaAI-Lab

31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle 

Intelligenz45mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCEGewichte Repo Stand 4. Okt. 2026

Details
1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

von antirez

6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle 

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Streamt von SSD
  • Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 8. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht