DE
Gespräch buchen

Lokale KI · Rezept · 3× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark: 31,3 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von MiaAI-Lab

31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis45mit Denken
Anleitung im README Repo

Engine

Engine
TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCE
Quantisierung
EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)
Modellfamilie
GLM-5.3
Kontext
499.712
Parameter
~753B (HF safetensors der Basis)
Kreator
MiaAI-Lab
GitHub-Sterne
21
Repo-Stand
4. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)31,3 tok/sKontext 488K · Prosa, greedy, sparkDash, Boot hcp 2026-10-04 (CP=1, fp4 KV); Code 41,7; sampled Prosa 22,9–24,0 Quelle 

Decode · parallele Anfragen

Summe über alle Streams ist markiert; pro Anfrage ist es entsprechend weniger.

  • 4 parallele Anfragen48,2 tok/sSpitze (Decode) · Kontext 32K · ×4 aggregiert (PARALLEL=4, CP=0, FP8 KV, greedy), 12,1–14,0 pro Request; ×2: 37,8 Quelle 

Prefill je Kontext

  • 8K607 tok/sLong-Context-Modus; 4k 601,5 / 32k 591,2 / 94k 545 / 314k 468 tok/s; CP=0: bis 684 @16k Quelle 

Was brauche ich

Hardware
3 × NVIDIA DGX Spark (GB10)
Engine
TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCE
Kontext
499.712 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • tool-calling
  • Lizenz ungeklärt

Quellen

Verwandte Rezepte

1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

von antirez

6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle 

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Streamt von SSD
  • Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 8. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht