Lokale KI · Rezept · 1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac: 6,14 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von antirez

6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten

Engine

Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)
Quantisierung
UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiB
Modellfamilie
GLM-5.3
Kontext
—
Kreator
antirez
GitHub-Sterne
24.199
Repo-Stand
2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Gemischt (Decode)6,14 tok/sKontext 1K · Median, 16 GiB Budget, 64 Tokens Quelle 
  • Spitze (Decode)6,14 tok/sKontext 1K · Median, 16 GiB Budget, 64 Tokens Quelle 

Prefill je Kontext

  • 8K91 tok/sAbout; 16K ctx allocation, 35.36 GiB Expert-Cache, Snapshot-Restore, 16 Output-Tokens Quelle 

Was brauche ich

Hardware
1 × Mac / Apple Silicon
Gewichte
Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)

Hinweise

Was vor dem Nachbauen wichtig ist.

  • ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
  • Streamt von SSD
  • Lizenz ungeklärt

Quellen

Verwandte Rezepte

8× DGX Spark
46tok/sAlltag

1 Anfrage, Generierung bei 32K Kontext (Speed-Tabelle, Ring aus acht, TP8/DCP4), Thinking immer an (gemessen vor dem Profil-Standard high, also mit Template-Standard max), mit MTP2 (laut Rezept); experimentelles Profil Quelle 

Intelligenz45mit Denken
  • Eigener Kernel nötig
  • Experimentell

NVFP4-Experten/BF16 (Local Inference Lab; Dense-Linears beim Laden MXFP8)vLLM (local-inference-lab Fork) via SparkRing (SIRCL-Collectives, switchless RDMA ueber ConnectX-7), Image Release 2026.10.2Gewichte Repo Stand 2. Nov. 2026

Details
3× DGX Spark
31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle 

Intelligenz45mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCEGewichte Repo Stand 4. Okt. 2026

Details
4× DGX Spark
~36tok/sSpitzeungefähr · Methodik nicht angegeben

1 Anfrage, Prompt-Typ nicht genannt, Bereich 33–39 tok/s, mit MTP-3 (laut Rezept) Quelle 

Intelligenz45mit Denken
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 3.0 bpw (exllamav3 1.5.3; routed experts 3.0, attention/shared/dense ~5, MTP experts 4, lm_head 6; 3.04 bpw avg), Q5 latent cacheTensorFold 0.6.0 + bertholomus glm-dsa-tp4 branch (release numbers on 3eb35dd, head ddfad35), image nvcr.io/nvidia/pytorch:26.07-py3, TP4 over direct RoCE, MTP-3 drafting, config B (1M window, DCP4, --parallel 4)Gewichte Repo Stand 9. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.