Zum Inhalt springen

DE

Gespräch buchen

Lokale KI · Rezept · 2× Mac

GLM-5.2 UD-IQ2_XXS mit DwarfStar auf 2× Mac

GLM-5.2 UD-IQ2_XXS mit DwarfStar auf 2× Mac: 16,7 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

16,7tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 4k

Quelle: github.com

Intelligenz (Originalmodell) · Artificial Analysis34mit Denken ohne Denken 22Wert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten

Anleitung im README Repo

Engine: DwarfStar (ds4) main@0aaea5a (2026-09-20)
Quantisierung: UD-IQ2_XXS routed, 196.58 GiB
Modellfamilie: GLM-5.2
Kontext: —
Kreator: antirez
GitHub-Sterne: 24.199
Repo-Stand: 2. Nov. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

Spitze (Decode)16,7 tok/sKontext 4K · About, 256 teacher-forced tokens Quelle

Prefill je Kontext

4K214 tok/sAbout Quelle

Was brauche ich

Hardware: 2 × Mac / Apple Silicon
Gewichte: Hauptgewichtantirez/glm-5.2-gguf Lizenz ungeklärt
Engine: DwarfStar (ds4) main@0aaea5a (2026-09-20)

Hinweise

Was vor dem Nachbauen wichtig ist.

≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
Mehrere Knoten
RDMA-Verbindung
Lizenz ungeklärt

Quellen

Verwandte Rezepte

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Text)

81,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + NVFP4 DSA-MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v22-dcpstrideGewichte Repo Stand 1. Aug. 2026

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Vision)

70,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + BF16 MoonViT/PatchMerger, FP8 MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v21Gewichte Repo Stand 1. Sept. 2026

4× RTX PRO 6000

GLM-5.2 NVFP4 mit vLLM auf 4× RTX PRO 6000 (192k Kontext)

von brandonmmusic-max

64tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

MXFP8/NVFP4/NF3-Hybrid weights + NVFP4 MLA KVvLLMGewichte Repo Stand 6. Sept. 2026

4× RTX PRO 6000

GLM-5.2 NVFP4 mit vLLM auf 4× RTX PRO 6000 (250k Kontext)

von brandonmmusic-max

58,5tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 (REAP 172 Experten/Layer) + NVFP4 MLA KV (nvfp4_ds_mla)vLLMGewichte Repo Stand 29. Juni 2026

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (500k Kontext, Text)

104tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3/Trellis 3.0 bpw, nvfp4_ds_mla KVvLLMGewichte Repo Stand 28. Juli 2026

4× RTX PRO 6000

GLM-5.2 504B NVFP4 mit vLLM auf 4× RTX PRO 6000

92,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt) Experten, BF16 Router/Attention, FP8 KVvLLMGewichte Repo Stand 21. Juni 2026

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-Workshop Zur Übersicht