Lokale KI · Rezept · 1× Mac

GLM-5.3-Flash Q4_K mit DwarfStar auf 1× Mac (M3 Ultra)

von antirez

24,7tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 2k

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis42mit Denken

Engine

Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)
Quantisierung
Q4_K mit Q8 KDA/head
Modellfamilie
GLM-5.3-Flash
Kontext
—
Kreator
antirez
GitHub-Sterne
22.692
Repo-Stand
25. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Für dieses Rezept sind keine Messwerte mit Quelle belegt.

Was brauche ich

Hardware
1 × Mac / Apple Silicon
Gewichte
Engine
DwarfStar (ds4) main@0aaea5a (2026-09-20)

Verwandte Rezepte

1× DGX Spark
19,5tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle 

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,3 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Experimentell
  • Eigener Kernel nötig
  • Nicht kommerziell

EXL3 2.25 bpw (Drafter EXL3 3.00 bpw)vLLM v0.30.0rc1 @ a00a3544b93eGewichte Repo Stand 25. Sept. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.