1× Mac
155tok/sAlltag
1 Anfrage, llmprobe-Standardprompt, Thinking an, mit MTP + PLD (laut Rezept) Quelle
Intelligenz40mit Denken
- Experimentell
- Lizenz ungeklärt
Lokale KI · Rezept · 1× Mac
Granite-4.2 3B MLX 4-bit mit MLX auf 1× Mac
Granite-4.2 3B MLX 4-bit mit MLX auf 1× Mac: 123 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).
von 0xBakeer
Engine
- Engine
- LM Studio (MLX-Backend) 0.4.21
- Quantisierung
- mlx-4bit
- Modellfamilie
- Granite-4.2
- Kontext
- —
- Parameter
- 3B
- Kreator
- 0xBakeer
- GitHub-Sterne
- 16
- Repo-Stand
- 19. Okt. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Prefill je Kontext
Zeit bis zum ersten Token
Kürzer ist besser.
Was brauche ich
- Hardware
- 1 × Mac / Apple Silicon
- Gewichte
- Hauptgewichtibm-granite/granite-4.2-3b Apache-2.0
- Engine
- LM Studio (MLX-Backend) 0.4.21
Verwandte Rezepte
1× Mac
53,3tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (nativ) (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Lizenz ungeklärt
1× Mac
35,8tok/sAlltag
1 Anfrage, llmprobe-Standardprompt, Thinking an, mit eingebettetem MTP (2 Draft-Token) (laut Rezept) Quelle
Intelligenz42mit Denken
- Experimentell
- Keine Lizenz auf HF
- Lizenz ungeklärt
1× Mac
28,5tok/sAlltag
1 Anfrage, Prosa-Prompt, Kontext 32k, mit DSpark (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- ≤ 3 bit: Quantisierung kann Qualität kosten
1× Mac
25,1tok/sAlltag
1 Anfrage, Prosa-Prompt, kurzer Prompt, mit MTP (DSpark built-in) (laut Rezept) Quelle
Intelligenz40mit Denkenohne Denken 25
- ≤ 3 bit: Quantisierung kann Qualität kosten
- Keine Lizenz auf HF
- Lizenz ungeklärt
1× MacBonsai-2-27B (Qwen3.8-27B-Basis)
10,6tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
- Eigener Kernel nötig
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.