1× Mac
155tok/sAlltag
1 Anfrage, llmprobe-Standardprompt, Thinking an, mit MTP + PLD (laut Rezept) Quelle
Intelligenz40mit Denken
- Experimentell
- Lizenz ungeklärt
Lokale KI · Rezept · 1× Mac
Gemma-4 MLX 4-bit mit MLX auf 1× Mac
Gemma-4 MLX 4-bit mit MLX auf 1× Mac: 102 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).
von 0xBakeer
Engine
- Engine
- LM Studio (MLX-Backend) 0.4.21
- Quantisierung
- mlx-4bit
- Modellfamilie
- Gemma-4
- Kontext
- 131.072
- Parameter
- E2B (Größe lt. Modellname)
- Kreator
- 0xBakeer
- GitHub-Sterne
- 16
- Repo-Stand
- 19. Okt. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Prefill je Kontext
Zeit bis zum ersten Token
Kürzer ist besser.
Was brauche ich
- Hardware
- 1 × Mac / Apple Silicon
- Gewichte
- Hauptgewichtgoogle/gemma-4-E2B-it Apache-2.0
- Engine
- LM Studio (MLX-Backend) 0.4.21
- Kontext
- 131.072 Token
Quellen
- github.com/0xBakeer/inference-atlas/blob/main/results/lmstudio/google/gemma-4-E2B-it/apple-m2-max-32gb/251c7884bb174170--serve-single-i256-o256-v1--57e31f.json
- github.com/0xBakeer/inference-atlas/blob/main/results/lmstudio/google/gemma-4-E2B-it/apple-m2-max-32gb/251c7884bb174170--prefill-8k-v1--d72bb6.json
- github.com/0xBakeer/inference-atlas/blob/main/results/lmstudio/google/gemma-4-E2B-it/apple-m2-max-32gb/251c7884bb174170--serve-chat-c32-i1k-o256-v1--a9e372.json
- github.com/0xBakeer/inference-atlas/blob/main/hardware/apple-m2-max-32gb.json
Verwandte Rezepte
1× Mac
53,3tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (nativ) (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Lizenz ungeklärt
1× Mac
35,8tok/sAlltag
1 Anfrage, llmprobe-Standardprompt, Thinking an, mit eingebettetem MTP (2 Draft-Token) (laut Rezept) Quelle
Intelligenz42mit Denken
- Experimentell
- Keine Lizenz auf HF
- Lizenz ungeklärt
1× Mac
28,5tok/sAlltag
1 Anfrage, Prosa-Prompt, Kontext 32k, mit DSpark (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- ≤ 3 bit: Quantisierung kann Qualität kosten
1× Mac
25,1tok/sAlltag
1 Anfrage, Prosa-Prompt, kurzer Prompt, mit MTP (DSpark built-in) (laut Rezept) Quelle
Intelligenz40mit Denkenohne Denken 25
- ≤ 3 bit: Quantisierung kann Qualität kosten
- Keine Lizenz auf HF
- Lizenz ungeklärt
1× MacBonsai-2-27B (Qwen3.8-27B-Basis)
10,6tok/sAlltag
1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
- Eigener Kernel nötig
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.