Zum Inhalt springen

DE

Gespräch buchen

Lokale KI · Rezept · 1× Mac

Bonsai-2-27B Q8_0 mit llama.cpp auf 1× Mac

Bonsai-2-27B Q8_0 mit llama.cpp auf 1× Mac: 10,6 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

10,6tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation

Quelle: github.com

Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert

Anleitung im README Repo

Engine: llama.cpp (prism fork)
Quantisierung: Ternary PQ2_0 (empfohlen) / PTQ1_0 (5,9 GB); mmproj-Q8_0 für Vision
Modellfamilie: Bonsai-2-27B (Qwen3.8-27B-Basis)
Kontext: 131.072
Parameter: 27B ternär 1.72 bits/weight (README); PQ2_0 7,2 GB
Kreator: Weschera
GitHub-Sterne: 0
Repo-Stand: 18. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

Alltag (Decode)10,6 tok/sMac mini M4 24 GB, PQ2_0 — 3-Rep-Ladder WÄHREND parallel laufendem Spark-Bench (GPU-Contention); idle-Qualifizierung 11.0 → approx; TTFTs dieser Ladder sind Queueing-Artifacts Quelle
Spitze (Decode)34,5 tok/sPQ2_0 Studio; 3 Reps Mittel, temp 0, thinking off, 320 tokens, ~2,1–2,4K prompts (bench-chat.py); flat prose=code → kein Spec-Decoding, rein bandgebunden Quelle

Prefill je Kontext

Prompt nicht angegeben242 tok/sPQ2_0 Studio (PTQ1_0: 205); Ternary-Unpacking macht Prefill langsamer als 4-bit-affin (242 vs 274) Quelle

Was brauche ich

Hardware: 1 × Mac / Apple Silicon
Gewichte: Hauptgewichtprism-ml/Ternary-Bonsai-2-27B-gguf Apache-2.0
Engine: llama.cpp (prism fork)
Kontext: 131.072 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

Eigener Kernel nötig

Quellen

github.com/Weschera/Bonsai-2-27B-Mac/blob/main/README.md

Verwandte Rezepte

1× Mac

Qwen3.8-27B mit MLX auf 1× Mac

53,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (nativ) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

oQ4e (4-bit affine g64, 166 sens. Tensoren 5-bit; Stock-Qwen3.8-27B-Konversion)oMLX 0.6.3rc2Gewichte Repo Stand 21. Aug. 2026

1× Mac

DeepSeek-V4-Flash 284B IQ2_XXS mit DwarfStar auf 1× Mac (Vision)

28,5tok/sAlltag

1 Anfrage, Prosa-Prompt, Kontext 32k, mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

IQ2_XXS imatrix q2 (antirez), w2Q2K/AProjQ8/SExpQ8/OutQ8; GGUF 86,720,111,776 bytesds4 (DwarfStar)Gewichte Repo Stand 2. Sept. 2026

1× Mac

DeepSeek-V4.1-Flash 763B mit MLX auf 1× Mac

25,1tok/sAlltag

1 Anfrage, Prosa-Prompt, kurzer Prompt, mit MTP (DSpark built-in) (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

≤ 3 bit: Quantisierung kann Qualität kosten
Keine Lizenz auf HF
Lizenz ungeklärt

oQ3e (affine 3-bit) mit 27/40 MoE-Layern 2-bit gs64oMLX 0.7.0.dev2 @395ec2fd, MLX 0.32.2Gewichte Repo Stand 16. Sept. 2026

1× Mac

GLM-5.3 UD-IQ2_XXS mit DwarfStar auf 1× Mac

6,14tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 1k, ohne Spekulation Quelle

Intelligenz45mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Streamt von SSD
Lizenz ungeklärt

UD-IQ2_XXS routed, blk78 Q2K, 196.58 GiBDwarfStar (ds4) main@0aaea5a (2026-09-20)Gewichte Repo Stand 25. Sept. 2026

1× Mac

Granite-4.2 3B MLX 4-bit mit MLX auf 1× Mac

123tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz9mit Denken

mlx-4bitLM Studio (MLX-Backend) 0.4.21Gewichte Repo Stand 23. Sept. 2026

1× Mac

Gemma-4 MLX 4-bit mit MLX auf 1× Mac

102tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz8mit Denken ohne Denken 7

mlx-4bitLM Studio (MLX-Backend) 0.4.21Gewichte Repo Stand 23. Sept. 2026

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-Workshop Zur Übersicht