Lokale KI · Rezept · 1× RTX 3090

Qwen3.8-27B EXL3 4.00 bpw mit buun-llama-cpp auf 1× RTX 3090

Qwen3.8-27B EXL3 4.00 bpw mit buun-llama-cpp auf 1× RTX 3090: 27,8 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von r0b0tlab

27,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 150000, mit DFlash2 (laut Rezept)

Quelle: github.com

Intelligenz (Originalmodell) · Artificial Analysis34mit Denken ohne Denken 20

Anleitung im README Repo

Engine: buun-llama-cpp
Quantisierung: EXL3 4.00 bpw (Target + DFlash2-Draft), VBR-KV turbo8/turbo3
Modellfamilie: Qwen3.8-27B
Kontext: 262.144
Parameter: 27B dense
Kreator: r0b0tlab
GitHub-Sterne: 4
Repo-Stand: 20. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

Gemischt (Decode)27,8 tok/sKontext 146.5K · Decode nach 150000-Token-Prefill Quelle
Spitze (Decode)149 tok/sGSM8K throughput n=40: mean E2E tok/s pro Request; mean AL 5.917 (Concurrency: one active slot laut Rezept) Quelle

Prefill je Kontext

146.5K525 tok/s150000-token prefill + 200 decode Quelle

Zeit bis zum ersten Token

Kürzer ist besser.

Prompt nicht angegeben175 msMixed short requests median TTFT 0.175 s Quelle

Was brauche ich

Hardware: 1 × NVIDIA RTX 3090
Gewichte: Hauptgewichtr0b0tlab/Qwen3.8-27B-EXL3-4.00bpw Apache-2.0
Draft-Modellr0b0tlab/Qwen3.8-27B-DFlash2-EXL3-4.00bpw Apache-2.0
Engine: buun-llama-cpp
Kontext: 262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

Eigener Kernel nötig

Quellen

Verwandte Rezepte

1× Mac

Qwen3.8-27B mit MLX auf 1× Mac

von Weschera

53,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (nativ) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

oQ4e (4-bit affine g64, 166 sens. Tensoren 5-bit; Stock-Qwen3.8-27B-Konversion)oMLX 0.6.3rc2Gewichte Repo Stand 21. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit vLLM auf 1× DGX Spark (Weschera)

von Weschera

45tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (unsloth; compressed-tensors) + fp8 KV + triton_attn (fp8-KV auf GB10 nur mit triton, FA kann kein fp8-KV auf sm_121)vLLMGewichte Repo Stand 15. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit Atlas auf 1× DGX Spark

von Weschera

19tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

NVFP4 (unsloth); MTP-Head bf16 (--mtp-quantization bf16); fp8 KV (Engine-Default)AtlasGewichte Repo Stand 15. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit TandemLLM auf 1× DGX Spark

von 0xBakeer

49,9tok/sGemischt

1 Anfrage, Benchmark-Prompt-Set, mit DFlash2-Drafter + StairCut (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 20

Eigener Kernel nötig

NVFP4 (GPTQ) alle Projektionen + FP8-Head (über Qwen FP8-Checkpoint)TandemLLM v0.3.0 (eigene PyTorch/Triton/CUDA-Engine, StairCut)Gewichte Repo Stand 30. Okt. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit vLLM auf 1× DGX Spark (r0b0tlab)

von r0b0tlab

27,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

NVFP4 (+ BF16-MTP-Kopf)vLLM v0.27.2rc0-sm121 (7f7a32c)Gewichte Repo Stand 20. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit SGLang auf 1× DGX Spark (Weschera)

von Weschera

25,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash2 (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 (RadixArk) + BF16-Draft; quantized lm_head-Adapter (TP=1, 256-token selector chunks, FP32 top-k — r0b0tlab-Ansatz)SGLangGewichte Repo Stand 21. Aug. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-Workshop Zur Übersicht