DE
Gespräch buchen

Lokale KI · Rezept · 1× RTX 3090

Qwen3.8 27.3B mit llama.cpp auf 1× RTX 3090

Qwen3.8 27.3B mit llama.cpp auf 1× RTX 3090: 57 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von alesha-pro

57tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
llama.cpp
Quantisierung
Mirai-S-Trellis 2.4-bit (GGUF-Typen MS_V4T8/MS_V2T4/MS_V2T6/MS_I3, ids 90–93, nicht requantisiert) + q4_0- oder q8_0-KV
Modellfamilie
Qwen3.8
Kontext
131.072
Parameter
27.3B dense (Mirai S: 2.4 bits/weight, 8.45 GB)
Kreator
alesha-pro
GitHub-Sterne
10
Repo-Stand
7. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)57 tok/sKontext 6.9K-Prompt (prose) · Wie Zeile zuvor, Prosa-Anteil derselben MTP-Zelle Quelle 
  • Spitze (Decode)85 tok/sKontext 6.9K-Prompt (code) · 128K ctx, q8_0 KV + MTP 3 (--spec-type draft-mtp --spec-draft-n-max 3), 14.6 GB peak; 85 code / 57 prose; 300 W Quelle 

Prefill je Kontext

  • 2K1.225 tok/sChunked gated-delta-rule-Prefill: 2048 Tokens 1103 → 1225 tok/s gegen Off-Switch Quelle 

Was brauche ich

Hardware
1 × NVIDIA RTX 3090
Engine
llama.cpp
Kontext
131.072 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht