DE
Gespräch buchen

Lokale KI · Rezept · 1× RTX 3090

Qwen3.8 27.3B mit llama.cpp auf 1× RTX 3090

Qwen3.8 27.3B mit llama.cpp auf 1× RTX 3090: 57 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von alesha-pro

57tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
llama.cpp
Quantisierung
Mirai-S-Trellis 2.4-bit + q8_0 KV
Modellfamilie
Qwen3.8
Kontext
131.072
Parameter
27.3B dense (Mirai S: 2.4 bits/weight)
Kreator
alesha-pro
GitHub-Sterne
10
Repo-Stand
7. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)57 tok/sKontext 6.9K-Prompt (prose) · Dieselbe MTP-3-Zelle, Prosa Quelle 
  • Spitze (Decode)85 tok/sKontext 6.9K-Prompt (code) · 128K ctx, q8_0 KV, MTP 3, 14.6 GB peak; 85 code / 57 prose; 300 W Quelle 

Prefill je Kontext

Was brauche ich

Hardware
1 × NVIDIA RTX 3090
Engine
llama.cpp
Kontext
131.072 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht