Lokale KI · Rezept · 1× RTX 3090

Qwen3.6 27B IQ4_KS mit ik_llama.cpp auf 1× RTX 3090

von noonghunna

59,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis21mit Denkenohne Denken 20

Engine

Engine
ik_llama.cpp cu13-server
Quantisierung
GGUF IQ4_KS (ubergarm), q4_0 KV
Modellfamilie
Qwen3.6
Kontext
200.000
Parameter
27B dense
Kreator
noonghunna
GitHub-Sterne
2.288
Repo-Stand
25. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Für dieses Rezept sind keine Messwerte mit Quelle belegt.

Was brauche ich

Hardware
1 × NVIDIA RTX 3090
Gewichte
Engine
ik_llama.cpp cu13-server
Kontext
200.000 Token

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.