1× RTX PRO 6000
207tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit FR-Spec + NEXTN (laut Rezept) Quelle
Intelligenz40mit Denken
- Eigener Kernel nötig
- Lizenz ungeklärt
Lokale KI · Rezept · 1× RTX PRO 6000
K2-Horizon 36B-A4B EXL3 8.00 bpw mit ExLlamaV3 auf 1× RTX PRO 6000
K2-Horizon 36B-A4B EXL3 8.00 bpw mit ExLlamaV3 auf 1× RTX PRO 6000: 30 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).
von vcruz305
Engine
- Engine
- ExLlamaV3 + TabbyAPI Fork be01a273, TabbyAPI f07131cd
- Quantisierung
- EXL3 2.00–8.00bpw
- Modellfamilie
- K2-Horizon (IFM)
- Kontext
- 65.536
- Parameter
- 36B / 4B active
- Kreator
- vcruz305
- GitHub-Sterne
- 1
- Repo-Stand
- 23. Sept. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Prefill je Kontext
Zeit bis zum ersten Token
Kürzer ist besser.
Was brauche ich
- Hardware
- 1 × NVIDIA RTX PRO 6000 Blackwell
- Gewichte
- Hauptgewichtvcruz305/K2-Horizon-MoVA-36B-A4B-EXL3 Apache-2.0
- BasisIFM/K2-Horizon-MoVA-36B-A4B Apache-2.0
- Engine
- ExLlamaV3 + TabbyAPI Fork be01a273, TabbyAPI f07131cd
- Kontext
- 65.536 Token
Hinweise
Was vor dem Nachbauen wichtig ist.
- Eigener Kernel nötig
Quellen
Verwandte Rezepte
1× RTX PRO 6000
287tok/sSpitze
1 Anfrage, synthetischer Prompt Quelle
Intelligenz9mit Denken
1× RTX PRO 6000
281tok/sSpitze
1 Anfrage, synthetischer Prompt Quelle
Intelligenzkein unabhängiger Wert
1× RTX PRO 6000
240tok/sSpitze
1 Anfrage, Bestwert der Quelle Quelle
Intelligenz34mit Denkenohne Denken 20
1× RTX PRO 6000
196tok/sSpitze
1 Anfrage, synthetischer Prompt Quelle
Intelligenz12mit Denken
1× RTX PRO 6000
184tok/sSpitze
1 Anfrage, Bestwert der Quelle, Kontext 64k Quelle
Intelligenzkein unabhängiger Wert
- ≤ 3 bit: Quantisierung kann Qualität kosten
- Eigener Kernel nötig
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.