1× DGX Spark
82,2tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, mit MTP (EAGLE/nextn) (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
Lokale KI · Rezept · 4× RTX 3090
Ornith-1.5-35B-A3B EXL3 3 bpw mit ExLlamaV3 auf 4× RTX 3090
Ornith-1.5-35B-A3B EXL3 3 bpw mit ExLlamaV3 auf 4× RTX 3090: 50 tok/s laut huggingface.co (Datensatz-Stand: 3. Nov. 2026).
von 0xSero
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
≤ 3 bit: Quantisierung kann Qualität kosten
Engine
- Engine
- exllamav3 (TabbyAPI) 1.4.3 (+ Patch tp_import_split_n)
- Quantisierung
- EXL3 3 bpw Experten (MCG), Rest BF16, MTP 4 bpw
- Modellfamilie
- Ornith-1.5-35B-A3B
- Kontext
- 262.144
- Parameter
- 35B total / 3B active
- Kreator
- 0xSero
- GitHub-Sterne
- 0
- Repo-Stand
- 26. Aug. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Was brauche ich
- Hardware
- 4 × NVIDIA RTX 3090
- Gewichte
- Hauptgewicht0xSero/Ornith-1.5-35B-A3B-EXL3-3bpw MIT
- Engine
- exllamav3 (TabbyAPI) 1.4.3 (+ Patch tp_import_split_n)
- Kontext
- 262.144 Token
Hinweise
Was vor dem Nachbauen wichtig ist.
- ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
Quellen
Verwandte Rezepte
4× RTX 3090
145tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DFlash (laut Rezept) Quelle
Intelligenz34mit Denkenohne Denken 20
- Experimentell
4× RTX 3090
110tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Lizenz ungeklärt
4× RTX 3090
105tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz21mit Denkenohne Denken 20
4× RTX 3090
104tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenzkein unabhängiger Wert
- Experimentell
- Lizenz ungeklärt
4× RTX 3090
85,3tok/sAlltag
1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle
Intelligenz34mit Denkenohne Denken 20
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.