4× RTX 3090
110tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Lizenz ungeklärt
Lokale KI · Rezept · 1× DGX Spark
Qwen3.8-Flash-Next NVFP4 mit vLLM auf 1× DGX Spark
Qwen3.8-Flash-Next NVFP4 mit vLLM auf 1× DGX Spark: 82 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).
von myllmbox
Engine
- Engine
- vLLM
- Quantisierung
- hibrid48: kalibrierter Body mit NVFP4-Output-Head (0.33 GiB), bf16-KV (27G-Pin), NVFP4-n-gram-Tabelle, Marlin MoE
- Modellfamilie
- Qwen3.8-Flash-Next
- Kontext
- 262.144
- Kreator
- myllmbox
- GitHub-Sterne
- 79
- Repo-Stand
- 26. Sept. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Was brauche ich
- Hardware
- 1 × NVIDIA DGX Spark (GB10)
- Gewichte
- Hauptgewichtmyllmbox/Qwen3.8-Flash-Next-hibrid48 other
- BasisQwen/Qwen3.8-Flash-Next other
- Engine
- vLLM
- Kontext
- 262.144 Token
Hinweise
Was vor dem Nachbauen wichtig ist.
- Eigener Kernel nötig
- Lizenz ungeklärt
Quellen
Verwandte Rezepte
2× DGX Spark
54,4tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Zugang auf Anfrage
- Lizenz ungeklärt
1× DGX Spark
53tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Eigener Kernel nötig
- Lizenz ungeklärt
1× DGX Spark
48,7tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Zugang auf Anfrage
- Lizenz ungeklärt
2× DGX Spark
43,2tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz40mit Denken
- Eigener Kernel nötig
- Lizenz ungeklärt
2× RTX 3090
36,8tok/sAlltag
1 Anfrage, Prosa-Prompt, mit ngram Quelle
Intelligenz40mit Denken
- Teils im Arbeitsspeicher
- Experimentell
- Lizenz ungeklärt
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.