DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

Swift-1.5-Qwen3.8-Flash-Next NVFP4 mit SparkRing auf 4× DGX Spark

Swift-1.5-Qwen3.8-Flash-Next NVFP4 mit SparkRing auf 4× DGX Spark: 64,7 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von fujitsupolycom

64,7tok/sAlltag

1 Anfrage, Decode bei 16K Kontext (Profil-Tabelle), Thinking on, xhigh

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
vLLM (local-inference-lab Fork) via SparkRing (switchless NCCL ueber ConnectX-7)
Quantisierung
NVFP4-Experten/BF16 (UkisAI)
Modellfamilie
Swift-1.5-Qwen3.8-Flash-Next
Kontext
—
Parameter
119,6 GB Safetensors
Kreator
fujitsupolycom
GitHub-Sterne
91
Repo-Stand
6. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)64,7 tok/sKontext 16K · 1 Nutzer, je 16K Kontext; Thinking on, xhigh Quelle 

Decode · parallele Anfragen

Summe über alle Streams ist markiert; pro Anfrage ist es entsprechend weniger.

  • 16 parallele Anfragen340 tok/sSpitze (Decode) · Kontext 16K · Thinking on, xhigh Quelle 

Prefill je Kontext

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Engine
vLLM (local-inference-lab Fork) via SparkRing (switchless NCCL ueber ConnectX-7)

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht