Lokale KI · Rezept · 1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit SGLang auf 1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit SGLang auf 1× DGX Spark: 57,5 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von r0b0tlab

57,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis18mit Denkenohne Denken 15

Engine

Engine
SGLang
Quantisierung
NVFP4 (compressed-tensors)
Modellfamilie
Qwen3.6-35B-A3B
Kontext
—
Parameter
35B total / 3B active MoE
Kreator
r0b0tlab
GitHub-Sterne
13
Repo-Stand
19. Mai 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Gemischt (Decode)57,5 tok/sSingle long decode: 512 tokens in 8.91s; MTP accept length ~1.87/2, accept rate ~0.93 Quelle 
  • Spitze (Decode)61,5 tok/sConcurrency ramp c1 Quelle 

Was brauche ich

Hardware
1 × NVIDIA DGX Spark (GB10)
Gewichte
Engine
SGLang

Verwandte Rezepte

1× DGX Spark
71,8tok/sAlltag

1 Anfrage, Prosa-Prompt (gesampelt, Thinking aus), mit LiLiCorr (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig
  • Lizenz ungeklärt

24GB pack: IQ2_XXS experts (2.0625 bits), NVFP4 Mamba projections, Q8_0 attention/latent projections/lm_head; bf16 KVTensorFold tensorfold-native v1.1.6 (eea9dc9c) + recipe patches/ (Bolt lane backend, libbolt.so CUDA forward pass), LiLiCorr draftsGewichte Repo Stand 1. Nov. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.