---
type: "Article"
title: "Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark"
description: "Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark: Rezept von myllmbox mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/myllmbox--qwen38-flash-next-int4-aur-2x-dgx-spark"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-10-24T17:17:39.202Z"
status: "stable"
---

# Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark

Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark: 74 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

- Kreator: [myllmbox](https://www.contextstudios.ai/de/lokale-ki/kreatoren/myllmbox.md)
- Engine: vLLM 0.30 (Image myllmbox/qwen38-flash-next-cluster-vllm:v5.2; RecoverSSM, dynamischer Draft-Depth 3–7 in Full-CUDA-Graphs, sampled Drafts + Block-Verifikation, One-Shot-RoCE-All-Reduce, Dual-Rail, TP=2, 64 Seats) — Kit v5.2
- Quantisierung: INT4-AutoRound (azampatti): int4-Experten, fp8-Seitenschichten; n-gram-Tabelle beim Laden fp8 → NVFP4, halb pro Box auf der GPU; KV-Pin 29G/Box (1.829.182 Tokens)
- Modellfamilie: Qwen3.8-Flash-Next
- Hardware: dgx-spark x2
- Kontext: 262144
- Artificial Analysis Intelligence Index: 39.8 ([source](https://artificialanalysis.ai/models/qwen3-8-flash-next))

## Alle Zahlen

- 74 tok/s (Alltag; Alltag, 1 Anfrage, Prosa-Prompt (lange Story), Thinking off, mit MTP) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)
- decode_tps: 74 (1 Anfrage) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)
- decode_tps: 100.4 (1 Anfrage) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)
- decode_tps: 176.8 (1 Anfrage) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)
- prefill_tps: 3939 (1 Anfrage) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)
- ttft_ms: 360 (1 Anfrage) — [source](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe#v52-2026-10-06)

## Gewichte

- [azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound](https://huggingface.co/azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound) (main, other)
- [Qwen/Qwen3.8-Flash-Next](https://huggingface.co/Qwen/Qwen3.8-Flash-Next) (base, other)

[https://github.com/myllmbox/qwen38-flash-next-cluster-recipe](https://github.com/myllmbox/qwen38-flash-next-cluster-recipe)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)