---
type: "Article"
title: "DeepSeek-V4-Flash 305B NVFP4 mit vLLM auf 4× DGX Spark"
description: "DeepSeek-V4-Flash 305B NVFP4 mit vLLM auf 4× DGX Spark: Rezept von tonyd2wild mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/tonyd2wild--deepseek-v4-flash-vision-exp-dspark-1m-nvfp4-kv-2x-dgx-spark-4x"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-10-02T23:35:03.167Z"
status: "stable"
---

# DeepSeek-V4-Flash 305B NVFP4 mit vLLM auf 4× DGX Spark

DeepSeek-V4-Flash 305B NVFP4 mit vLLM auf 4× DGX Spark: 42 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

- Kreator: [tonyd2wild](https://www.contextstudios.ai/de/lokale-ki/kreatoren/tonyd2wild.md)
- Engine: vLLM
- Quantisierung: FP8/FP4 Original-Checkpoint + NVFP4 KV (nvfp4_ds_mla)
- Modellfamilie: DeepSeek-V4-Flash
- Hardware: dgx-spark x4
- Kontext: 1048576

## Alle Zahlen

- 42 tok/s (Alltag; Alltag, 1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept)) — [source](https://github.com/tonyd2wild/DeepSeek-V4-Flash-Vision-SGLang-DGX-Spark/blob/main/results/categories_ds4tp4_off_c1.json)
- decode_tps: 42 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4-Flash-Vision-SGLang-DGX-Spark/blob/main/results/categories_ds4tp4_off_c1.json)
- decode_tps: 74.2 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4-Flash-Vision-SGLang-DGX-Spark/blob/main/results/summary.md)
- decode_tps: 98.3 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4-Flash-Vision-SGLang-DGX-Spark/blob/main/results/categories_ds4tp4_off_c1.json)
- prefill_tps: 4868 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4-Flash-Vision-SGLang-DGX-Spark/blob/main/results/sweep_ds4tp4.json)

## Gewichte

- [deepseek-ai/DeepSeek-V4-Flash-Vision-Exp](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Vision-Exp) (main, mit)

[https://github.com/tonyd2wild/DeepSeek-v4-Flash-Vision-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark](https://github.com/tonyd2wild/DeepSeek-v4-Flash-Vision-Exp-DSpark-1M-NVFP4-KV-2x-DGX-Spark)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)