---
type: "Article"
title: "DeepSeek-V4.1-Flash-1017 EXL3 1,62 bpw mit vLLM auf 1× DGX Spark"
description: "DeepSeek-V4.1-Flash-1017 EXL3 1,62 bpw mit vLLM auf 1× DGX Spark: Rezept von vcruz305 mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/vcruz305--dsv41-flash-1017-exl3-1.62-1spark-vllm"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:37:58.087Z"
status: "stable"
---

# DeepSeek-V4.1-Flash-1017 EXL3 1,62 bpw mit vLLM auf 1× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 1,62 bpw mit vLLM auf 1× DGX Spark: ~20,1 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [vcruz305](https://www.contextstudios.ai/de/lokale-ki/kreatoren/vcruz305.md)
- Engine: vLLM (spark-ds41f r6w, Basis-Image dsv41-1017-ds41f:r6w) + vllm-exl3 Fork 30e8b94 + exllamav3 Fork 909ad85 (tile-K 16, W2) + Shim, DSpark k=5
- Quantisierung: EXL3 SAGE MixedK 1.62bpw (routed K1–K4), FP8 block-32 sonst, EXL3-K8-Head, Engram von NVMe, Cold-Expert-Alias-Datei
- Modellfamilie: DeepSeek-V4.1-Flash-1017
- Hardware: dgx-spark x1
- Kontext: 524288

## Alle Zahlen

- ~20,1 tok/s (Alltag; Alltag, 1 Anfrage, Chat-Prompt (1200-Token-Antworten), Sampling 0,6/0,95, mit DSpark (laut Rezept), Bereich 17,7–22,5 tok/s) — [source](https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe#sampling-defaults)
- decode_tps: 20.1 (1 Anfrage) — [source](https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe#sampling-defaults)
- decode_tps: 35.1 (1 Anfrage) — [source](https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe#measured-long-context)
- prefill_tps: 720 (1 Anfrage) — [source](https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe#measured-prefill)

## Gewichte

- [vcruz305/DSV4.1-Flash-1017-SAGE-EXL3-1.62bpw](https://huggingface.co/vcruz305/DSV4.1-Flash-1017-SAGE-EXL3-1.62bpw) (main, mit)
- [deepseek-ai/DeepSeek-V4.1-Flash-1017](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017) (base, mit)

[https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe](https://github.com/vcruz305/DSV4.1-Flash-1017-EXL3-Spark-recipe)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)