---
type: "Article"
title: "DeepSeek-V4.1-Flash-1017 EXL3 2,7 bpw (Mixed-K) mit vLLM auf 2× DGX Spark"
description: "DeepSeek-V4.1-Flash-1017 EXL3 2,7 bpw (Mixed-K) mit vLLM auf 2× DGX Spark: Rezept von sfxnz mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/sfxnz--dsv41-flash-1017-exl3-2.7bpw-mixedk-2x-dgx-spark"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-17T02:16:07.844Z"
status: "stable"
---

# DeepSeek-V4.1-Flash-1017 EXL3 2,7 bpw (Mixed-K) mit vLLM auf 2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,7 bpw (Mixed-K) mit vLLM auf 2× DGX Spark: 40,5 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [sfxnz](https://www.contextstudios.ai/de/lokale-ki/kreatoren/sfxnz.md)
- Engine: vLLM (vllm/vllm-openai:deepseekv41-flash-0909 + vllm-exl3 + Engram-on-disk, custom image dsv41-flash-exl3-sm121:e16-rows), TP=2, DSpark with adaptive verify, DeepSeek-API gateway
- Quantisierung: EXL3 MCG trellis 2.7 bpw routed experts (per-layer mixed K, HF revision 2.7bpw-mcg-hq), other tensors source dtypes, lm_head MXFP8, KV fp8
- Modellfamilie: DeepSeek-V4.1-Flash-1017
- Hardware: dgx-spark x2
- Kontext: 1048576

## Alle Zahlen

- 40,5 tok/s (Alltag; Alltag, 1 Anfrage, Prosa-Prompt (L.A.I.L-Zelle), mit DSpark (laut Rezept)) — [source](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark#measured-on-2-dgx-spark)
- decode_tps: 40.5 (1 Anfrage) — [source](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark#measured-on-2-dgx-spark)
- decode_tps: 103.6 (1 Anfrage) — [source](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark#measured-on-2-dgx-spark)
- prefill_tps: 2932 (1 Anfrage) — [source](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark#measured-on-2-dgx-spark)
- ttft_ms: 200 (1 Anfrage) — [source](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark#measured-on-2-dgx-spark)

## Gewichte

- [sfxnz/DeepSeek-V4.1-Flash-1017-EXL3](https://huggingface.co/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3) (main, mit)
- [deepseek-ai/DeepSeek-V4.1-Flash-1017](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017) (base, mit)

[https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark](https://github.com/sfxnz/DeepSeek-V4.1-Flash-1017-EXL3-2.7bpw-vLLM-2x-DGX-Spark)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)
