---
type: "Article"
title: "DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark"
description: "DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark: Rezept von tonyd2wild mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/tonyd2wild--deepseek-v4.1-flash-vllm-dgx-spark-3x"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-10-02T21:56:56.251Z"
status: "stable"
---

# DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark

DeepSeek-V4.1-Flash 763B EXL3 3.5 bpw mit vLLM auf 3× DGX Spark: 46 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

- Kreator: [tonyd2wild](https://www.contextstudios.ai/de/lokale-ki/kreatoren/tonyd2wild.md)
- Engine: vLLM
- Quantisierung: EXL3 3.5 bpw routed experts (Pollard) + FP8 Rest
- Modellfamilie: DeepSeek-V4.1-Flash
- Hardware: dgx-spark x3
- Kontext: 300000
- Artificial Analysis Intelligence Index: 39.5 ([source](https://artificialanalysis.ai/models/deepseek-v4-1-flash))

## Alle Zahlen

- 46 tok/s (Gemischt; Gemischt, 1 Anfrage, gemischtes Prompt-Set, mit DSpark (laut Rezept)) — [source](https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark/blob/main/results/exl3tp3a11/bench-exl3tp3a11.md)
- decode_tps: 46 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark/blob/main/results/exl3tp3a11/bench-exl3tp3a11.md)
- decode_tps: 70.05 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark/blob/main/results/exl3tp3a11/bench-exl3tp3a11.md)
- prefill_tps: 1198.7 (1 Anfrage) — [source](https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark/blob/main/results/exl3tp3a11/bench-exl3tp3a11.md)

## Gewichte

- [bot-lab-21/DeepSeek-V4.1-Flash-EXL3-3.5bpw-Pollard](https://huggingface.co/bot-lab-21/DeepSeek-V4.1-Flash-EXL3-3.5bpw-Pollard) (main, mit)
- [deepseek-ai/DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash) (base, mit)

[https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark](https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)