DeepSeek V4.1 Flash: 890 Bytes KV-Cache pro Token

DeepSeek V4.1 Flash senkt den globalen KV-Cache auf 890 Bytes pro Token — Causal Encoder-Decoder, CSA2 und FP4 machen lange Kontexte und Agenten-Laeufe deutlich guenstiger.

DeepSeek V4.1 Flash: 890 Bytes KV-Cache pro Token

Überblick

DeepSeek hat am 10. September 2026 mit V4.1-Flash das dritte Modell der V4-Familie veröffentlicht — und das mit einer klaren Ansage: Es soll den bisherigen Flash-Baukasten in Qualität und Kosten gleichzeitig übertreffen. Die Zahlen zeigen genau das. Bei 552 Milliarden Backbone-Parametern und 196 Milliarden Engram-Parametern aktiviert das Modell pro Token nur 8 Milliarden im Prefill und 16 Milliarden im Decode — bei einem Kontextfenster von einer Million Token und maximal 384.000 Token Ausgabe. Der globale KV-Cache sinkt auf 890 Bytes pro Token. Der Tech-Report trägt passend den Titel „Pushing the Limits of KV Cache Compression".

Die Gewichte stehen unter MIT-Lizenz auf Hugging Face, Bedienung ist über vLLM, SGLang und Transformers möglich. Die API-Preise bleiben auf V4-Flash-Niveau, mit Peak-/Off-Peak-Modell.

Was das Modell ist

V4.1-Flash ist ein multimodales Mixture-of-Experts-Modell. Es verarbeitet Text und Bilder nativ — ein DeepSeek-ViT mit 2D-RoPE und 3×3-Pixel-Unshuffle liefert visuelle Embeddings, die vom ersten Pretraining-Schritt an gemeinsam mit Text gelernt werden. Pro MoE-Lage arbeiten 1 geteilter und 384 geroutete Experts, von denen 6 pro Token aktiv sind. Das Reasoning ist stufenlos justierbar (integer 1–100): mehr Denkaufwand bringt messbar bessere Ergebnisse, kostet aber etwa das 2,5-fache an Ausgabe-Tokens.

Die Architektur: drei Hebel gegen den Cache

Der Engpass moderner Agenten-Systeme ist selten die Modellgröße, sondern der KV-Cache: jede Lage eines klassischen Transformers hält eigene Schlüssel-Wert-Paare vor, und bei langen Kontexten wächst dieses Polster in den Gigabyte-Bereich. DeepSeek setzt an drei Stellen an.

Erstens: Causal Encoder-Decoder (CED). Der 40-lagige Backbone ist in 20 Encoder- und 20 Decoder-Lagen geteilt. Der Decoder berechnet seinen globalen KV-Cache nicht selbst, sondern projiziert ihn aus den finalen Encoder-Hidden-States. Prompt-Tokens stoppen also im Encoder — die Prefill-Rechenlast sinkt auf rund die Hälfte, aktiv sind dort nur 8 Milliarden Parameter. Inspirationsquelle ist YOCO.

Zweitens: Compressed Sparse Attention 2 (CSA2). Jede CSA2-Lage bekommt statisch einen von drei Modi: Full (eigener Haupt-KV, eigener Indexer, frische Top-512-Indizes), Reindex ( fremder Haupt-KV, eigene Neubewertung) oder Reuse (Haupt-KV und Indizes komplett übernommen). Die 18 Encoder-CSA2-Lagen komprimieren mit Verhältnis 2 in Sechser-Gruppen, die 20 Decoder-Lagen mit Verhältnis 1 in Vierer-Gruppen. Ein hierarchischer Sparse-Indexer begrenzt die Kandidatenmenge auf 16.384 Positionen — damit hängt der Indexieraufwand nicht mehr linear an der Kontextlänge. In den FLOPs pro Decode-Token kostet der Sprung von 4K auf 1M Kontext nur ein Viertel.

Drittens: FP4 und Bounded Replay. Der Haupt-KV-Cache wird in E2M1 quantisiert (ein E4M3-Scale je 16 Kanäle), angelehnt an NVFP4 — das halbiert abermals. Die Sliding-Window-States (128 Token Fenster) landen nicht mehr auf der SSD, sondern im Host-RAM-Pool mit Minuten-TTL; bei einem Fehlgriff rekompiliert das „SWA Bounded Replay" nur die letzten 128 Token. Ergebnis: persistente Cache-Footprint etwa ein Achtel von V4-Flash, global 890 Bytes pro Token — rund 1/4 von V4-Flash und 437-mal kleiner als bei V1. Der Tech-Report liefert die Serie: 389.120 → 48.068 → 3.514 → 890 Bytes.

Der Rest des Pakets sind bewährte Bausteine: Single-Pass mHC mit verschobenen Input-Mixing-Koeffizienten und fused Mega-mHC-Kernel, das Engram-Modul für tokenbasierteLookup in den Lagen 1 und 14 sowie DSpark als spekulatives Decoding mit confidence-scheduled Verification.

Leistung im Querschnitt

Im Base-Vergleich hält V4.1-Flash mit dem großen V4-Pro mit — bei einem Drittel der Gesamt- und einem Viertel der aktivierten Parameter: MMLU-Pro 74,1 (Pro: 73,5), BigCodeBench 60,6 (59,2), GSM8K 93,0. Nativ multimodal: DocVQA 95,6, CVBench 77,9, RefCOCO 86,0, MMMU-Pro 56,5.

Bei maximaler Reasoning-Stufe auf den Agenten-Benchmarks (Quelle: Modellkarte):

BenchmarkV4.1-FlashV4-FlashOpus-5GPT-5.6 Sol
Terminal-Bench 2.190.682.789.188.8
DeepSWE v1.174.254.474.073.0
AutomationBench54.837.750.345.8
Agent's Last Exam31.826.7
CyberGym88.184.5
GPQA Diamond90.989.993.494.1

Dazu: Codeforces-Rating 3471 (V4-Pro: 3348), MathArena Apex 65,6 wie Kimi K3. Auf ProgramBench und beim Lesen komplexer Bilder bleibt laut Report ein messbarer Abstand zu den größten geschlossenen Systemen.

Die Post-Training-Story ist bemerkenswert nüchtern: keine neuen Algorithmen, nur SFT → RL → On-Policy-Distillation mit über 40 Lehrmodellen und skalierten, synthetisierten Agenten-Umgebungen in den Scaffolds Claude Code, Codex, OpenCode, Pi, mini-SWE und DeepSeek Harness. DeepSeek schreibt die Zugewinne der Daten- und Task-Skalierung zu — nicht dem Algorithmus-Update.

Preis und Verfügbarkeit

Die API bedient V4.1-Flash zu denselben Raten wie V4-Flash, mit Peak- und Off-Peak-Fenstern; Off-Peak kostet die Hälfte. Pro Million Token: $0,22 Eingabe (Cache-Miss), $0,007 bei Cache-Hit, $0,66 Ausgabe — jeweils Off-Peak, Peak exakt doppelt. Automatische Prefix-Caching ist standardmäßig aktiv. Die neuen Raten gelten seit 04:00 UTC am 10. September 2026. Gewichte: MIT-Lizenz, Hugging Face. Offizielle Partner wie WorkBuddy (inklusive CodeBuddy) und OpenCode unterstützen das Modell direkt zum Start.

Was das für die Praxis heißt

Für lange Dokumente und Wissensgraphen: Der 437-fach geschrumpfte Cache pro Token ist der eigentliche Fortschritt. Wer mit 1M-Kontext und häufigen Tool-Calls arbeitet, skaliert mehr Sessions pro GPU, statt die GPU zu tauschen.

Für Agenten-Pipelines: Die asymmetrische Aktivierung (8B Prefill / 16B Decode) passt exakt auf input-lastige Muster — viele Quelltexte, kurze, strukturierte Ausgaben. Die stufenlose Reasoning-Effort-Achse erlaubt es, pro Schritt im Kosten-Nutzen-Punkt zu landen: Stufe niedrig für Nummerierung, hoch für Kreuzcheck, mittel für Paket.

Für den Betrieb: In vLLM gilt der gemischte FP4/FP8-Checkpoint; --tokenizer-mode deepseek_v4, --reasoning-parser deepseek_v4, und für Think-Modi --max-model-len mindestens 393.216. Zwei Empfehlungen aus dem Nvidia-Forum: 32K-Kontext bleibt der stabile Standard, 64K nur bei echtem Bedarf — die KV-Auslastung und die reale Nebenläufigkeit zeigen den Knick deutlich.

Für die Einordnung: In dieser Generation sind Open-Weights-Modelle kein „gut für den Preis" mehr, sondern in vier von fünf harten Agenten-Benchmarks Spitzenreiter — bei MIT-Lizenz. Lücken bleiben bei feinen Bild-Detailfragen und wissenschaftlich tiefen Ketten, dort bleibt V4-Pro mit 49B aktivierten Parametern die sichere Adresse.

Merksätze

  1. CED lagert den Prompt in den Encoder: 8B aktive Parameter im Prefill, 16B im Decode, der Decoder-KV kommt als Projektion.
  2. CSA2 + FP4 + Bounded Replay drücken den globalen KV-Cache auf 890 Bytes pro Token: 1/4 von V4-Flash, 1/8 des persistenten Anteils, 437× unter V1.
  3. Benchmarks: Terminal-Bench 2.1 90,6 · DeepSWE v1.1 74,2 · AutomationBench 54,8 · CyberGym 88,1 — mit MIT-Gewichten.
  4. Betrieb: vLLM/SGLang/Transformers, Prefix-Caching automatisch, 32K-Kontext als stabiler Default.

FAQ

Ist V4.1-Flash ein vollständiger Ersatz für V4-Pro? In den Agentic-Codierungsbenchmarks ja, bei Preis und Geschwindigkeit deutlich. Für wissenschaftlich dichte Ketten und komplexe Bildanalyse listet das Modellkarte weiterhin einen Vorsprung der größeren Modelle.

Warum ist der KV-Cache der Flaschenhals? Weil jede Lage eines klassischen Transformers eigene Schlüssel-Wert-Paare vorhält — das Polster wächst mit Kontextlänge und Schritten und bindet HBM, SSD und Bandbreite.

Wie justiert ich das Reasoning? Über reasoning_effort als Integer 1–100; die Maximalstufe verbessert die Ergebnisse messbar, verdoppelt aber ungefähr die Ausgabe-Tokens.

Was kostet der Cache-Vorteil konkret? Der globale Footprint sinkt von 3.514 Bytes pro Token (V4-Flash) auf 890 — Faktor 4, mit 437-fachem Abstand zu V1.

Welcher Serve-Stack? vLLM oder SGLang mit deepseek_v4-Tokenizer und -Reasoning-Parser; FP4/FP8-Mixed-Checkpoint; Think-Modi mit max-model-len ≥ 393.216.

Artikel teilen

Share: