Wer eine Maschine für DeepSeek-V4-Flash dimensioniert, rechnet mit der falschen Zahl. Pro Token sind 13 Milliarden Parameter aktiv, im Speicher liegen 284 Milliarden (Technical Report). Die erste Zahl bestimmt das Tempo, die zweite die Speicherrechnung. Wir dimensionieren Mixture-of-Experts-Hosts nach der zweiten – und dass sie überhaupt tragbar bleibt, verdankt sich einer einzigen Zeile in der Konfigurationsdatei: Die Experten liegen in 4 Bit.
DeepSeek hat DeepSeek-V4-Flash-0731 am 31. Juli 2026 veröffentlicht, als offizielles Release, das die Vorschau ablöst; Architektur und Größe bleiben unverändert (MarkTechPost). Die Gewichte stehen unter MIT-Lizenz und sind frei verfügbar (Model Card). Es folgt die Rechnung hinter der Speicherzahl, die Stelle, an der das beliebte „läuft auf dem Notebook“ auseinanderfällt, und was das für die Dimensionierung ändert.
Die meistzitierte Zahl ist die falsche
Daran hängt alles Weitere. Ein Router, der pro Token 6 von 256 Experten auswählt, erlaubt es nicht, nur 6 Experten vorzuhalten – beim nächsten Token wählt er sechs andere. Jeder Experte muss resident sein, sonst wartet das Token auf einen Lesezugriff von der Platte. ModemGuides zieht die Konsequenz nüchtern: Ein dichtes 13B-Modell braucht in 4 Bit rund 8 GB, V4-Flash bei vergleichbarer Präzision etwa das Zwanzigfache (Hardware-Analyse). Ein Thread im Hugging-Face-Forum bringt es auf vier Worte: „Not a 13B memory problem“ (Diskussion).
Wir dimensionieren Mixture-of-Experts-Hosts inzwischen ausschließlich nach der Gesamtparameterzahl und behandeln die aktive Zahl als reine Durchsatzgröße, denn bei diesem Modell liegen zwischen beiden Werten der Faktor 22. Die Gewohnheit kostet nichts, wenn beide Zahlen nah beieinanderliegen, und spart eine Beschaffungsrunde, wenn nicht.
❌ Dimensionierung nach der Schlagzeile: „13B aktiv, also reicht eine 24-GB-Karte.“ ✅ Dimensionierung nach dem Checkpoint: 284 Milliarden residente Gewichte, Untergrenze im dreistelligen Gigabyte-Bereich – die 24-GB-Karte steht gar nicht zur Debatte.
Was in der Konfigurationsdatei steht
Das ist keine nachträgliche Quantisierung aus der Community, sondern Teil der ausgelieferten Gewichte, und in der config.json direkt nachlesbar (Config):
"expert_dtype": "fp4",
"n_routed_experts": 256,
"num_experts_per_tok": 6,
"n_shared_experts": 1,
"num_hidden_layers": 43,
"hidden_size": 4096,
"moe_intermediate_size": 2048,
"quantization_config": {
"quant_method": "fp8",
"fmt": "e4m3",
"weight_block_size": [128, 128]
}
Das vLLM-Rezept zum Modell beschreibt dieselbe Aufteilung in Worten: Expertengewichte in FP4, die übrigen Parameter aus Attention, Norm und Router in FP8 (vLLM Recipes). Zwei Datentypen, ein Checkpoint. Welche Hälfte überwiegt, entscheidet alles Weitere – und diese Frage beantwortet die Konfiguration.
Wo die 284 Milliarden Parameter liegen
Die Konfiguration reicht aus, um das nachzurechnen, ganz ohne Download. Jeder Experte ist ein SwiGLU-Block, der eine Hidden Size von 4096 über eine Zwischengröße von 2048 führt, verteilt auf drei Matrizen: gate, up und down. Das sind 3 × 4096 × 2048, also rund 25,2 Millionen Parameter pro Experte. Bei 256 gerouteten Experten plus einem geteilten Experten trägt eine einzelne Schicht damit etwa 6,5 Milliarden Parameter allein in den Experten. Über 43 Schichten summiert sich das auf rund 278 Milliarden.
Gemessen an den veröffentlichten 284 Milliarden entfallen auf die Experten damit etwa 98 Prozent des Modells. Alles andere – Attention, Embeddings, Normalisierung, der Router selbst – teilt sich die verbleibenden wenigen Milliarden.
Dieselbe Rechnung auf dem aktiven Pfad reproduziert die veröffentlichte Zahl. Sechs geroutete plus ein geteilter Experte ergeben 7 aktive Experten pro Schicht, also rund 176 Millionen Parameter, über 43 Schichten etwa 7,6 Milliarden. Rechnet man die stets aktive Attention und die Embeddings hinzu, landet man bei den 13 Milliarden aktiven Parametern aus dem Technical Report. Die Konfiguration ist in sich schlüssig – gut zu wissen, bevor man irgendeiner daraus abgeleiteten Zahl vertraut.
Die Form ist bewusst gewählt, nicht zufällig. Die V4-Familie kombiniert eine hybride Attention-Architektur – Compressed Sparse Attention und Heavily Compressed Attention – mit Manifold-Constrained Hyper-Connections. Der Technical Report beziffert das Ergebnis auf 27 Prozent der Inferenz-FLOPs pro Token und 10 Prozent des KV-Caches von DeepSeek-V3.2 bei einer Million Token Context (Technical Report). Sparsames Routing und komprimierte Attention lösen zwei verschiedene Probleme: Das Routing hält den Rechenaufwand pro Token klein, die komprimierte Attention hält den Context bezahlbar. Keines von beiden verkleinert die residenten Gewichte – genau deshalb muss das Speicherformat diese Aufgabe getrennt übernehmen.
Jetzt die Datentypen. Bei einem halben Byte pro Parameter belegen 278 Milliarden Expertenparameter rund 139 GB. Die wenigen Milliarden übrigen Parameter kommen mit einem Byte je Parameter auf einen einstelligen Gigabyte-Betrag. Wären dieselben Experten in FP8 ausgeliefert worden, lägen sie bei etwa 278 GB, in BF16 deutlich über einem halben Terabyte. Die Entscheidung für FP4 ist damit kein Detail am Rand, sondern der Unterschied zwischen einer einzelnen speicherstarken Maschine und einem verteilten Setup.
Die Speicherrechnung in Byte statt in Parametern
Parameterzahlen sind ein Näherungswert, Byte sind die harte Grenze – und die Byte-Angaben liegen öffentlich vor. Die fusionierten 0731-Checkpoints belegen rund 167 GB gegenüber etwa 160 GB bei der Vorschau; die Differenz macht das angehängte Modul für spekulatives Dekodieren aus (vLLM Recipes).
Unterhalb der vollen Präzision veröffentlicht Unsloth eine kalibrierte Reihe. Der empfohlene Build UD-IQ3_XXS liegt bei 103 GB, und die Empfehlung lautet, mindestens 110 GB RAM bereitzuhalten, weil die Dateigröße KV-Cache und Context-Allokation nicht enthält. UD-Q8_K_XL ist V4-Flash in voller Originalpräzision und misst 162 GB (Unsloth-Dokumentation).
Drei Zahlen gehören in jede Hardwareentscheidung:
| Build | Dateigröße | Untergrenze Arbeitsspeicher |
|---|---|---|
| Ausgelieferter 0731-Checkpoint | ~167 GB | über der Dateigröße |
Volle Präzision (UD-Q8_K_XL) | 162 GB | über der Dateigröße |
Empfohlen, 3 Bit (UD-IQ3_XXS) | 103 GB | 110 GB |
Es gibt zudem mehr als einen Checkpoint. Das vLLM-Rezept führt vier auf: das Standard-Release 0731 mit angehängtem Draft-Modul, die früheren FP8-Vorschaugewichte, einen DSpark-Vorschau-Build und eine NVFP4-Variante von NVIDIA, bei der die MoE-Experten auf reguläres NVFP4 requantisiert werden, während Attention, geteilte Experten, Router-Head und Draft-Modul in FP8 bleiben. Diese Variante zielt auf Blackwell-GPUs und trägt einen Vorbehalt, den man vor der Auswahl lesen sollte: Ihre Experten unterstützen den ausschließlich FP8-fähigen fusionierten MoE-Kernel nicht und fallen auf das Standard-Backend zurück (vLLM Recipes). Die Wahl des Checkpoints ist also ebenso eine Durchsatz- wie eine Speicherentscheidung.
Der Abstand zwischen Dateigröße und Untergrenze ist die Stelle, die Teams übersehen. Ein Context-Fenster von einer Million Token (Technical Report) gibt es nicht gratis, und die veröffentlichten Dateigrößen enthalten es nicht.
In den Zahlen steckt eine kleinere Lehre, und es ist dieselbe wie bei den Parameterzahlen. Die veröffentlichten Gesamtwerte gehen auseinander – neben den 284 Milliarden kursierten Beiträge mit 304 Milliarden. Der Technical Report legt 284 Milliarden bei 13 Milliarden aktiven Parametern fest, das vLLM-Rezept und die Spezifikationstabellen der Anbieter bestätigen das. Wenn eine Schlagzeilenzahl strittig ist, bleibt die Dateigröße auf der Platte die Zahl, an der ein Deployment tatsächlich scheitert – und über 167 GB streitet niemand.
Warum sich „läuft auf dem Notebook“ hartnäckig hält
Die Behauptung steht überall, und der Reiz liegt auf der Hand: 13 Milliarden aktive Parameter klingen nach einem Modell für die Entwickler-Workstation. Wir haben keine 32-GB-Konfiguration getestet, und die Herstellerangaben sprechen dagegen – 110 GB sind die Untergrenze für den kleinsten Build, den Unsloth empfiehlt (Unsloth-Dokumentation). ModemGuides kommt von der Hardwareseite zum selben Schluss und nennt Maschinen mit 128 GB als praktisches Ziel, mit dem Hinweis, dass Apple den Mac Studio mit M3 Ultra bei 96 GB anbietet – der naheliegende Kandidat bleibt damit knapp unter der Schwelle (Hardware-Analyse).
Weiter zu quantisieren ist ein echter Hebel, aber kein kostenloser. Dieselbe Analyse misst für Builds der 2-Bit-Klasse eine Übereinstimmung von rund 78 Prozent beim wahrscheinlichsten Token gegenüber den Referenzgewichten. Das ist eine Qualitätsentscheidung, keine Verpackungsfrage, und sie gehört in die Evaluationsphase statt in die Beschaffung. Wer Präzision gegen Speicher tauscht, sollte den Tausch an den eigenen Aufgaben messen – dieselbe Disziplin, die immer gilt, wenn eine Evaluations-Harness zwischen einem Modell und seinem Score steht.
Was das für die Dimensionierung ändert
Aus der Rechnung folgen drei Gewohnheiten.
Das Speicherformat vor der Parameterzahl lesen. expert_dtype sagt mehr über die Speicherrechnung aus als die Schlagzeile mit 284 Milliarden, weil es für 98 Prozent der Parameter gilt. Ein Modell mit weniger Gesamtparametern, aber in BF16 gespeichert, kann ohne Weiteres mehr Speicher verlangen als dieses.
Aktive Parameter als Durchsatzgröße behandeln. Sie erklären, warum DeepSeek V4-Flash für 0,14 US-Dollar je Million Input-Token und 0,28 US-Dollar je Million Output-Token anbieten kann (API-Preise). Über das Gewicht der Gewichte sagen sie nichts.
Lizenzfrage und Hardwarefrage trennen. Die MIT-Lizenz auf diesen Gewichten ist ein echtes Ergebnis, und eine Open-Weight-Lizenz klärt, was man darf. Sie klärt nicht, wozu man ausgerüstet ist. Das sind zwei unabhängige Prüfungen, und die zweite entscheiden die Zahlen aus diesem Beitrag.
Die Fähigkeiten hinter dem Interesse sind real. DeepSeek-V4-Flash-0731 erreicht 82,7 auf Terminal Bench 2.1 gegenüber 72,1 für DeepSeek-V4-Pro (Preview) und 54,4 auf DeepSWE gegenüber 7,3 für die eigene Vorschau (Model Card). Simon Willison nennt es möglicherweise das beste Modell im Verhältnis von Intelligenz zu Preis und verweist darauf, dass Artificial Analysis es vor MiniMax M3 einordnet, ein Modell mit 428 Milliarden Parametern (Weblog). Nichts davon ändert die Byte-Zahl, und die Byte-Zahl muss die Bestellung erfüllen.
Es ist dasselbe Muster wie in unserem Beitrag dazu, dass ARC-AGI-3 die Harness gemessen hat und nicht nur das Modell: Eine Zahl heftet sich an ein Modell, obwohl sie aus der Konfiguration ringsum entstanden ist. Hier ist die Zahl 13 Milliarden, die Konfiguration ein Router mit 6 aus 256, und gemessen wird Tempo statt Größe. Wer diese Modellklasse gegen eine gehostete Spitzenlösung abwägt, findet in unserem DeepSeek-V4-Vergleich die Abwägung im Detail, und der Eintrag zur Inferenzkonfiguration behandelt die Einstellungen, die den Durchsatz bewegen, sobald die Gewichte einmal resident sind.
Wenn Sie entscheiden, ob ein Modell dieser Klasse in Ihren Stack gehört, und die Dimensionierung geklärt haben möchten, bevor die Hardware bestellt ist statt danach, übernimmt unser Team genau diese Art von Bewertung.
Häufig gestellte Fragen
Wie viel Speicher braucht DeepSeek-V4-Flash tatsächlich? Planen Sie mit mindestens 110 GB. Der empfohlene 3-Bit-Build von Unsloth misst 103 GB, empfohlen wird eine Untergrenze von 110 GB, weil Dateigrößen KV-Cache und Context-Allokation ausklammern. Volle Originalpräzision liegt bei 162 GB (Unsloth-Dokumentation).
Warum bedeuten 13 Milliarden aktive Parameter nicht 13 Milliarden im Speicher? Weil der Router bei jedem Token beliebige 6 von 256 Experten wählen kann und deshalb alle Experten resident bleiben müssen. Aktive Parameter steuern den Rechenaufwand pro Token, die Gesamtzahl die Speicherrechnung (Hardware-Analyse).
Was ändert FP4 in der Praxis? Auf die Experten entfallen rund 98 Prozent der Parameter. Sie mit einem halben statt einem ganzen Byte zu speichern, halbiert den residenten Bedarf annähernd. Die Aufteilung gehört zum Checkpoint und ist keine nachträgliche Requantisierung (vLLM Recipes).
Hat DeepSeek-V4-Flash nun 284 oder 304 Milliarden Parameter? Der Technical Report nennt 284 Milliarden Parameter bei 13 Milliarden aktiven, das vLLM-Rezept bestätigt das. Höhere Werte kursierten in Sekundärbeiträgen. Der Checkpoint misst so oder so rund 167 GB auf der Platte (Technical Report).
Läuft das Modell ohne GPU? Wir haben diese Konfiguration nicht getestet, und die veröffentlichten Build-Größen sprechen gegen eine 32-GB-Maschine. Der kleinste empfohlene Build verlangt 110 GB Arbeitsspeicher, was auf Systeme mit 128 GB verweist statt auf Notebooks (Hardware-Analyse).
Quellen
- https://arxiv.org/abs/2606.19348
- https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731
- https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731/blob/main/config.json
- https://recipes.vllm.ai/deepseek-ai/DeepSeek-V4-Flash
- https://api-docs.deepseek.com/quick_start/pricing
- https://unsloth.ai/docs/models/deepseek-v4
- https://www.modemguides.com/blogs/ai-infrastructure/run-deepseek-v4-flash-locally-hardware-reality-check
- https://simonwillison.net/2026/Jul/31/deepseek-v4-flash-0731/
- https://www.marktechpost.com/2026/07/31/deepseek-upgrades-deepseek-v4-flash-0731-with-major-agentic-and-coding-gains/
- https://discuss.huggingface.co/t/deepseek-qwen/176657
- https://www.spheron.network/blog/deploy-deepseek-v4-flash-gpu-cloud
- https://willitrunai.com/blog/deepseek-v4-vram-requirements