--- type: "BlogPosting" title: "Ein Billionen-Parameter-Modell im Eigenbetrieb: was Mistral Large 4 am 4×-DGX-Spark-Clustern bedeutet" description: "Mistral Large 4: 1,05 Billionen Parameter, 52 Mrd. aktiv pro Token. Wir haben den 4×-DGX-Spark-Cluster gemessen — 23,0 tok/s, 42,2 im Aggregat, 0,553 €/1M Output-Tokens." resource: "https://www.contextstudios.ai/de/blog/mistral-large-4-offene-frontier-modelle-im-eigenen-dgx-spark-cluster" language: "de" tags: ["LLM", "Open Weights", "Self-Hosting", "DGX Spark", "Kosten"] generated: by: "process:contextstudios-md/1" at: "2026-10-22T22:49:09.706Z" status: "stable" --- # Ein Billionen-Parameter-Modell im Eigenbetrieb: was Mistral Large 4 am 4×-DGX-Spark-Clustern bedeutet Published: 2026-10-20 Tags: LLM, Open Weights, Self-Hosting, DGX Spark, Kosten ![Ein Billionen-Parameter-Modell im Eigenbetrieb: was Mistral Large 4 am 4×-DGX-Spark-Clustern bedeutet](https://wary-platypus-754.convex.cloud/api/storage/7ab69010-eddd-4b54-ab92-13c98c673ab7) tg-mistral-large-4-dgx-spark-cluster # Ein Billionen-Parameter-Modell im Eigenbetrieb: was Mistral Large 4 am 4×-DGX-Spark-Clustern bedeutet **Kurzantwort vorweg:** Mistral Large 4 ist mit 1,05 Billionen Parametern und nur 52 aktiven Milliarden pro Token das bislang größte offen angekündigte Modell — und die Frage, ob so etwas im Eigenbetrieb läuft, haben wir an unserem 4×-DGX-Spark-Cluster mit dem größten verfügbaren Referenzmodell beantwortet: 23,0 Tokens pro Sekunde im Einzelstrom, 42,2 beim 8-Stream-Aggregat, 0,553 € Stromkosten pro Million Output-Tokens. Die offenen Gewichte erscheinen laut Hugging Face am 31. Oktober 2026; die Lizenz steht noch nicht fest. Am 6. Oktober 2026 hat Mistral die Public Preview von Mistral Large 4 gestartet — intern wird das Modell „le Chonk" genannt. Es ist das größte Modell des Hauses: 1,05 Billionen Parameter in einer feingranularen Mixture-of-Experts-Architektur, davon 52 Milliarden aktiv pro Token (49 Milliarden reine Aktivierung, drei Milliarden Embedding- und Output-Schichten), plus ein 1,6-Milliarden-Parameter-Vision-Encoder für Bilder und Dokumente. Der Kontext beträgt 1 Million Tokens. Trainiert wurde es laut Mistral auf 3.800 NVIDIA-Grace-Blackwell-GPUs in eigenen europäischen Rechenzentren. Die Nachricht ist aber nur die halbe Geschichte. Die spannende Frage für alle, die über eine eigene Hardware nachdenken: Was bedeutet ein Modell dieser Klasse für den Eigenbetrieb — und was kostet eine lokal generierte Million Tokens real? Wir haben unseren 4×-DGX-Spark-Cluster gemessen und die Rechnung gegen die API-Preise gestellt. ## Die Fakten zu Mistral Large 4 im Überblick | Merkmal | Wert | |---|---| | Gesamt-Parameter | 1,05 Billionen (1T) | | Aktiv pro Token | 52 Mrd. inkl. Embeddings/Output; 49 Mrd. reine Aktivierung | | Modalitäten | Text und Bild (1,6B Vision-Encoder) | | Kontextfenster | 1 Million Tokens | | Status | Public Preview (API); Open weights laut Hugging Face am 31.10.2026 | | Lizenz der Gewichte | noch nicht angekündigt | | API-Preis (Preview, aktioniert) | 0,68 $/1M Input · 2,09 $/1M Output · 0,07 $/1M gecacht (Liste: 1,36/4,18/0,14) | Wichtig zur Einordnung: Die Open-Weights-Zusage ist eine Ankündigung, kein Fakt. Auf Hugging Face liegt das Modell als „Upcoming release" mit dem ETA 31. Oktober 2026; welche Lizenz gelten wird, hat Mistral zum Redaktionsschluss nicht genannt. Alle Aussagen zum Modell selbst stammen aus der offiziellen Produktseite und der API-Dokumentation; FremdBenchmarks geben wir, wo wir sie erwähnen, als berichtet wieder. ## Warum die 1T-Klasse fürs Self-Hosting anders ist als alles Bisherige Die Flash-Generation des Herbstes — GLM-5.3-Flash, DeepSeek V4.1 Flash, Qwen3.8-Flash-Next — läuft deshalb auf Consumer-Hardware, weil sie pro Token nur 6 bis 18 Milliarden Parameter aktiviert. Mistral Large 4 aktiviert mit 52 Milliarden rund das Dreifache davon. Das heißt konkret: - **Der Speicher ist nicht das Problem, das Tempo schon.** Ein 4-Bit-Quant der 1,05T-Gewichte braucht grob 525 GiB plus KV-Cache — auf vier Sparks mit zusammen 512 GB unified Memory plus System-RAM machbar, auf einem Einzelgerät der 128-GB-Klasse nicht. - **Die Bandbreite entscheidet.** Bei 52 Mrd. aktiven Parametern in 4 Bit müssen pro Token rund 26 GB gelesen werden. Selbst mit 4×273 GB/s im Verbund bleibt das ein anderer Betrieb als bei den 6B-Aktivierung der Flash-Klasse — die gemessenen 23 tok/s gegen 50+ bei Flash-Next machen das handfest. - **Batching ist der Hebel.** Der Einzelstrom-Wert klingt bescheiden; das Aggregat über parallele Streams ist die Zahl, die für Team- und Agent-Betrieb zählt. Genau diese drei Punkte haben wir nicht theoretisiert, sondern gemessen — an dem größten Modell, das auf unserer Hardware bereits stabil läuft: Qwen3.8-Flash-Next. ## Unsere Messung *Eigener Lauf, 20. Oktober 2026, 10:30 Uhr MESZ. Endpunkt: http://127.0.0.1:8212 (vLLM, OpenAI-kompatibel), Modell qwen3.8-flash-next-nvfp4. Der Endpunkt bedient parallel unsere Produktions-Pipelines; die Werte sind Betriebs-, keine Labormessung.* | Metrik | Wert | |---|---| | Decode, 1 Stream (Median) | **23,0 tok/s** | | Time-to-first-token (Median) | 0,389 s | | Aggregat bei 8 parallelen Streams | **42,2 tok/s** | | Max. Output-Tokens je Anfrage | 256 | Zwei Dinge fallen auf. Erstens: Die TTFT von 0,389 Sekunden zeigt, dass das Prefill auf dem GB10-Chip stark ist — die Antwort beginnt flüssig, auch wenn der Stream dann moderat läuft. Zweitens: Der Sprung von 23,0 auf 42,2 tok/s beim 8-Stream-Aggregat bestätigt die alte Regel, dass diese Klasse von Hardware im Batching lebt. Für einen einzelnen Nutzer, der auf die Tastatur schaut, zählt die 23; für einen Agent-Server, der acht Jobs parallel abarbeitet, zählt die 42,2. ## Die Kostenrechnung: 0,553 € pro Million Tokens — und was sie aussagt Unsere Obergrenze für die Energiekosten: Bei angenommener Nennleistung von 240 W (Netzteil-Spec, nicht gemessen) und angenommenem Gewerbestrompreis von 0,35 €/kWh kostet die erbrachte Leistung **0,553 € pro Million Output-Tokens** — gerechnet mit dem 8-Stream-Aggregat von 42,2 tok/s, ohne Abschreibung der Hardware. Dazu die Gegenrechnung mit den Preisen, die uns der eigene Kostenmonitor ausweist: | Posten | Wert | |---|---| | Lokal, nur Strom (Obergrenze) | 0,553 €/1M Output | | Mistral Large 4, API Output (Preview-Preis) | 2,09 $/1M | | Qwen3.8-Flash, API Output | 0,382 $/1M | | Unsere API-Ausgaben, Spitze | 268,59 $/Tag (11.08.2026) | | Unsere API-Ausgaben, Ø letzte 30 Tage | 0,43 $/Tag | Die ehrliche Lesung: Gegen die günstigsten Flash-APIs verliert die lokale Rechnung rein tokenweise — gegen Mistral Large 4s Output-Preis von 2,09 $ gewinnt sie dagegen deutlich, und zwar um den Faktor ~3,8 (2,09 $ ≈ 1,92 € bei 0,92 $/€; unsere 0,553 €). Die Rechnung dreht sich zusätzlich, sobald Datenschutz das Haus nicht verlassen darf, hohe Concurrency gefragt ist oder die Ausgaben in Spitzenmonaten wie unseren 268,59 $/Tag relevant werden. Kosten allein waren nie das Hauptargument für eigenen Strom — Kontrolle ist es. ## Der Routing-Faktor: warum die Gateway-Ebene mitentscheidet Ein zweiter Kostenhebel liegt außerhalb des Modells: die Routing-Ebene. Der Gateway-Markt ist 2026 von 4,5 auf über 100 Billionen geroutete Tokens pro Woche gewachsen, und die Standard-Routings bevorzugen nachweislich die billigsten Endpunkte — mit dem Effekt, dass Anbieter Kontextfenster und Output-Caps still kappen. Für die eigene Kalkulation heißt das: Der Preis pro Million auf dem Papier und die tatsächlich gelieferte Qualität pro Million sind zwei Paar Schuhe, und die Differenz entsteht im Router, nicht im Modell. Für den Eigenbetrieb verschiebt das die Rechnung ein weiteres Mal: Wer lokal serviert, umgeht Routing-Disziplin, Provider-Caps und Preis-Volatilität komplett. Das ist der Punkt, an dem „teurer pro Token" und „verlässlicher pro Job" dasselbe sagen. ## Was wir konkret tun würden - **Bis 31. Oktober abwarten.** Erst die offenen Gewichte mit Lizenz zeigen, ob ein Eigenbetrieb rechtlich und technisch sinnvoll ist. Vorher ist alles Preview-Kalkulation. - **4×-Cluster als Zielgröße ansehen.** Die 128-GB-Einzelmaschine reicht für die 1T-Klasse nicht; vier Sparks mit 512 GB plus RAM-Offload sind die realistische Untergrenze für komfortable Quants. - **Auf die Aktivierung schauen, nicht auf die Nullen. 52 Mrd. aktiv sind der Grund für das Tempo — wer 6B-Aktivierung gewohnt ist, muss die Erwartung kalibrieren: die Hälfte der Flash-Geschwindigkeit, gegen die 1T-API aber klar im Vorteil bei den Token-Kosten. - **Batching einplanen.** 42,2 tok/s Aggregat statt 23,0 Einzelstrom: Der Mehrwert dieses Clusters entsteht im parallelen Betrieb, nicht am Einzelplatz. ## Häufige Fragen **Läuft Mistral Large 4 auf einem einzelnen DGX Spark?** Nein, nicht sinnvoll. Die 1,05 Billionen Parameter übersteigen in jeder praktischen Quantisierung die 128 GB eines Einzelgeräts; selbst aggressiven 2-Bit-Stufen bleibt neben den Gewichten kaum Raum für KV-Cache und Betriebssystem. Eine einzelne Spark kann die Gewichte nur mit schweren Kompromissen und SSD-Streaming halten, was die Geschwindigkeit weiter drückt. Die realistische Untergrenze für die 1T-Klasse ist ein 4×-Verbund mit 512 GB verteiltem Memory plus System-RAM für die Restmengen. **Wie schnell ist unser Cluster im Vergleich zur Flash-Klasse?** Unser qwen3.8-flash-next-nvfp4-Referenzlauf lief am 20. Oktober 2026 mit 23,0 tok/s im Einzelstrom und 42,2 tok/s als 8-Stream-Aggregat — bei einer TTFT von 0,389 Sekunden. Die Flash-Klasse mit 6B aktivierter Parameter erreicht auf derselben Hardware deutlich höhere Einzelstrom-Werte; der Preis dafür ist der kleinere Fähigkeitsumfang. Mistral Large 4 mit 52 Mrd. aktiven Parametern wird im Einzelstrom unter diesem Referenzwert liegen; das Aggregat über Streams bleibt der Hebel. **Was kostet eine Million Output-Tokens lokal?** Nach unserer Obergrenzen-Rechnung 0,553 € — 240 W angenommene Nennleistung mal 0,35 €/kWh angenommener Gewerbestrom, geteilt durch die erbrachten 42,2 tok/s. Beide Annahmen sind dokumentiert und in unserer Config änderbar; die reale Abnahme liegt darunter, solange die Maschinen nicht durchgehend Volllast ziehen. Nicht enthalten sind Abschreibung und Netzwerk. Gegen die 2,09 $ Output-Preis der Mistral-API ist das ein Faktor von fast vier; gegen die billigsten Flash-APIs spricht die Rechnung dagegen für die Cloud. **Lohnt sich der Eigenbetrieb für die 1T-Klasse überhaupt?** Nicht für das reine Token-Argument — doch für drei konkrete Fälle. Erstens, wenn Datenschutz die Cloud-Rundreise ausschließt und die Daten im Haus bleiben müssen. Zweitens, wenn Agent-Farmen dauerhaft hohe Concurrency fahren und die API-Spitzenrechnung relevant wird; unsere eigene Spitze lag bei 268,59 $ an einem einzigen Tag. Drittens, wenn Unabhängigkeit von Routing-Entscheidungen und Provider-Caps gewünscht ist. Wer nur gelegentlich chatet, fährt mit einer Flash-API günstiger. **Wann und unter welcher Lizenz erscheinen die Gewichte?** Laut der Hugging-Face-Vormerkung am 31. Oktober 2026; die exakte Lizenz hat Mistral zum Redaktionsschluss nicht genannt. Bis dahin ist das Modell nur über die kostenpflichtige Preview-API nutzbar, mit aktionierten 0,68 $ Input und 2,09 $ Output pro Million Tokens. Vor einem Eigenbetrieb-Entscheid sollten Lizenz und kommerzielle Nutzung geprüft werden; wir aktualisieren die Rechnung, sobald die Gewichte und ihre Bedingungen feststehen. **Was ist über die Qualität bekannt?** Aus der Produktseite: Mistral positioniert Large 4 als state-of-the-art unter den offenen Modellen und führt eigene Blind-Vergleichsläufe mit professionellen Bewertern an; die Details dazu haben wir nicht unabhängig geprüft und geben sie als berichtet wieder. Für den Eigenbetriebs-Entscheid ist die Qualitätsfrage zweitrangig gegenüber Lizenz, Speicherbedarf und dem eigenen Workload-Profil. Unsere Empfehlung: Nach dem 31. Oktober die Community-Benchmarks gegen die konkrete Anwendung testen, bevor Hardware bestellt wird. ## Quellen - Mistral — Introducing Mistral Large 4 (06.10.2026): https://mistral.ai/news/mistral-large-4 - Mistral Docs — Mistral Large 4, Specs und API-Preise: https://docs.mistral.ai/models/mistral-large-4 - Hugging Face — mistralai/Mistral-Large-4-1T-A52B, Upcoming release, ETA 31.10.2026: https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B - Eigener Benchmark-Lauf, 4×-DGX-Spark-Cluster (vLLM, qwen3.8-flash-next-nvfp4), 20.10.2026 10:30 MESZ: http://127.0.0.1:8212 - Eigener Kostenmonitor (cost-throttle), API-Ausgaben Spitze 268,59 $/Tag am 11.08.2026, Ø 0,43 $/Tag letzte 30 Tage - daily-intel Run #196 (06.10.2026): Mistral Large 4, Score 8.0; OpenRouter-Wachstum 4,5→146 Bio. Tokens/Woche; HN 13:15 UTC ## Related - [LLM-Entwicklung](https://www.contextstudios.ai/de/llm-entwicklung.md) - [LLM-Integration](https://www.contextstudios.ai/de/llm-integration.md) - [KI-Entwicklung](https://www.contextstudios.ai/de/ki-entwicklung.md) - [GEO-Optimierung: sichtbar in KI-Antworten](https://www.contextstudios.ai/de/geo-optimierung.md)