DE
Gespräch buchen

Lokale KI · Rezept · 4× DGX Spark

MiniMax-M3.1-Flash NVFP4/MXFP8 mit vLLM auf 4× DGX Spark

MiniMax-M3.1-Flash NVFP4/MXFP8 mit vLLM auf 4× DGX Spark: 22,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von tonyd2wild

22,2tok/sAlltag

1 Anfrage, kurzer Prosa-Prompt, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
vLLM 0.1.dev23341+g8744dd2fb (vllm/vllm-openai:minimax-m31-flash-arm64-cu134)
Quantisierung
NVFP4 experts (Marlin W4A16 on GB10) + MXFP8 attention/dense, FP8 KV (official checkpoint)
Modellfamilie
MiniMax-M3.1-Flash
Kontext
300.000
Parameter
~428B MoE / 23B aktiv
Kreator
tonyd2wild
GitHub-Sterne
4
Repo-Stand
23. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)22,2 tok/sKontext 238 · Kurzer Prosa-Prompt, 1 User, DSpark k=3, temp 1.0, top_p 0.95, 256 Output-Tokens, Median pro User Quelle 
  • Spitze (Decode)33,2 tok/sKontext 27.452 · Python-Quelltext erklären (code, 32K-Slice), 1 User, DSpark k=3 Quelle 

Prefill je Kontext

  • 97.2591.474 tok/sCold (zufällige Nonce, kein Prefix-Cache), 1 User, TTFT p50 65.96 s Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben520 msKontext 238 · TTFT p50, kurzer Prompt, 1 User Quelle 

Was brauche ich

Hardware
4 × NVIDIA DGX Spark (GB10)
Gewichte
Engine
vLLM 0.1.dev23341+g8744dd2fb (vllm/vllm-openai:minimax-m31-flash-arm64-cu134)
Kontext
300.000 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • vision
  • tool-calling
  • Lizenz ungeklärt

Quellen

Verwandte Rezepte

1× DGX Spark

MiniMax-M3.1-Flash EXL3 2,15 bpw mit vLLM auf 1× DGX Spark

von vcruz305

24,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig
  • Lizenz ungeklärt

EXL3 SAGE 2.15bpw, q4-KV (nvfp4-Layout), fp8 Indexer-/Draft-KVvLLM (vllm/vllm-openai:minimax-m31-flash, Digest 86f582da) + vllm-exl3 Fork 41fdb7d + exllamav3 Fork fdd7736, DSpark k=4Gewichte Repo Stand 24. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie