Lokale KI · Rezept · 2× DGX Spark

MiMo-V2.5 310B NVFP4 mit vLLM auf 2× DGX Spark (1M Kontext, mit MTP, MiaAI-Lab)

MiMo-V2.5 310B NVFP4 mit vLLM auf 2× DGX Spark (1M Kontext, mit MTP, MiaAI-Lab): 30 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von MiaAI-Lab

30tok/sSpitze

1 Anfrage, Bestwert der Quelle

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis25mit Denken

Engine

Engine
vLLM
Quantisierung
NVFP4
Modellfamilie
MiMo-V2.5
Kontext
1.000.000
Parameter
310B MoE
Kreator
MiaAI-Lab
GitHub-Sterne
12
Repo-Stand
14. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Spitze (Decode)30 tok/sGen tok/s; E2E 31.09 Quelle 

Was brauche ich

Hardware
2 × NVIDIA DGX Spark (GB10)
Gewichte
Engine
vLLM
Kontext
1.000.000 Token

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.