DE
Gespräch buchen

Lokale KI · Rezept · 2× DGX Spark

DeepSeek-V4.1-Flash 763B EXL3 2.9 bpw mit vLLM auf 2× DGX Spark

von drowzeys

31,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis40mit Denkenohne Denken 25

≤ 3 bit: Quantisierung kann Qualität kosten

Anleitung im README Repo

Engine

Engine
vLLM
Quantisierung
EXL3 mul1 2.9 bpw (per-tensor K), fp8_ds_mla KV
Modellfamilie
DeepSeek-V4.1-Flash
Kontext
600.000
Parameter
763B MoE
Kreator
drowzeys
GitHub-Sterne
0
Repo-Stand
14. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Für dieses Rezept sind keine Messwerte mit Quelle belegt.

Was brauche ich

Hardware
2 × NVIDIA DGX Spark (GB10)
Engine
vLLM
Kontext
600.000 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • ≤ 3 bit: Quantisierung kann Qualität kostenBei 3 bit und weniger kann das Modell spürbar schlechter antworten als das Original. Die Intelligenz-Zahl gilt für das Original.
  • Fork
  • Eigener Kernel nötig

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht