DE
Gespräch buchen

Lokale KI · Rezept · 1× DGX Spark

Qwen3.8 27B MLX 4-bit mit TensorFold auf 1× DGX Spark

Qwen3.8 27B MLX 4-bit mit TensorFold auf 1× DGX Spark: 58,3 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von MiaAI-Lab

58,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis34mit Denkenohne Denken 20

Installieren: Qwen3.8 27B MLX 4-bit mit TensorFold auf 1× DGX Spark

Befehl
git clone https://github.com/MiaAI-Lab/Qwen3.8-27B-DGX-Spark-TensorFold.git && cd Qwen3.8-27B-DGX-Spark-TensorFold && ./start.sh

Vollständige Anleitung im README Repo

Engine

Engine
TensorFold v0.6.0 (c464617) + 5 Patches, Image ghcr.io/miaai-lab/qwen3.8-27b-dgx-spark-tensorfold:v0.6.0, DFlash2-Drafts
Quantisierung
MLX affine 4-bit (g64) + FP8 KV, FP8-Prefill
Modellfamilie
Qwen3.8
Kontext
262.144
Parameter
27B dense
Kreator
MiaAI-Lab
GitHub-Sterne
24
Repo-Stand
1. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)58,3 tok/sProsa, sparkDash; TTFT 100 ms; eigener Fixed-Seed-Lauf: 48,6 Quelle 

Decode · parallele Anfragen

Summe über alle Streams ist markiert; pro Anfrage ist es entsprechend weniger.

  • 8 parallele Anfragen323 tok/sSpitze (Decode) · Code ×8 aggregiert (53,3 pro Request); Code ×1 136,9; Prosa ×8 220,6 Quelle 

Prefill je Kontext

  • 8K1.793 tok/s16k 1.785,3 / 32k 1.633,3 / 64k 1.415,9 / 128k 1.117,8 tok/s Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben100 msProsa, 1 Request Quelle 

Was brauche ich

Hardware
1 × NVIDIA DGX Spark (GB10)
Gewichte
Engine
TensorFold v0.6.0 (c464617) + 5 Patches, Image ghcr.io/miaai-lab/qwen3.8-27b-dgx-spark-tensorfold:v0.6.0, DFlash2-Drafts
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • vision

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht