DE
Gespräch buchen

Lokale KI · Rezept · 1× DGX Spark

Qwen3.8-27B NVFP4 mit TandemLLM auf 1× DGX Spark

Qwen3.8-27B NVFP4 mit TandemLLM auf 1× DGX Spark: 49,9 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

von 0xBakeer

49,9tok/sGemischt

1 Anfrage, Benchmark-Prompt-Set, mit DFlash2-Drafter + StairCut (laut Rezept)

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysis34mit Denkenohne Denken 20

Installieren: Qwen3.8-27B NVFP4 mit TandemLLM auf 1× DGX Spark

Befehl
curl -fsSL https://raw.githubusercontent.com/0xBakeer/TandemLLM/main/install.sh | bash

Vollständige Anleitung im README Repo

Engine

Engine
TandemLLM v0.3.0 (eigene PyTorch/Triton/CUDA-Engine, StairCut)
Quantisierung
NVFP4 (GPTQ) alle Projektionen + FP8-Head (über Qwen FP8-Checkpoint)
Modellfamilie
Qwen3.8-27B
Kontext
262.144
Parameter
27B dense
Kreator
0xBakeer
GitHub-Sterne
30
Repo-Stand
4. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Gemischt (Decode)49,9 tok/sKontext 256 in / 256 out · Serve-single-i256-o256-v1, Mittel über 50 Requests, thinking off, temp 0, Lookup-Store aus; Paper-Messung (v0.2.0-staircut); plain greedy 13.69 Quelle 
  • Spitze (Decode)90,5 tok/sKontext 32K · Teacher-forced Bench, 25 Workloads (fresh text, edits, quotations, copies), StairCut-Mittel Quelle 

Was brauche ich

Hardware
1 × NVIDIA DGX Spark (GB10)
Engine
TandemLLM v0.3.0 (eigene PyTorch/Triton/CUDA-Engine, StairCut)
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Eigener Kernel nötig
  • tool-calling
  • vision

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht