DE
Gespräch buchen

Lokale KI · Rezept · 4× RTX 3090

Qwen3.8-Flash-Next 122B AWQ mit vLLM auf 4× RTX 3090

von alesha-pro

Für dieses Rezept ist kein Tempowert belegt. Die Seite ist deshalb nicht indexiert.

Intelligenz (Originalmodell) · Artificial Analysis40mit Denken
Anleitung im README Repo

Engine

Engine
vLLM
Quantisierung
AWQ INT4 (cyankiwi, lokal abgeleitet) + externes FP8-PLE (RadixArk) + kalibrierter FP8-E4M3-QSA-KV
Modellfamilie
Qwen3.8-Flash-Next
Kontext
262.144
Parameter
122B total / 51B active (laut README)
Kreator
alesha-pro
GitHub-Sterne
15
Repo-Stand
30. Aug. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben1.754 msKontext 32K · Warm TTFT v1 (Prefix-Cache) bei 32,768 Input-Tokens (README: 1.754 s) – Replay, nicht als Prefill-Hauptwert verwenden; Quelle: „1.754 s“ (s→ms umgerechnet, nicht gerundet) Quelle 

Was brauche ich

Hardware
4 × NVIDIA RTX 3090
Engine
vLLM
Kontext
262.144 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • Experimentell
  • Eigener Kernel nötig
  • Lizenz ungeklärt

Quellen

Verwandte Rezepte

2× DGX Spark

Qwen3.8-Flash-Next 125B INT4-AutoRound mit TensorFold auf 2× DGX Spark (1M Kontext)

von MiaAI-Lab

89,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig
  • Lizenz ungeklärt

INT4-AutoRound (GPTQ int4, Top-5-Experten) + FP8 n-gram-Tabelle, FP8 KVTensorFold tensorfold-native (Zig, zig-flashnext db281878 + patches), Image ghcr.io/miaai-lab/qwen3.8-flash-dual-dgx-sparks-tensorfold:zig-db28187-f3e1300f4f62, TP=2 über CX7/RoCE, MTP + Copy-Drafts (QUANT=int4ar)Gewichte Repo Stand 26. Okt. 2026

Details
2× DGX Spark

Qwen3.8-Flash-Next INT4-AutoRound (v5.2) mit vLLM auf 2× DGX Spark

von myllmbox

74tok/sAlltag

1 Anfrage, Prosa-Prompt (lange Story), Thinking off, mit MTP Quelle 

Intelligenz40mit Denken
  • Eigener Kernel nötig
  • Lizenz ungeklärt

INT4-AutoRound (azampatti): int4-Experten, fp8-Seitenschichten; n-gram-Tabelle beim Laden fp8 → NVFP4, halb pro Box auf der GPU; KV-Pin 29G/Box (1.829.182 Tokens)vLLM 0.30 (Image myllmbox/qwen38-flash-next-cluster-vllm:v5.2; RecoverSSM, dynamischer Draft-Depth 3–7 in Full-CUDA-Graphs, sampled Drafts + Block-Verifikation, One-Shot-RoCE-All-Reduce, Dual-Rail, TP=2, 64 Seats) — Kit v5.2Gewichte Repo Stand 29. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie