EXL3 MUL1 2.77 bpw routed experts (K2/K3/K5-Mix), Rest upstream unverändert; FP8 KVvLLM-Fork (EXL3-MoE + B12X-Kernel) ghcr.io/0xsero/deepseek-v4.1-flash-spark@sha256:5668e35eGewichte Repo Stand 3. Okt. 2026

Details

1× Strix Halo

Qwen3.5-122B-A10B Q4_K_M mit llama.cpp auf 1× Strix Halo

von 0xSero

28,4tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

GGUF Q4_K_M (4.86 bpw)llama.cpp b8746Gewichte Repo Stand 30. Mai 2026

Details

8× RTX 3090Qwen3.5-397B-A17B (REAP 264B)

Qwen3.5-397B-A17B FP8 mit vLLM auf 8× RTX 3090

von 0xSero

62tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

W4A16 + FP8 KVvLLM 0.19.0Gewichte Repo Stand 30. Mai 2026

Details

4× RTX PRO 6000

GLM-5.1 478.4B NVFP4 mit SGLang auf 4× RTX PRO 6000

von 0xSero

42,7tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt_fp4, group 16)SGLang 0.5.10.post1Gewichte Repo Stand 30. Mai 2026

Details

1× RTX 3090

Qwen3.8-Flash-Next EXL3 3.05 bpw mit Strata auf 1× RTX 3090 (USB-Dock) + Mac mini M4

von 0xSero

33,8tok/sGemischt

1 Anfrage, Mittel über 29 realistische Dokument-Prompts (3,7–19,8K Token), mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.05 bpw (turboderp, Branch 3.05bpw_h5_ng5; alle 512 Experten, nichts geprunt), Dense-Teil + mmproj IQ3_S GSQ-RCO GGUF, KV k8v4; Experten verteilt auf 3090-VRAM, Mac-mini-RAM (LRU 6.400 Slots) und NVMeStrata v0.1.41 (Niko1221, fb58e0dbc839) + Patches dieses Repos (Engine strata_o37u, Config LS) unter macOS über tgcu-CUDA-Shim auf tinygrads NV-Backend (3090 per USB); kalte Experten per Metal auf dem Mac mini M4 (16 GiB)Gewichte Repo Stand 1. Nov. 2026

Details

4× RTX 3090Qwen3.5-35B-A3B (REAP 28B)

Qwen3.5-35B-A3B BF16 mit vLLM auf 4× RTX 3090

von 0xSero

12,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

BF16 (keine Quantisierung)vLLMGewichte Repo Stand 30. Mai 2026

Details

4× RTX PRO 6000

GLM-5.3-Flash 320B-A18B NVFP4 mit SGLang auf 4× RTX PRO 6000

von 0xSero

208tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz42mit Denken

NVFP4 + fp8_e4m3 KVSGLangGewichte Repo Stand 17. Sept. 2026

Details

4× RTX PRO 6000

DeepSeek-V4.1-Flash mit vLLM auf 4× RTX PRO 6000

von 0xSero

202tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 200k Quelle

Intelligenz40mit Denken ohne Denken 25

Experimentell

native Gewichte, modell-native komprimierte KVvLLMGewichte Repo Stand 17. Okt. 2026

Details

4× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 4× RTX 3090

von 0xSero

137tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 17. Okt. 2026

Details

4× DGX Spark

GLM-5.3-Flash NVFP4 mit vLLM auf 4× DGX Spark

von 0xSero

118tok/sSpitze

1 Anfrage, JSON-Prompt Quelle

Intelligenz42mit Denken

Nicht kommerziell

NVFP4 + FP8 KV (fp8_e4m3)vLLM 0.1.dev20051+g487ecf187Gewichte Repo Stand 2. Nov. 2026

Details

4× RTX PRO 6000

MiniMax-M3 428B-A23B MXFP4 mit vLLM auf 4× RTX PRO 6000

von 0xSero

113tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz29mit Denken

Lizenz ungeklärt

MXFP4, BF16 KVvLLM gepatchtes vllm/vllm-openaiGewichte Repo Stand 16. Sept. 2026

Details

2× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 2× RTX 3090

von 0xSero

113tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 17. Okt. 2026

Details

4× RTX PRO 6000

MiniMax-M3 428B-A23B NVFP4 mit SGLang auf 4× RTX PRO 6000

von 0xSero

87tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz29mit Denken

Lizenz ungeklärt

NVFP4 (modelopt_fp4), BF16 KVSGLangGewichte Repo Stand 16. Sept. 2026

Details

4× RTX PRO 6000

GLM-5.2 526B NVFP4 mit vLLM auf 4× RTX PRO 6000

von 0xSero

77tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 131k Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 routed experts, FP8 KVvLLMGewichte Repo Stand 16. Aug. 2026

Details

4× RTX PRO 6000

Kimi-K2.6 519B NVFP4 mit vLLM auf 4× RTX PRO 6000

von 0xSero

71tok/sSpitze

1 Anfrage, Code-Prompt Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

NVFP4, fp8_e4m3 KVvLLMGewichte Repo Stand 4. Sept. 2026

Details

1× Strix Halo

Qwen3.6-35B-A3B Q4_K_M mit llama.cpp auf 1× Strix Halo

von 0xSero

70,2tok/sSpitze

1 Anfrage, synthetischer Prompt Quelle

Intelligenz18mit Denken ohne Denken 15

GGUF Q4_K_M; Variante DYNAMIC (Mixed per-tensor)llama.cppGewichte Repo Stand 30. Mai 2026

Details

4× RTX 3090

Ornith-1.5-35B-A3B EXL3 3 bpw mit ExLlamaV3 auf 4× RTX 3090

von 0xSero

50tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 3 bpw Experten (MCG), Rest BF16, MTP 4 bpwexllamav3 (TabbyAPI) 1.4.3 (+ Patch tp_import_split_n)Gewichte Repo Stand 26. Aug. 2026

Details

1× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 1× RTX 3090

von 0xSero

43,2tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 17. Okt. 2026

Details

8× RTX 3090

GLM-4.7 218B AutoRound INT4 mit vLLM auf 8× RTX 3090

von 0xSero

38,5tok/sSpitze

1 Anfrage, gemischtes Prompt-Set Quelle

Intelligenzkein unabhängiger Wert

W4A16 AutoRound (group 128) + FP8 KVvLLMGewichte Repo Stand 30. Mai 2026

Details

1× DGX Spark

DeepSeek-V4-Flash EXL3 3.0 bpw mit vLLM auf 1× DGX Spark (256k Kontext)

von 0xSero

38,1tok/sSpitze

1 Anfrage, Code-Prompt Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Experimentell
Eigener Kernel nötig

REAP-pruned + EXL3/Trellis TR3 ~3.0 bpw experts, FP8 carried tensors; KV: 584-Byte padded FP8 sparse-MLA (nvfp4_ds_mla-Pfad)vLLMGewichte Repo Stand 25. Sept. 2026

Details

1× DGX Spark