Zum Inhalt springen

DE

Gespräch buchen

Lokale KI · Kreator

0xSero

30 veröffentlichte Rezepte.

Rezepte

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Text)

81,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + NVFP4 DSA-MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v22-dcpstrideGewichte Repo Stand 1. Aug. 2026

4× RTX PRO 6000

GLM-5.2 EXL3 3.0 bpw mit vLLM auf 4× RTX PRO 6000 (400k Kontext, Vision)

70,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 22

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 TR3 3.0 bpw + BF16 MoonViT/PatchMerger, FP8 MLA KVvLLM (EXL3/Trellis-Runtime) local/glm52-exl3-vision:v21Gewichte Repo Stand 1. Sept. 2026

4× DGX Spark

DeepSeek-V4.1-Flash MXFP4 mit SGLang auf 4× DGX Spark (0xSero)

59,1tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

MXFP4 experts + FP8 denseSGLangGewichte Repo Stand 26. Sept. 2026

1× Strix Halo

Qwen3.5-122B-A10B Q4_K_M mit llama.cpp auf 1× Strix Halo

28,4tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

GGUF Q4_K_M (4.86 bpw)llama.cpp b8746Gewichte Repo Stand 30. Mai 2026

8× RTX 3090Qwen3.5-397B-A17B (REAP 264B)

Qwen3.5-397B-A17B FP8 mit vLLM auf 8× RTX 3090

62tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

W4A16 + FP8 KVvLLM 0.19.0Gewichte Repo Stand 30. Mai 2026

4× RTX PRO 6000

GLM-5.1 478.4B NVFP4 mit SGLang auf 4× RTX PRO 6000

42,7tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt_fp4, group 16)SGLang 0.5.10.post1Gewichte Repo Stand 30. Mai 2026

4× RTX 3090Qwen3.5-35B-A3B (REAP 28B)

Qwen3.5-35B-A3B BF16 mit vLLM auf 4× RTX 3090

12,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

BF16 (keine Quantisierung)vLLMGewichte Repo Stand 30. Mai 2026

4× RTX PRO 6000

GLM-5.3-Flash 320B-A18B NVFP4 mit SGLang auf 4× RTX PRO 6000

208tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz42mit Denken

NVFP4 + fp8_e4m3 KVSGLangGewichte Repo Stand 17. Sept. 2026

4× RTX PRO 6000

DeepSeek-V4.1-Flash mit vLLM auf 4× RTX PRO 6000

202tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 200k Quelle

Intelligenz40mit Denken ohne Denken 25

Experimentell

native Gewichte, modell-native komprimierte KVvLLMGewichte Repo Stand 24. Sept. 2026

4× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 4× RTX 3090

137tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 23. Sept. 2026

4× DGX Spark

GLM-5.3-Flash NVFP4 mit vLLM auf 4× DGX Spark

118tok/sSpitze

1 Anfrage, JSON-Prompt Quelle

Intelligenz42mit Denken

Nicht kommerziell

NVFP4 + FP8 KV (fp8_e4m3)vLLM 0.1.dev20051+g487ecf187Gewichte Repo Stand 26. Sept. 2026

4× RTX PRO 6000

MiniMax-M3 428B-A23B MXFP4 mit vLLM auf 4× RTX PRO 6000

113tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz29mit Denken

Lizenz ungeklärt

MXFP4, BF16 KVvLLM gepatchtes vllm/vllm-openaiGewichte Repo Stand 16. Sept. 2026

2× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 2× RTX 3090

113tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 23. Sept. 2026

4× RTX PRO 6000

MiniMax-M3 428B-A23B NVFP4 mit SGLang auf 4× RTX PRO 6000

87tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz29mit Denken

Lizenz ungeklärt

NVFP4 (modelopt_fp4), BF16 KVSGLangGewichte Repo Stand 16. Sept. 2026

4× RTX PRO 6000

GLM-5.2 526B NVFP4 mit vLLM auf 4× RTX PRO 6000

77tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 131k Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 routed experts, FP8 KVvLLMGewichte Repo Stand 16. Aug. 2026

4× RTX PRO 6000

Kimi-K2.6 519B NVFP4 mit vLLM auf 4× RTX PRO 6000

71tok/sSpitze

1 Anfrage, Code-Prompt Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

NVFP4, fp8_e4m3 KVvLLMGewichte Repo Stand 4. Sept. 2026

1× Strix Halo

Qwen3.6-35B-A3B Q4_K_M mit llama.cpp auf 1× Strix Halo

70,2tok/sSpitze

1 Anfrage, synthetischer Prompt Quelle

Intelligenz18mit Denken ohne Denken 15

GGUF Q4_K_M; Variante DYNAMIC (Mixed per-tensor)llama.cppGewichte Repo Stand 30. Mai 2026

4× RTX 3090

Ornith-1.5-35B-A3B EXL3 3 bpw mit ExLlamaV3 auf 4× RTX 3090

50tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 3 bpw Experten (MCG), Rest BF16, MTP 4 bpwexllamav3 (TabbyAPI) 1.4.3 (+ Patch tp_import_split_n)Gewichte Repo Stand 26. Aug. 2026

1× RTX 3090

Qwen3.8 27B AWQ mit SGLang auf 1× RTX 3090

43,2tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 8k Quelle

Intelligenz34mit Denken ohne Denken 20

AWQ-INT4 W4A16 (Marlin), bf16 KVSGLang commit 2e7c85da6Gewichte Repo Stand 23. Sept. 2026

8× RTX 3090

GLM-4.7 218B AutoRound INT4 mit vLLM auf 8× RTX 3090

38,5tok/sSpitze

1 Anfrage, gemischtes Prompt-Set Quelle

Intelligenzkein unabhängiger Wert

W4A16 AutoRound (group 128) + FP8 KVvLLMGewichte Repo Stand 30. Mai 2026

1× DGX Spark

DeepSeek-V4-Flash EXL3 3.0 bpw mit vLLM auf 1× DGX Spark (256k Kontext)

38,1tok/sSpitze

1 Anfrage, Code-Prompt Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Experimentell
Eigener Kernel nötig

REAP-pruned + EXL3/Trellis TR3 ~3.0 bpw experts, FP8 carried tensors; KV: 584-Byte padded FP8 sparse-MLA (nvfp4_ds_mla-Pfad)vLLMGewichte Repo Stand 25. Sept. 2026

1× DGX Spark

DeepSeek-V4-Flash 180B NVFP4 mit vLLM auf 1× DGX Spark

24,4tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenzkein unabhängiger Wert

MXFP4/NVFP4-style experts, FP8 MLA KVvLLMGewichte Repo Stand 17. Sept. 2026

4× DGX Spark

GLM-5.3-Flash 320B-A18B NVFP4 mit SGLang auf 4× DGX Spark

22,7tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz42mit Denken

NVFP4 weights + FP8 E4M3 KVSGLangGewichte Repo Stand 15. Sept. 2026

1× DGX Spark

GLM-5.3-Flash 320B-A18B EXL3 2.0 bpw mit vLLM auf 1× DGX Spark

18,9tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 4k Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 K2 2.0 bpw (codebook mcg) routed experts, fp8_ds_mla KVvLLMGewichte Repo Stand 25. Sept. 2026

2× DGX Spark

GLM-5.3-Flash 320B-A18B NVFP4 mit SGLang auf 2× DGX Spark

17,5tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz42mit Denken

NVFP4 weights + FP8 E4M3 KVSGLangGewichte Repo Stand 15. Sept. 2026

8× RTX 3090

Qwen3.5 35B-A3B mit vLLM auf 8× RTX 3090

13,9tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz19mit Denken ohne Denken 15

Experimentell

vLLMGewichte Repo Stand 10. Sept. 2026

1× DGX Spark

DeepSeek-V4-Flash 180B IQ2_XXS mit DwarfStar auf 1× DGX Spark

13,6tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 2048 Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Q2-REAP-ds4 (IQ2_XXS gate/up, Q2_K down, Q8_0 shared/attn)DS4 (antirez/ds4)Gewichte Repo Stand 30. Mai 2026

1× DGX Spark

DeepSeek-V4-Flash 162B IQ2_XXS mit DwarfStar auf 1× DGX Spark

12,8tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 2048 Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Q2-REAP-ds4 (IQ2_XXS gate/up, Q2_K down, Q8_0 shared/attn)DS4 (antirez/ds4)Gewichte Repo Stand 30. Mai 2026

1× DGX Spark

GLM-5.3-Flash 320B-A18B EXL3 3.05 bpw mit SGLang auf 1× DGX Spark

10,8tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,3 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten

EXL3 mixed: 12 Layer 3.05 bpw + 33 Layer 2.05 bpw (mul1), fp8 KVSGLangGewichte Repo Stand 19. Sept. 2026

1× DGX Spark

Laguna-S-2.1 EXL3 3.25 bpw mit vLLM auf 1× DGX Spark

kein belegter Tempowert

Intelligenzkein unabhängiger Wert

Hybrid: 64 Hot-Experten NVFP4 + 192 Tail-Experten EXL3 Trellis-3 (nominal 3.25 bpw)vLLM (EXL3-Tail-Overlay)Gewichte Repo Stand 26. Juli 2026

← Zur Übersicht