Lokale KI · Kreator

vcruz305

25 veröffentlichte Rezepte.

Rezepte

1× DGX Spark

MiniCPM-V 4.7 35B-A3B EXL3 3.74 bpw mit ExLlamaV3 auf 1× DGX Spark

von vcruz305

60,3tok/sAlltag

1 Anfrage, Prosa-Prompt (Essay), Kontext 2k, ohne Drafter (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

EXL3 SAGE 3.74bpw (Kopf/Vision 8-bit), FP16-KV (8K) bzw. Q4-KV (262K)ExLlamaV3 Fork vcruz305 (master, gemessen dc778646 / 475461e9) + TabbyAPI Fork vcruz305Gewichte Repo Stand 14. Okt. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next EXL3 3.05 bpw mit ExLlamaV3 auf 1× DGX Spark

von vcruz305

53,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.05bpw (turboderp-Pack, h5, ngram5), 8-bit KV (K8/V8), n-gram im RAMExLlamaV3 Fork 24f0dece3 (≥1.6.0.post1, upstream 1.6.0) + TabbyAPI Fork 5a4f3efGewichte Repo Stand 14. Okt. 2026

Details

4× DGX Spark

GLM-5.3 EXL3 3.38 bpw mit TensorFold auf 4× DGX Spark

von vcruz305

35,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2, Thinking an (laut Rezept) Quelle

Intelligenz45mit Denken

Eigener Kernel nötig
Nicht kommerziell

EXL3 SAGE MixedK 3.38 bpw (319 GB; serviert mit BF16-lm_head), bf16 KV, Draft DFlash2 d7/c0.60TensorFold Fork vcruz305/TensorFold glm53-tp4-spark @757a851 (PR #159, TP=4) + b12x RoCE (b58f34e)Gewichte Repo Stand 5. Okt. 2026

Details

4× DGX Spark

DeepSeek-V4.1-Flash 552B EXL3 4.75 bpw mit vLLM auf 4× DGX Spark

von vcruz305

30,2tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

Eigener Kernel nötig

EXL3 SAGE mixed-K 4.75bpw, Engram disk-backed FP8vLLMGewichte Repo Stand 25. Sept. 2026

Details

1× DGX Spark

MiniMax-M3.1-Flash EXL3 2,15 bpw mit vLLM auf 1× DGX Spark

von vcruz305

24,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Lizenz ungeklärt

EXL3 SAGE 2.15bpw, q4-KV (nvfp4-Layout), fp8 Indexer-/Draft-KVvLLM (vllm/vllm-openai:minimax-m31-flash, Digest 86f582da) + vllm-exl3 Fork 41fdb7d + exllamav3 Fork fdd7736, DSpark k=4Gewichte Repo Stand 24. Okt. 2026

Details

1× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 1,62 bpw mit vLLM auf 1× DGX Spark

von vcruz305

~20,1tok/sAlltagungefähr · Methodik nicht angegeben

1 Anfrage, Chat-Prompt (1200-Token-Antworten), Sampling 0,6/0,95, mit DSpark (laut Rezept), Bereich 17,7–22,5 tok/s Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 SAGE MixedK 1.62bpw (routed K1–K4), FP8 block-32 sonst, EXL3-K8-Head, Engram von NVMe, Cold-Expert-Alias-DateivLLM (spark-ds41f r6w, Basis-Image dsv41-1017-ds41f:r6w) + vllm-exl3 Fork 30e8b94 + exllamav3 Fork 909ad85 (tile-K 16, W2) + Shim, DSpark k=5Gewichte Repo Stand 28. Okt. 2026

Details

1× DGX Spark

GLM-5.3-Flash Q2_K mit llama.cpp auf 1× DGX Spark

von vcruz305

17,6tok/sAlltag

1 Anfrage, realistischer Prompt, Kontext 2k, mit DFlash2 (laut Rezept) Quelle

Intelligenz42mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Nicht kommerziell

GGUF Q2_K (2.91 BPW) + Draft Q4_K_M/BF16, q8 KVllama.cpp Fork 6f5ac9a + 4a06ec6Gewichte Repo Stand 13. Sept. 2026

Details

3× DGX Spark

Kimi-K3 UD-IQ1_S mit SparkInfer auf 3× DGX Spark

von vcruz305

6,59tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenz44mit DenkenWert des Originalmodells. Stark komprimiert (~0,95 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Experimentell
Sehr starke Quantisierung
Lizenz ungeklärt

GGUF UD-IQ1_S (330 GB)SparkInfer sparkinfer-k3 + Patches 0001–0026Gewichte Repo Stand 13. Sept. 2026

Details

1× DGX Spark

Nemotron-3.5-Lightning-30B-A3B IQ4_NL mit llama.cpp auf 1× DGX Spark

von vcruz305

113tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz13mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Lizenz ungeklärt

GGUF Q4_0 (empfohlen); IQ4_NL, MXFP4_MOE, Q5_0, Q8_0, Mixed Q2_0/Q4_0llama.cpp b1-70dfba5Gewichte Repo Stand 11. Aug. 2026

Details

1× Strix Halo

Qwen3.8-Flash-Next EXL3 3.05 bpw mit ExLlamaV3 auf 1× Strix Halo

von vcruz305

41,3tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit ndt=3 Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.05bpw (turboderp), Q4 KVExLlamaV3 (HIP/ROCm)Gewichte Repo Stand 18. Sept. 2026

Details

1× DGX Spark

DeepSeek-V4.1-Flash EXL3 1.59 bpw mit ExLlamaV3 auf 1× DGX Spark

von vcruz305

17,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DSpark Quelle

Intelligenz40mit Denken ohne Denken 25Wert des Originalmodells. Stark komprimiert (~1,6 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Sehr starke Quantisierung
Eigener Kernel nötig

EXL3 SAGE 1.59bpwExLlamaV3 Fork + EXL3-Attention/MTP-OverlayGewichte Repo Stand 25. Sept. 2026

Details

1× DGX Spark

GLM-5.3-Flash 320B-A18B EXL3 mit vLLM auf 1× DGX Spark

von vcruz305

17,3tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 64k, mit MTP Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,4 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 K2 (2-bit MCG, nur routed Experten), FP8 KVvLLMGewichte Repo Stand 22. Sept. 2026

Details

1× DGX Spark

GLM-5.3-Flash EXL3 mit vLLM auf 1× DGX Spark

von vcruz305

17,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 64k, mit MTP (laut Rezept) Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,1 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 K2 + 6 Layer K3 (2.14 bpw routed)vLLM vllm-exl3 >= 0.3.1Gewichte Repo Stand 13. Sept. 2026

Details

1× RTX PRO 6000

MiMo-V2.6-Flash EXL3 2.20 bpw mit ExLlamaV3 auf 1× RTX PRO 6000

von vcruz305

184tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 64k Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 2.20bpw (86.94 GB)ExLlamaV3 (native /v1 server) v1.5.1.post1 (Fork)Gewichte Repo Stand 27. Sept. 2026

Details

1× DGX Spark

Nemotron 3.5 Bolt 74B-A9B IQ2 mit vLLM auf 1× DGX Spark

von vcruz305

87,8tok/sSpitze

1 Anfrage, synthetischer Prompt, mit LiLiCorr/DFlash (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Lizenz ungeklärt

ModelOpt IQ2 gemischt (IQ2_XXS + ausgewählte Q8_0/NVFP4/unquantisierte Tensoren, 24 GB), FP8-KV; Draft LiLiCorr NVFP4 (DFlash, 7 Tokens)vLLM 0.32.0rc1.dev100+g77154ca61 (Wheel-Commit 77154ca6) + b12x 1.5.1, FlashInfer-AttentionGewichte Repo Stand 16. Okt. 2026

Details

1× DGX Spark

Qwen3.8 27B NVFP4 mit vLLM auf 1× DGX Spark (256k Kontext)

von vcruz305

75,6tok/sSpitze

1 Anfrage, repetitiver Prompt, Kontext 256k Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

NVFP4 (unsloth)vLLM 0.1.dev1+g75231eff2 (Host-Build)Gewichte Repo Stand 17. Aug. 2026

Details

1× DGX Spark

Ornith-1.5 35B NVFP4 mit SGLang auf 1× DGX Spark

von vcruz305

74,9tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

NVFP4 (ModelOpt, 21.4 GB)SGLang / vLLM SGLang 0.5.18.dev760 / vLLM g75231eff2Gewichte Repo Stand 27. Aug. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next NVFP4 mit vLLM (b12x) auf 1× DGX Spark

von vcruz305

68,1tok/sSpitze

1 Anfrage, synthetische Speed-Suite (p50), mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4+csf (NVIDIA FP4-Local, QAD), FP8 KV, PLE-n-gram-Tabelle von NVMevLLM im Container eugr/spark-vllm-b12x (Digest sha256:03a95654), MTP k=4Gewichte Repo Stand 17. Okt. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next EXL3 3.05 bpw mit vLLM auf 1× DGX Spark

von vcruz305

52,2tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 3k Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.05bpw (Pack wird in-place umgeschrieben)vLLM 0.29.0Gewichte Repo Stand 14. Okt. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next EXL3 3.05 bpw mit SGLang auf 1× DGX Spark

von vcruz305

35tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 4k Quelle

Intelligenz40mit Denken

Experimentell
Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.05bpw (turboderp)SGLang Pin 4ccff141d + OverlaysGewichte Repo Stand 17. Sept. 2026

Details

1× DGX Spark

Ornith-1.5-122B EXL3 2,58 bpw mit vLLM auf 1× DGX Spark

von vcruz305

30,5tok/sSpitze

Bestwert der Quelle, 1 Anfrage, Prompt-Typ nicht genannt, greedy, 512 Token, Standard-serve.sh ohne MTP Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 SAGE 2.58bpw (MixedK, mul1-Codebook, lm_head K=8), BF16 KVvLLM 0.32.0 + vllm-exl3 Fork 3275819 (-DP2B_CB=2), VLLM_EXL3_COOP=1 + COALESCE_SHARDS=1, BF16-SSMGewichte Repo Stand 22. Okt. 2026

Details

1× RTX PRO 6000K2-Horizon (IFM)