Lokale KI · Kreator

sfxnz

10 veröffentlichte Rezepte.

Rezepte

2× DGX Spark
42,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle 

Intelligenz40mit Denkenohne Denken 25Wert des Originalmodells. Stark komprimiert (~2 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Experimentell
  • Eigener Kernel nötig

EXL3 2.0 bpw MCG (routed experts, tail-biting Viterbi re-encoded, scale refit), lm_head MXFP8, KV fp8 (8-GiB-Pin), DSpark-3vLLMGewichte Repo Stand 27. Sept. 2026

Details
2× DGX Spark
41,2tok/sAlltag

1 Anfrage, Prosa-Prompt (512 Tokens), mit DSpark (laut Rezept) Quelle 

Intelligenz40mit Denkenohne Denken 25Wert des Originalmodells. Stark komprimiert (~2 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 2.0 bpw MCG (routed experts, Branch 2.0bpw-mcg-viterbi-lmhead-mxfp8 @982b704), Rest FP8 (32x32-Blockscales), lm_head MXFP8, DSpark-Draft MXFP4TensorFold Fork sfxnz/TensorFold dsv41-recipe-engine5 @19f5478 (v0.6.6 + deepseek_v41-Familie), TP=2, --parallel 4Gewichte Repo Stand 10. Okt. 2026

Details
2× DGX Spark
40,5tok/sAlltag

1 Anfrage, Prosa-Prompt (L.A.I.L-Zelle), mit DSpark (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig

EXL3 MCG trellis 2.7 bpw routed experts (per-layer mixed K, HF revision 2.7bpw-mcg-hq), other tensors source dtypes, lm_head MXFP8, KV fp8vLLM (vllm/vllm-openai:deepseekv41-flash-0909 + vllm-exl3 + Engram-on-disk, custom image dsv41-flash-exl3-sm121:e16-rows), TP=2, DSpark with adaptive verify, DeepSeek-API gatewayGewichte Repo Stand 30. Okt. 2026

Details
2× DGX Spark
30tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle 

Intelligenz42mit Denken
  • Eigener Kernel nötig
  • Nicht kommerziell

Offizielles NVIDIA-ModelOpt-0.47.0-NVFP4 W4A4 (Routed Experts + Dense-MLP, Marlin) @09b04e5e; INT8 W8A16 g128 auf shared/mla/kda_o/kda_in/lm_head; fp8_e4m3 KV (4,14-GiB-Pin); DFlash2-7-Drafter in NVFP4 W4A16vLLM (Image glm53-sm121-v13, lokal gebaute Kette v8→v13 auf vllm/vllm-openai:glm53-flash-arm64-cu130), TP=2 über RoCE, DFlash2-7 mit Adaptive Verify (tau 0,3), CUDA GraphsGewichte Repo Stand 16. Okt. 2026

Details
1× DGX Spark
48tok/sGemischt

1 Anfrage, gemischtes Prompt-Set (SPEED-Bench), greedy, Thinking aus, mit LiLiCorr (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • Lizenz ungeklärt

NVFP4 experts, FP8 Mamba projections and attention, FP8 KVvLLM 0.32.0rc1 (nightly 3f1bcfd8, pinned vllm/vllm-openai@sha256:cb9bc64f…), LiLiCorr speculative decoding (dflash, 7 tokens), fastsafetensorsGewichte Repo Stand 16. Okt. 2026

Details

← Zur Übersicht