Lokale KI · Kreator

Weschera

24 veröffentlichte Rezepte.

Rezepte

1× Mac

Qwen3.8-27B mit MLX auf 1× Mac

von Weschera

53,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (nativ) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

oQ4e (4-bit affine g64, 166 sens. Tensoren 5-bit; Stock-Qwen3.8-27B-Konversion)oMLX 0.6.3rc2Gewichte Repo Stand 21. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit vLLM auf 1× DGX Spark (Weschera)

von Weschera

45tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (unsloth; compressed-tensors) + fp8 KV + triton_attn (fp8-KV auf GB10 nur mit triton, FA kann kein fp8-KV auf sm_121)vLLMGewichte Repo Stand 15. Aug. 2026

Details

2× DGX Spark

Qwen3.8-Flash-Next NVFP4 mit vLLM auf 2× DGX Spark (Weschera)

von Weschera

33tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 (ModelOpt MIXED_PRECISION: NVFP4 Experts, FP8 dense/PLE/MTP); BF16 KV (Pflicht — QSA lehnt fp8-KV ab)vLLMGewichte Repo Stand 5. Sept. 2026

Details

1× Mac

DeepSeek-V4-Flash 284B IQ2_XXS mit DwarfStar auf 1× Mac (Vision)

von Weschera

28,5tok/sAlltag

1 Anfrage, Prosa-Prompt, Kontext 32k, mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

IQ2_XXS imatrix q2 (antirez), w2Q2K/AProjQ8/SExpQ8/OutQ8; GGUF 86,720,111,776 bytesds4 (DwarfStar)Gewichte Repo Stand 2. Sept. 2026

Details

2× DGX Spark

Ling-3.0-flash-VL FP8 mit SGLang auf 2× DGX Spark

von Weschera

26tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

FP8 (official inclusionAI FP8-Checkpoint; ~118 GiB)SGLangGewichte Repo Stand 9. Sept. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next 125B UD-Q4_K_XL mit llama.cpp auf 1× DGX Spark

von Weschera

24,2tok/sAlltag

1 Anfrage, Prosa-Prompt, mit Draft Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

Unsloth UD-Q4_K_XL GGUF (103,7 GiB, 4 Shards; PLE ≥4-bit) + MTP-Draft shared-Q8_0 (2,6 GiB)llama.cppGewichte Repo Stand 2. Sept. 2026

Details

2× DGX Spark

GLM-5.3-Flash NVFP4 mit vLLM auf 2× DGX Spark (128k Kontext, mit MTP)

von Weschera

23tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP4 Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

NVFP4 (vcruz305-Quant, BF16-MTP-Head, 49 Shards; quantization_config.ignore für Layer 45), KV fp8_e4m3vLLMGewichte Repo Stand 28. Aug. 2026

Details

1× DGX Spark

Spark-X2.5-4B BF16 mit SGLang auf 1× DGX Spark

von Weschera

21,8tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

BF16 (unquantisiert)SGLangGewichte Repo Stand 7. Sept. 2026

Details

2× DGX Spark

GLM-5.3-Flash NVFP4 mit vLLM auf 2× DGX Spark (128k Kontext, mit DFlash2)

von Weschera

20,5tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Nicht kommerziell

NVFP4 (Marlin W4A16); FP8 E4M3 KV (6 GiB-Pin)vLLMGewichte Repo Stand 10. Sept. 2026

Details

1× DGX Spark

Laguna-S-2.1 118B NVFP4 mit vLLM auf 1× DGX Spark (128k Kontext)

von Weschera

19,3tok/sAlltag

1 Anfrage, Prosa-Prompt, Kontext 1k, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

NVFP4 (Blackwell-native, auto-detected aus quantization_config)vLLMGewichte Repo Stand 21. Juli 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit Atlas auf 1× DGX Spark

von Weschera

19tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

NVFP4 (unsloth); MTP-Head bf16 (--mtp-quantization bf16); fp8 KV (Engine-Default)AtlasGewichte Repo Stand 15. Aug. 2026

Details

1× DGX Spark

GLM-5.3-Flash 320B UD-Q2_K_XL mit llama.cpp auf 1× DGX Spark

von Weschera

17,9tok/sAlltag

1 Anfrage, Prosa-Prompt, Kontext 32k, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Unsloth UD-Q2_K_XL (109 GB, ~2,4-bit Experts dynamisch; Attention/Router höher)llama.cppGewichte Repo Stand 27. Aug. 2026

Details

1× MacBonsai-2-27B (Qwen3.8-27B-Basis)

Bonsai-2-27B Q8_0 mit llama.cpp auf 1× Mac

von Weschera

10,6tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

Ternary PQ2_0 (empfohlen) / PTQ1_0 (5,9 GB); mmproj-Q8_0 für Visionllama.cpp (prism fork)Gewichte Repo Stand 18. Sept. 2026

Details

2× DGX Spark

DeepSeek-V4-Flash FP8 mit vLLM auf 2× DGX Spark (1024k Kontext)

von Weschera

83,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit Draft Quelle

Intelligenzkein unabhängiger Wert

Official BF16/FP8-Checkpoint mit nvfp4_ds_mla-KV (block 256); MoE FlashInfer B12XvLLMGewichte Repo Stand 31. Juli 2026

Details

2× DGX Spark

Qwen3.8-Flash-Next NVFP4 mit SGLang auf 2× DGX Spark

von Weschera

41,7tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit NEXTN (MTP) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 (modelopt_fp4, RadixArk-Checkpoint); BF16 SSM; NEXTN-Draft in-checkpointSGLangGewichte Repo Stand 27. Aug. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next 80B UD-IQ4_XS mit llama.cpp auf 1× DGX Spark

von Weschera

26,9tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

Unsloth UD-IQ4_XS GGUF (94 GB)llama.cppGewichte Repo Stand 27. Aug. 2026

Details

1× DGX Spark

Qwen3.8-27B NVFP4 mit SGLang auf 1× DGX Spark (Weschera)

von Weschera

25,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash2 (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 (RadixArk) + BF16-Draft; quantized lm_head-Adapter (TP=1, 256-token selector chunks, FP32 top-k — r0b0tlab-Ansatz)SGLangGewichte Repo Stand 21. Aug. 2026

Details

1× DGX Spark

GLM-5.3-Flash 320B UD-IQ3_XXS mit llama.cpp auf 1× DGX Spark

von Weschera

20,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten

Unsloth Dynamic UD-IQ3_XXS GGUF (120,4 GB, 4 Shards); KV q8_0llama.cppGewichte Repo Stand 4. Sept. 2026

Details

1× DGX Spark

Qwen3.6-35B NVFP4 mit SGLang auf 1× DGX Spark

von Weschera

92,2tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 64k Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (qwen36-35b-nvfp4 Checkpoint)SGLangGewichte Repo Stand 12. Juli 2026

Details

1× Mac

Qwen3.8-Flash-Next 125B mit MLX auf 1× Mac

von Weschera

83,1tok/sSpitze

1 Anfrage, Code-Prompt Quelle

Intelligenzkein unabhängiger Wert

Lizenz ungeklärt

oQ4e gemischt (4-bit gesamt, group 64, MLX safetensors)oMLX 0.6.4 (custom kernels)Gewichte Repo Stand 30. Aug. 2026

Details

2× DGX Spark

DeepSeek-V4-Flash NVFP4 mit vLLM auf 2× DGX Spark

von Weschera

65,4tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

NVFP4-KV-Pfad (Stage C: 584-byte padded envelope via nvfp4_ds_mla; NICHT der 416-byte true-layout Fix — dokumentiert gescheitert >411 prompt tokens)vLLMGewichte Repo Stand 2. Juli 2026

Details

4× DGX Spark

GLM-5.2 753B INT4/INT8 mit vLLM auf 4× DGX Spark

von Weschera

32,5tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 200k Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

QuantTrio Int4-Int8Mix (W4A16 MoE-Experts / W8A16 dense+MTP, compressed-tensors, data-free; Layer 0 + Attention-Indexer BF16); KV nvfp4_ds_mla (400 B/Token)vLLMGewichte Repo Stand 20. Aug. 2026

Details

4× DGX Spark