Lokale KI · Kreator

MiaAI-Lab

34 veröffentlichte Rezepte.

Rezepte

2× DGX Spark

Qwen3.8-Flash-Next 125B INT4-AutoRound mit TensorFold auf 2× DGX Spark (1M Kontext)

von MiaAI-Lab

89,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig
Lizenz ungeklärt

INT4-AutoRound (GPTQ int4, Top-5-Experten) + FP8 n-gram-Tabelle, FP8 KVTensorFold tensorfold-native (Zig, zig-flashnext db281878 + patches), Image ghcr.io/miaai-lab/qwen3.8-flash-dual-dgx-sparks-tensorfold:zig-db28187-f3e1300f4f62, TP=2 über CX7/RoCE, MTP + Copy-Drafts (QUANT=int4ar)Gewichte Repo Stand 26. Okt. 2026

Details

4× DGX Spark

DeepSeek-V4.1-Flash MXFP4 mit SGLang auf 4× DGX Spark (MiaAI-Lab)

von MiaAI-Lab

87,7tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

MXFP4 experts + FP8 dense, Engram-Tabellen auf NVMeSGLangGewichte Repo Stand 17. Okt. 2026

Details

1× DGX Spark

Nemotron-3.5-Bolt 74B-A9B 24GB-Pack mit TensorFold auf 1× DGX Spark

von MiaAI-Lab

71,8tok/sAlltag

1 Anfrage, Prosa-Prompt (gesampelt, Thinking aus), mit LiLiCorr (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Lizenz ungeklärt

24GB pack: IQ2_XXS experts (2.0625 bits), NVFP4 Mamba projections, Q8_0 attention/latent projections/lm_head; bf16 KVTensorFold tensorfold-native v1.1.6 (eea9dc9c) + recipe patches/ (Bolt lane backend, libbolt.so CUDA forward pass), LiLiCorr draftsGewichte Repo Stand 1. Nov. 2026

Details

2× DGX Spark

Qwen3.8-Flash-Next 125B NVFP4 mit TensorFold auf 2× DGX Spark (1M Kontext)

von MiaAI-Lab

67,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 (nvidia, Experten) + FP8 n-gram/MTP, FP8 KVTensorFold tensorfold-native (Zig, zig-flashnext db281878 + patches), Image ghcr.io/miaai-lab/qwen3.8-flash-dual-dgx-sparks-tensorfold:zig-db28187-f3e1300f4f62, TP=2 über CX7/RoCE, MTP + Copy-DraftsGewichte Repo Stand 26. Okt. 2026

Details

4× DGX Spark

DeepSeek-V4.1-Flash-1017 FP8/MXFP4 mit TensorFold auf 4× DGX Spark (switchless Ring)

von MiaAI-Lab

65,8tok/sAlltag

1 Anfrage, Prosa-Prompt (T = 0,7, Thinking an), mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

FP8 / MXFP4 (official checkpoint as published, no re-quantization)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @5940208, kit 6033ea4) + recipe zig/patches, TP4 over a switchless ConnectX-7 ring (./start-switchless.sh), DSpark drafts, CUDA graphsGewichte Repo Stand 2. Nov. 2026

Details

2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 EAQ 2,9 bpw mit TensorFold auf 2× DGX Spark

von MiaAI-Lab

63,9tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0,7, Thinking an), mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 EAQ v1 2.9 bpw (Mia-AiLab; vision tower and DSpark draft blocks included)TensorFold native (Zig 0.17.0), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig @fbbc971) + recipe patches, TP=2 over ConnectX-7 (RoCE), DSpark draftsGewichte Repo Stand 2. Nov. 2026

Details

2× DGX Spark

GLM-5.3-Flash EXL3 mit TensorFold auf 2× DGX Spark (1M Kontext, 4 Streams)

von MiaAI-Lab

60,4tok/sAlltag

Prosa-Decode, 1 Request; Qualität (FP8-KV, 4-bit dense): GSM8K 98,8 % / HumanEval 95,7 % / HumanEval+ & MBPP+ 86,5 % Quelle

Intelligenz42mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Nicht kommerziell
Lizenz ungeklärt

EXL3/TR3 4bpw routed experts + 4-bit dense, BF16 elsewhere, FP8 KVTensorFold v0.6.0 + Recipe v1.10 (README: 96 Patches; gepinntes Image v0.6.0-e66c657a433d mit 107 Patches: DFlash2+Copy-Drafts, 4-bit dense, FP8-KV, RoCE-One-Shot-All-Gather, Shared KV-Pool, optionaler Spill-Tier, Vision, Tool-Calling, Anthropic /v1/messages; PARALLEL=8 opt-in)Gewichte Repo Stand 25. Okt. 2026

Details

1× DGX Spark

Qwen3.8 27B MLX 4-bit mit TensorFold auf 1× DGX Spark

von MiaAI-Lab

58,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 20

Eigener Kernel nötig

MLX affine 4-bit (g64) + FP8 KV, FP8-PrefillTensorFold v0.6.0 (c464617) + 5 Patches, Image ghcr.io/miaai-lab/qwen3.8-27b-dgx-spark-tensorfold:v0.6.0, DFlash2-DraftsGewichte Repo Stand 1. Okt. 2026

Details

1× DGX Spark

Qwen3.8-Flash-Next NVFP4 (NVIDIA QAD, FP4-Local) mit TensorFold auf 1× DGX Spark

von MiaAI-Lab

55,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

NVIDIA FP4-QAD-Export (FP4-Local @b9ce18a6): Routed Experts NVFP4 (Gruppe 16), Attention/Shared Expert MXFP8, alle 512 Experten mit 10 pro Token; n-gram-Tabelle per pread von der SSD; FP8 KVTensorFold tensorfold-native (Zig) v1.1.4 (eab85828) + Patches 0001–0017, Image tensorfold-qwen38:v1.1.4-eab8582 (GHCR v1.1.4-eab8582-4baf16137ecd) auf nvcr.io/nvidia/pytorch:26.07-py3, MTP-DraftsGewichte Repo Stand 30. Okt. 2026

Details

2× DGX Spark

Qwen3.8-Flash-Next 125B NVFP4 mit vLLM auf 2× DGX Spark

von MiaAI-Lab

54,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle

Intelligenz40mit Denken

Lizenz ungeklärt

NVFP4 (nvidia) + FP8 KVvLLM vllm/vllm-openai:qwen38-flash-nextGewichte Repo Stand 4. Okt. 2026

Details

1× DGX Spark

Ornith-1.5-122B EXL3 4 bpw mit TensorFold auf 1× DGX Spark

von MiaAI-Lab

52,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig
Experimentell

EXL3 EAQ v1 4 bpw (4.049 bpw trellis average per quant card), FP8 KVTensorFold tensorfold-native (Zig 0.17.0, pinned d1018b31 + recipe patches/ for EXL3 in the Qwen3.5-MoE engine), image tensorfold-ornith:zig-d1018b3, DFlash2 draftsGewichte Repo Stand 21. Okt. 2026

Details

3× DGX Spark

DeepSeek-V4.1-Flash 763B MXFP4 mit SGLang auf 3× DGX Spark

von MiaAI-Lab

51tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP/EAGLE (spekulativ, ~59 ms/step) (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

Eigener Kernel nötig

native MXFP4 experts + FP8 denseSGLangGewichte Repo Stand 17. Okt. 2026

Details

3× DGX Spark

DeepSeek-V4-Flash 305B FP8 mit vLLM auf 3× DGX Spark

von MiaAI-Lab

41,9tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

Original-Checkpoint (FP8/FP4) , TP3-Head-Pad 64→72vLLM ghcr.io/anemll/dspark-vllm-gx10:0.1.1Gewichte Repo Stand 4. Okt. 2026

Details

3× DGX Spark

GLM-5.3-Flash 320B EXL3 4 bpw mit vLLM auf 3× DGX Spark

von MiaAI-Lab

40,1tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2, TR3-Gewichte (laut Rezept) Quelle

Intelligenz42mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Nicht kommerziell
Lizenz ungeklärt

EXL3/TR3 4 bpw (routed experts), FP8 KV (fp8_ds_mla)vLLMGewichte Repo Stand 18. Okt. 2026

Details

2× DGX Spark

GLM-5.3-Flash 320B-A18B EXL3 4 bpw mit ExLlamaV3 auf 2× DGX Spark

von MiaAI-Lab

36,1tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2, TR3-Gewichte (laut Rezept) Quelle

Intelligenz42mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Nicht kommerziell
Lizenz ungeklärt

EXL3 4bpw (TR3) + FP8 KV (fp8_ds_mla)TensorFold-basiertes Kit (ghcr.io/miaai-lab/glm-5.3-flash-2x-dgx-sparks:exl3-instanttensor), DFlash2 7 draft tokens; opt-in Speed-Boost-Profil (einmaliger ~25-min-Build auf dem Head)Gewichte Repo Stand 18. Okt. 2026

Details

2× DGX Spark

MiMo-V2.6-Flash 309B MXFP4 mit SGLang auf 2× DGX Spark

von MiaAI-Lab

35tok/sAlltag

1 Anfrage, Prosa-Prompt, mit EAGLE Quelle

Intelligenzkein unabhängiger Wert

Experimentell

FP8 attention + MXFP4 experts (Original)SGLangGewichte Repo Stand 25. Sept. 2026

Details

2× DGX Spark

DeepSeek-V4.1-Flash 763B EXL3 2.9 bpw mit ExLlamaV3 auf 2× DGX Spark

von MiaAI-Lab

31,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

≤ 3 bit: Quantisierung kann Qualität kosten
Experimentell
Eigener Kernel nötig

EXL3 2.9 bpw + fp8_ds_mla KVvLLM + ExLlamaV3Gewichte Repo Stand 25. Sept. 2026

Details

3× DGX Spark

GLM-5.3 753B EXL3 2,75 bpw mit TensorFold auf 3× DGX Spark

von MiaAI-Lab

31,3tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (laut Rezept) Quelle

Intelligenz45mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

EXL3 2,75 bpw Ø (Experten 2–4 bit), 4-bit dense, BF16 sonst, FP4 KV (Default CP=1)TensorFold v0.6.0 + 110 Patches, Image ghcr.io/miaai-lab/glm-5.3-exl3-3x-dgx-sparks-tensorfold:v0.6.0-4f3223245926, DSpark + Copy-Drafts, Context Parallelism, RoCEGewichte Repo Stand 4. Okt. 2026

Details

1× DGX Spark