Lokale KI · Kreator

bertholomus

9 veröffentlichte Rezepte.

GitHub Hugging Face

Rezepte

4× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 4,0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

70,9tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 4.0 bpw (4,02 bpw, ~275 GB; eigener Quant)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp4 @0a0b69a, recipe v0.3.5) + kernel kit (362 files), TP4 über RoCE, DSpark drafts, CUDA graphsGewichte Repo Stand 24. Okt. 2026

Details

2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,5 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

60,5tok/sAlltag

1 Anfrage, Prosa-Prompt (greedy, Thinking aus), mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 2.5 bpw routed experts (2,52 bpw über die quantisierten Gewichte, ~185 GB; Attention/Shared Experts 4 bpw, DSpark-Drafter 4/6 bpw, Vision-Tower 16 bit)TensorFold native (Zig, TensorFold 1.0.12), BertholomusAI dsv41 family (bertholomus/TensorFold deepseek-v41-zig-tp2, recipe v0.7.3, served engine 6579b756dcd7) + kernel kit v0.7.0, TP=2 über RoCE, DSpark draftsGewichte Repo Stand 24. Okt. 2026

Details

2× DGX Spark

DeepSeek-V4.1-Flash-1017 EXL3 2,9 bpw (LibertAI) mit TensorFold auf 2× DGX Spark

von bertholomus

59,2tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Thinking aus, Einzellauf), mit DSpark (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 2.9 bpw (LibertAI, Revision afc7aa0a)TensorFold (Elevatormusic/TensorFold @07aa02585f64: TensorFold 0.6.6 line + BertholomusAI DeepSeek-V4.1 family), Launcher Elevatormusic/DeepSeek-V4.1-Flash-1017-EXL3-TensorFold-2x-DGX-Spark, TP=2 über ConnectX-7, DSpark (MTP_DRAFTS=5), MEM_FLOOR_GIB=0Gewichte Repo Stand 19. Okt. 2026

Details

4× DGX Spark

DeepSeek-V4-Flash-0731 (offizieller Checkpoint) mit vLLM + DSpark auf 4× DGX Spark

von bertholomus

53,5tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0, Einzellauf), mit DSpark (laut Rezept) Quelle

Intelligenz34mit Denken

Eigener Kernel nötig

offizieller Checkpoint (Revision 9e165c30), KV-Cache nvfp4_ds_mlavLLM (Image ghcr.io/anemll/dspark-vllm-gx10:0.1.1, Image-ID sha256:3430d661…), DSpark K5, FlashInfer B12X MoE, CUDA Graphs, TP4 über Dual-Rail-RoCE v2, 8 Sequenzen / 16.384 Batched-TokensGewichte Repo Stand 13. Aug. 2026

Details

2× DGX Spark

DeepSeek-V4-Flash-0731 (offizieller Checkpoint) mit vLLM + DSpark auf 2× DGX Spark

von bertholomus

40,1tok/sAlltag

1 Anfrage, Prosa-Prompt (Temperatur 0), mit DSpark (laut Rezept) Quelle

Intelligenz34mit Denken

Eigener Kernel nötig

offizieller Checkpoint (Revision 9e165c30), KV-Cache nvfp4_ds_mlavLLM (Image ghcr.io/anemll/dspark-vllm-gx10:0.1.1), DSpark K5, FlashInfer B12X MoE, CUDA Graphs [1, 2, 4, 8], TP2 über RoCE v2Gewichte Repo Stand 4. Aug. 2026

Details

2× DGX Spark

Beam-1.0-501B-A23B EXL3 3 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

30,6tok/sAlltag

1 Anfrage, Prosa-Prompt (~2K), mit DFlash2 (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 3 bpw (routed experts 3 bit, attention/dense MLPs 6 bit, embedding/norms/router/lm_head BF16; ~90 GiB per node)TensorFold (bertholomus fork, branch beam-1.0-tp2 @ d00201b4), image nvcr.io/nvidia/pytorch:26.07-py3, TP2 over 200 Gb/s RoCE, DFlash2 drafter (5 draft tokens, adaptive 3-5)Gewichte Repo Stand 29. Okt. 2026

Details

2× DGX Spark

Beam-1.0-501B-A23B EXL3 3 bpw mit vLLM auf 2× DGX Spark

von bertholomus

28,3tok/sAlltag

1 Anfrage, Prosa-Prompt (~2K), mit DFlash2 (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig

EXL3 3 bpw (routed experts 3 bit, attention/dense MLPs 6 bit, embedding/norms/router/lm_head BF16; ~90 GiB per node)vLLM TP2 (image beam-exl3-gb10 via gb10/build-image.sh: Reflection arm64 Beam vLLM image + vllm-exl3 d3cfd394 with Diffbot Beam patch, ExLlamaV3 5be88657 for sm_121, kernels xmoe_dense/xmoe_do8/x8rh/f8rh), DFlash2 drafter (3 draft tokens)Gewichte Repo Stand 29. Okt. 2026

Details

2× DGX Spark

Ling-3.1-Flash-1019 EXL3 3.03 bpw mit TensorFold auf 2× DGX Spark

von bertholomus

~38,2tok/sSpitzeungefähr · Methodik nicht angegeben

Bestwert der Quelle, 1 Anfrage, Prompt-Typ nicht genannt, 2.222 Prompt-Tokens, Bereich 37,7–38,7 tok/s, mit MTP (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

EXL3 3.03 bpw (routed experts 3, shared experts 5, KDA attention 4, dense MLP 4, MLA attention 6, head 6, MTP layer 4)TensorFold (bertholomus fork, branch ling-3.1-tp2 @ 72f16e48, bailing_v3 family on TensorFold v0.6.6 CUDA engine), image nvcr.io/nvidia/pytorch:26.07-py3, TP2 over direct RoCE, MTP drafting (adaptive depth)Gewichte Repo Stand 29. Okt. 2026

Details

4× DGX Spark

GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark

von bertholomus

~36tok/sSpitzeungefähr · Methodik nicht angegeben

1 Anfrage, Prompt-Typ nicht genannt, Bereich 33–39 tok/s, mit MTP-3 (laut Rezept) Quelle

Intelligenz45mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Lizenz ungeklärt

EXL3 3.0 bpw (exllamav3 1.5.3; routed experts 3.0, attention/shared/dense ~5, MTP experts 4, lm_head 6; 3.04 bpw avg), Q5 latent cacheTensorFold 0.6.0 + bertholomus glm-dsa-tp4 branch (release numbers on 3eb35dd, head ddfad35), image nvcr.io/nvidia/pytorch:26.07-py3, TP4 over direct RoCE, MTP-3 drafting, config B (1M window, DCP4, --parallel 4)Gewichte Repo Stand 9. Okt. 2026

Details

← Zur Übersicht