Lokale KI · Kreator

jcartu

5 veröffentlichte Rezepte.

Rezepte

4× RTX PRO 6000

215tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

FP8 W8A8 (nativ), FP8 KV block 256vLLM 0.21.1rc1.dev339+g1967a5627bc3Gewichte Repo Stand 21. Juni 2026

4× RTX PRO 6000

199tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash2 (laut Rezept) Quelle

NVFP4 (modelopt) + nvfp4_ds_mla KV; Draft DFlash2 MXFP8vLLM jovian-judgement-community-20260904-r25Gewichte Repo Stand 10. Sept. 2026

4× RTX PRO 6000

104tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

EXL3/Trellis 3.0 bpw, nvfp4_ds_mla KVvLLMGewichte Repo Stand 27. Juli 2026

4× RTX PRO 6000

92,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt) Experten, BF16 Router/Attention, FP8 KVvLLMGewichte Repo Stand 21. Juni 2026

2× RTX PRO 6000

90,9tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash (laut Rezept) Quelle

BF16 (unquantisiert)vLLM repne/vllm:v13Gewichte Repo Stand 3. Juni 2026