Lokale KI · Kreator

local-inference-lab

5 veröffentlichte Rezepte.

Rezepte

4× RTX PRO 6000

281tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

NVFP4 routed experts (QAD) + BF16 Rest, MXFP8 MTP-Experten; FP8 KVvLLMGewichte Repo Stand 19. Sept. 2026

2× RTX PRO 6000

187tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

NVFP4 routed experts + MXFP8 Projektionen + NVFP4 MTP; FP8 KVvLLMGewichte Repo Stand 19. Sept. 2026

1× RTX PRO 6000

173tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

NVFP4 Experten/PLE + MXFP8 Attention/Shared; FP8 KV (Messung), lil-Default BF16 KVvLLMGewichte Repo Stand 19. Sept. 2026

4× RTX PRO 6000

136tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

FP8 (offiziell) + FP8 KVvLLMGewichte Repo Stand 25. Sept. 2026

8× RTX PRO 6000

93,3tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle

NVFP4 (lukealonso/GLM-5.2-NVFP4), A4/A16, optional online MXFP8 densevLLM fathomless-firmament-v17 (05f50ae)Gewichte Repo Stand 15. Juli 2026