Lokale KI · Kreator

brandonmusic

6 veröffentlichte Rezepte.

Rezepte

4× RTX PRO 6000
189tok/sSpitze

1 Anfrage, Kontext 0 (78 Prompt-Token), synthetischer Dauer-Decode mit ignore-EOS, mit MTP3 (laut Rezept) Quelle 

Intelligenz42mit Denken
  • Eigener Kernel nötig

TrellisMX codec-v2 K4 (4,25 bpw Payload, Routed- + MTP-Experten) → native FP8 E4M3 Experten-Math (UE8M0/K32), FP8 KVvLLM (TrellisMX-Runtime, Image verdictai/trellismx:glm53-codecv2-prefill-20260927 @sha256:6240b05f…; TP4/DCP4, MTP3)Gewichte Repo Stand 29. Okt. 2026

Details

← Zur Übersicht