Lokale KI · Kreator

jpezzulli

4 veröffentlichte Rezepte.

Rezepte

1× RTX PRO 6000
89,8tok/sSpitze

1 Anfrage, Bestwert der Quelle Quelle 

Intelligenz34mit DenkenWert des Originalmodells. Stark komprimiert (~2 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten

2-bit W2-Experten (MoET-Planes) + 6 GiB FP4-Korrektur-Tier (512×12 MiB), FP8-MLA-KV; Basis offizielles MXFP4-CheckpointvLLMGewichte Repo Stand 19. Aug. 2026

Details
1× RTX PRO 6000
85,6tok/sSpitze

1 Anfrage, Bestwert der Quelle, Kontext 500000 Quelle 

Intelligenz34mit DenkenWert des Originalmodells. Stark komprimiert (~2 Bit), Intelligenz dürfte deutlich niedriger liegen.
  • ≤ 3 bit: Quantisierung kann Qualität kosten

2-bit W2-Experten (MoET-Planes) + 6 GiB FP4-Korrektur-Tier (512×12 MiB), FP8-MLA-KV; Basis offizielles MXFP4-CheckpointvLLMGewichte Repo Stand 19. Aug. 2026

Details

← Zur Übersicht