Inference Optimierung

Drei unabhängige Messwellen beziffern die System-One-Klasse: 92–214 ms pro Entscheidung, unter 1 Cent für 8 Requests, JevBench 75.3 — und der 200x-Faktor schrumpft beim Nachmessen auf rund 25x.

Der Fork Deltafin streamt die 1,45 TB Expertengewichte von Kimi K3 (2,8T MoE) schichtweise von vier NVMe-SSDs ins 128-GB-RAM eines M5 Max: ~1 tok/s Decode, 6,3 Minuten bis zum ersten Token. Mit Mess-Tabelle, SSD-Staffel und einem kopierbaren Layer-Budget-Check in drei Schritten.

Spekulatives Dekodieren beschleunigt die LLM-Token-Generierung ohne Ergebnisänderung: Ein Draft-Modell schlägt Tokens vor, das große Modell prüft sie in einem Forward-Pass. Die entscheidende Frage: memory-bound (bis ~2x Gewinn) oder compute-bound (kaum Gewinn)?