KI-Infrastruktur
Layer Streaming
- Definition
- Layer Streaming ist eine Speicher-Technik für lokale Inferenz großer Sprachmodelle. Die Modellgewichte bleiben als Datei auf der NVMe-SSD; die Engine lädt pro Vorwärtspass nur die Schichten in die RAM, die für das nächste Token nötig sind. So läuft ein 2,8 Billionen Parameter großes MoE-Modell wie Kimi K3 (1,45 TB Gewichte) auf einem MacBook mit 128 GB RAM. Der Trade-off: sequenzieller Lade-Overhead pro Token statt einem vollständigen Laden. Für MoE-Modelle lohnt sich das besonders, weil pro Token nur ein Teil der Experten aktiv ist.
- Kategorie
- KI-Infrastruktur
Im Detail: Layer Streaming
Layer Streaming ist eine Speicher-Technik für lokale Inferenz großer Sprachmodelle. Die Modellgewichte bleiben als Datei auf der NVMe-SSD; die Engine lädt pro Vorwärtspass nur die Schichten in die RAM, die für das nächste Token nötig sind. So läuft ein 2,8 Billionen Parameter großes MoE-Modell wie Kimi K3 (1,45 TB Gewichte) auf einem MacBook mit 128 GB RAM. Der Trade-off: sequenzieller Lade-Overhead pro Token statt einem vollständigen Laden. Für MoE-Modelle lohnt sich das besonders, weil pro Token nur ein Teil der Experten aktiv ist.
Produktionsreife Leitplanken