Local Llm

Qwen3.8-27B läuft auf erstaunlich viel Hardware – aber wie schnell wirklich? Baseline- vs. Community-getunte Benchmarks (Stand 19.08.2026): RTX 3090 mit ~1.000 tok/s bei 64 parallelen Streams, RTX 5090 mit 148 tok/s, DGX Spark mit 210 tok/s aggregiert, DFlash 2 mit 3,4x auf der H200 – dazu RTX 5080 Laptop, Mac mini, MacBook Pro, Mac Studio und AMD Strix Halo mit Prefill, Decode und Concurrency.

Meta hat Muse Glimmer veröffentlicht, ein multimodales 30-Milliarden-Parameter-Modell unter der Apache 2.0-Lizenz. Es ist speziell für lokale Agenten-Workflows optimiert und besticht durch fortschrittliches Tool Calling, mehrstufiges logisches Denken und Spekulative Dekodierung auf Consumer-Hardware.