Die besten Open-Weight-LLMs 2026: Self-Hosting-Guide

Beste Allround-Familie und der sicherste Standard: dieselbe Architektur erscheint in 0,8B, 2B, 4B, 9B, 27B, 35B-A3B und 122B-A10B — durchgehend unter Apache 2.0. Das Flaggschiff Qwen3.5-122B-A10B aktiviert 10B von 122B Parametern pro Token und liefert nativ 262.144 Token Kontext, erweiterbar auf rund 1M. Allein die 9B-Variante ist derzeit das meistgeladene Open-Weight-LLM auf Hugging Face — das bedeutet die größte Auswahl an Quantisierungen, Fine-Tunes und Serving-Rezepten. Hier anfangen, außer ein konkreter Workload spricht dagegen.

Bestes Open-Weight-Modell für Long-Horizon-Agenten und Coding. GLM-5.2 ist das Sparse-Attention-MoE-Flaggschiff von Z.ai, veröffentlicht unter schlichter MIT-Lizenz, und das erste der GLM-Reihe mit einem belastbaren 1M-Token-Kontext statt eines nominellen. Die IndexShare-Attention nutzt denselben Indexer über je vier Sparse-Layer hinweg und senkt die FLOPs pro Token bei 1M Kontext um den Faktor 2,9 — genau diese Effizienz macht Self-Hosting überhaupt praktikabel. Mehrere unabhängige 2026er-Rankings sehen es an der Spitze der selbst hostbaren Coding-Modelle.

Beste Leistung pro GPU und das am einfachsten produktiv zu bringende Open-Weight-Modell. gpt-oss-120b hat 117B Parameter mit 5,1B aktiv und läuft dank MXFP4-Quantisierung der MoE-Gewichte auf einer einzigen 80-GB-GPU (H100 oder MI300X); gpt-oss-20b hat 21B Parameter mit 3,6B aktiv und passt in 16 GB, also auf Workstation oder High-End-Laptop. Apache 2.0 und feintunebar — das 120b auf einem einzelnen H100-Knoten, das 20b sogar auf Consumer-Hardware. Wenn die Randbedingung "eine GPU, die wir schon haben" lautet, ist die Shortlist genau ein Eintrag lang.

Bestes Open-Weight-Frontier-Reasoning, sofern der Cluster vorhanden ist. DeepSeek-V4-Pro ist ein MoE mit 1,6T Parametern und 49B aktiv, DeepSeek-V4-Flash hat 284B mit 13B aktiv — beide mit vollem Eine-Million-Token-Kontext unter MIT-Lizenz. Die hybride Attention (Compressed Sparse Attention plus Heavily Compressed Attention) macht den langen Kontext bezahlbar: Bei 1M Token braucht V4-Pro laut Model Card nur rund 27 % der Inferenz-FLOPs pro Token und 10 % des KV-Caches von DeepSeek-V3.2. Pro ist eher Cluster- oder Miet-Sache, Flash die Variante, die Teams realistisch selbst hosten.

Bester Open-Weight-Coding-Agent, wenn das Modell auf die Agenten-Schleife statt auf Chat trainiert sein soll. Kimi K2.7 Code ist ein MoE mit 1T Parametern und 32B aktiv, 384 Experten (8 ausgewählte plus 1 geteilter pro Token) und 256K Kontext, aufgebaut auf K2.6 und primär in Agent-Harnesses statt auf statischen Benchmarks evaluiert. Der Haken: Es erscheint unter einer Modified-MIT-Lizenz, nicht unter reinem MIT oder Apache — die Bedingungen vor dem kommerziellen Einsatz lesen. Ebenfalls relevant: Die vielfach gemeldeten "Kimi K3"-Gewichte waren zum Redaktionsschluss dieses Guides in Moonshots offizieller Hugging-Face-Organisation noch nicht aufgetaucht.

Beste Open-Weight-Familie für On-Device und Edge. Gemma 4 erscheint in fünf Größen — E2B, E4B, 12B, 26B-A4B und 31B — als Dense- und MoE-Varianten, mit 256K Kontext, multimodaler Text-und-Bild-Eingabe (Audio bei E2B, E4B und 12B) und Unterstützung für über 140 Sprachen, durchgehend unter Apache 2.0. Der instruktionsgetunte 26B-A4B-Checkpoint gehört zu den meistgeladenen Open-Weight-Modellen auf Hugging Face. Wenn das Ziel ein Smartphone, ein Laptop oder eine On-Prem-Appliance statt eines GPU-Clusters ist, ist diese Familie genau dafür gebaut.

Erste Wahl, wenn EU-Datenresidenz und Souveränität harte Anforderungen sind und keine Wunschliste. Mistral Small 4 hat 119B Parameter mit 6,5B aktiv pro Token, 256K Kontext und einen Per-Request-Parameter reasoning_effort, veröffentlicht unter Apache 2.0; darüber steht Mistral Large 3 (675B), ebenfalls Apache 2.0. Ein europäischer Anbieter mit permissiver Lizenz ist für regulierte DACH-Branchen ein grundlegend anderes Beschaffungsgespräch — und Mistrals Fokus auf Air-Gapped- und Souveränitäts-Deployments macht das Modell dort zum pragmatischen Standard, auch wenn ein chinesisches Lab im Leaderboard höher steht.

Bestes Open-Weight-Modell für Millionen-Token-Workloads mit hohem Durchsatz. MiniMax-M3 ist ein nativ multimodales MoE mit rund 428B Parametern und etwa 23B aktiv, aufgebaut auf MiniMax Sparse Attention (MSA) — laut Model Card 9× schnelleres Prefill und 15× schnelleres Decode gegenüber M2 bei 1M Kontext, mit rund 1/20 der Rechenlast pro Token. Wenn der Engpass das günstige Ausliefern sehr langer Kontexte ist und nicht der Spitzenplatz im Reasoning-Ranking, ist genau dieses Durchsatzprofil der Unterschied. Lizenziert unter MiniMax' eigenen Bedingungen — also Prüfpunkt, nicht Formalie.