· von Michael Kerkhoff

Geprüft von Michael Kerkhoff, Stand

Die besten Open-Weight-LLMs 2026: Self-Hosting-Guide

Die besten Open-Weight-LLMs für Self-Hosting 2026 im Vergleich: Qwen3.5, GLM-5.2, gpt-oss-120b, DeepSeek-V4, Kimi K2.7 Code, Gemma 4, Mistral Small 4 und MiniMax M3 (Stand Juli 2026) — Parameterzahlen, Kontextlängen, Lizenzen und Hardware-Anforderungen.

Top-Empfehlungen

(01)

Qwen3.5 (Alibaba)

Beste Allround-Familie und der sicherste Standard: dieselbe Architektur erscheint in 0,8B, 2B, 4B, 9B, 27B, 35B-A3B und 122B-A10B — durchgehend unter Apache 2.0. Das Flaggschiff Qwen3.5-122B-A10B aktiviert 10B von 122B Parametern pro Token und liefert nativ 262.144 Token Kontext, erweiterbar auf rund 1M. Die kleinen Varianten gehören zu den meistgenutzten Open-Weight-Checkpoints auf Hugging Face — das bedeutet eine breite Auswahl an Quantisierungen, Fine-Tunes und Serving-Rezepten. Hier anfangen, außer ein konkreter Workload spricht dagegen.

Allzweck über die gesamte Größenpalette — eine Familie vom Laptop bis zum Multi-GPU-KnotenKostenlose Gewichte (Apache 2.0); bezahlt werden nur die eigenen GPUsAI-Native
(02)

GLM-5.2 (Z.ai / Zhipu)

Bestes Open-Weight-Modell für Long-Horizon-Agenten und Coding. GLM-5.2 ist das Sparse-Attention-MoE-Flaggschiff von Z.ai, veröffentlicht unter schlichter MIT-Lizenz, und das erste der GLM-Reihe mit einem belastbaren 1M-Token-Kontext statt eines nominellen. Die IndexShare-Attention nutzt denselben Indexer über je vier Sparse-Layer hinweg und senkt laut Model Card von Z.ai die FLOPs pro Token bei 1M Kontext deutlich — genau diese Effizienz macht Self-Hosting überhaupt praktikabel. Unabhängige Rankings wie das Self-Hosted-LLM-Leaderboard von Onyx zählen es zu den stärksten selbst hostbaren Coding-Modellen.

Long-Horizon-Agenten und Coding — das stärkste selbst hostbare Coding-Modell 2026Kostenlose Gewichte (MIT); Hosted API über Z.ai, wenn kein Cluster gewünscht istAI-Native
(03)

gpt-oss-120b / gpt-oss-20b (OpenAI)

Beste Leistung pro GPU und das am einfachsten produktiv zu bringende Open-Weight-Modell. gpt-oss-120b hat 117B Parameter mit 5,1B aktiv und läuft dank MXFP4-Quantisierung der MoE-Gewichte auf einer einzigen 80-GB-GPU (H100 oder MI300X); gpt-oss-20b hat 21B Parameter mit 3,6B aktiv und passt in 16 GB, also auf Workstation oder High-End-Laptop. Apache 2.0 und feintunebar — das 120b auf einem einzelnen H100-Knoten, das 20b sogar auf Consumer-Hardware. Wenn die Randbedingung "eine GPU, die wir schon haben" lautet, ist die Shortlist genau ein Eintrag lang.

Bester Fit für begrenzte Hardware — starkes Reasoning auf einer einzelnen GPUKostenlose Gewichte (Apache 2.0), ohne Copyleft- oder Patent-FallstrickeAI-Native
(04)

DeepSeek-V4 (Pro / Flash)

Bestes Open-Weight-Frontier-Reasoning, sofern der Cluster vorhanden ist. DeepSeek-V4-Pro ist ein MoE mit 1,6T Parametern und 49B aktiv, DeepSeek-V4-Flash hat 284B mit 13B aktiv — beide mit vollem Eine-Million-Token-Kontext unter MIT-Lizenz. Die hybride Attention (Compressed Sparse Attention plus Heavily Compressed Attention) macht den langen Kontext bezahlbar: Bei 1M Token braucht V4-Pro laut Model Card von DeepSeek nur einen Bruchteil der Inferenz-FLOPs pro Token und des KV-Caches des Vorgängers V3.2. Pro ist eher Cluster- oder Miet-Sache, Flash die Variante, die Teams realistisch selbst hosten.

Frontier-Reasoning und Dokumentenarbeit im Millionen-Token-BereichKostenlose Gewichte (MIT); für Pro ernsthaftes GPU-Budget oder Hosted Provider nötigAI-Native
(05)

Kimi K2.7 Code (Moonshot AI)

Bester Open-Weight-Coding-Agent, wenn das Modell auf die Agenten-Schleife statt auf Chat trainiert sein soll. Kimi K2.7 Code ist ein MoE mit 1T Parametern und 32B aktiv, 384 Experten (8 ausgewählte plus 1 geteilter pro Token) und 256K Kontext, aufgebaut auf K2.6 und primär in Agent-Harnesses statt auf statischen Benchmarks evaluiert. Der Haken: Es erscheint unter einer Modified-MIT-Lizenz, nicht unter reinem MIT oder Apache — die Bedingungen vor dem kommerziellen Einsatz lesen. Ebenfalls relevant: Die vielfach gemeldeten "Kimi K3"-Gewichte waren zum Redaktionsschluss dieses Guides in Moonshots offizieller Hugging-Face-Organisation noch nicht aufgetaucht.

Agentisches Coding — trainiert für lange, mehrstufige Tool-Use-SessionsKostenlose Gewichte, aber Modified-MIT-Lizenz — vor kommerzieller Nutzung prüfen
(06)

Gemma 4 (Google DeepMind)

Beste Open-Weight-Familie für On-Device und Edge. Gemma 4 erscheint in fünf Größen — E2B, E4B, 12B, 26B-A4B und 31B — als Dense- und MoE-Varianten, mit 256K Kontext, multimodaler Text-und-Bild-Eingabe (Audio bei E2B, E4B und 12B) und Unterstützung für über 140 Sprachen, durchgehend unter Apache 2.0. Wenn das Ziel ein Smartphone, ein Laptop oder eine On-Prem-Appliance statt eines GPU-Clusters ist, ist diese Familie genau dafür gebaut.

On-Device und Edge — vom Smartphone über Laptops bis zum einzelnen ServerKostenlose Gewichte (Apache 2.0)AI-Native
(07)

Mistral Small 4 / Mistral Large 3

Erste Wahl, wenn EU-Datenresidenz und Souveränität harte Anforderungen sind und keine Wunschliste. Mistral Small 4 hat 119B Parameter mit 6,5B aktiv pro Token, 256K Kontext und einen Per-Request-Parameter reasoning_effort, veröffentlicht unter Apache 2.0; darüber steht Mistral Large 3 (675B), ebenfalls Apache 2.0. Ein europäischer Anbieter mit permissiver Lizenz ist für regulierte DACH-Branchen ein grundlegend anderes Beschaffungsgespräch — und Mistrals Fokus auf Air-Gapped- und Souveränitäts-Deployments macht das Modell dort zum pragmatischen Standard, auch wenn ein chinesisches Lab im Leaderboard höher steht.

EU-souveräne und regulierte Deployments — air-gapped, On-Prem, datenresidenzgebundenKostenlose Gewichte (Apache 2.0); kommerzieller Support und La Plateforme verfügbarAI-Native
(08)

MiniMax-M3

Bestes Open-Weight-Modell für Millionen-Token-Workloads mit hohem Durchsatz. MiniMax-M3 ist ein nativ multimodales MoE mit rund 428B Parametern und etwa 23B aktiv, aufgebaut auf MiniMax Sparse Attention (MSA) — laut Model Card von MiniMax deutlich schnelleres Prefill und Decode als beim Vorgänger bei 1M Kontext. Wenn der Engpass das günstige Ausliefern sehr langer Kontexte ist und nicht der Spitzenplatz im Reasoning-Ranking, ist genau dieses Durchsatzprofil der Unterschied. Lizenziert unter MiniMax' eigenen Bedingungen — also Prüfpunkt, nicht Formalie.

Long-Context-Serving mit hohem Durchsatz und multimodaler EingabeKostenlose Gewichte unter MiniMax-Modelllizenz — Bedingungen vor kommerzieller Nutzung prüfen

Vergleichstabelle

NameAm besten fürArchitektur & KontextHardware-FitLizenz & KostenVoll permissive Lizenz
(01) Qwen3.5 (Alibaba)Allzweck über die gesamte Größenpalette — eine Familie vom Laptop bis zum Multi-GPU-KnotenMoE- und Dense-Varianten, 262K Kontext (erweiterbar ~1M), multimodal, vLLM/SGLang/TransformersLaptop (0,8B–9B) bis 8× GPU-Knoten (122B-A10B)Kostenlose Gewichte (Apache 2.0); bezahlt werden nur die eigenen GPUs✓ Ja
(02) GLM-5.2 (Z.ai / Zhipu)Long-Horizon-Agenten und Coding — das stärkste selbst hostbare Coding-Modell 2026Sparse-Attention-MoE mit IndexShare, 1M-Token-Kontext, MTP Speculative Decoding, FP8-Build verfügbarMulti-GPU-Knoten (FP8-Build empfohlen)Kostenlose Gewichte (MIT); Hosted API über Z.ai, wenn kein Cluster gewünscht ist✓ Ja
(03) gpt-oss-120b / gpt-oss-20b (OpenAI)Bester Fit für begrenzte Hardware — starkes Reasoning auf einer einzelnen GPUMoE mit nativer MXFP4-Quantisierung, Harmony-Response-Format, vLLM/Ollama/llama.cppEinzelne 80-GB-GPU (120b) oder 16-GB-Workstation/Laptop (20b)Kostenlose Gewichte (Apache 2.0), ohne Copyleft- oder Patent-Fallstricke✓ Ja
(04) DeepSeek-V4 (Pro / Flash)Frontier-Reasoning und Dokumentenarbeit im Millionen-Token-BereichMoE mit hybrider CSA/HCA-Attention, 1M Kontext, DSpark Speculative Decoding, 32T Pre-Training-TokenGroßer Cluster (Pro, 1,6T) oder mittlerer Multi-GPU-Knoten (Flash, 284B)Kostenlose Gewichte (MIT); für Pro ernsthaftes GPU-Budget oder Hosted Provider nötig✓ Ja
(05) Kimi K2.7 Code (Moonshot AI)Agentisches Coding — trainiert für lange, mehrstufige Tool-Use-SessionsMoE, 1T gesamt / 32B aktiv, 384 Experten, 256K Kontext, SwiGLUGroßer Multi-GPU-ClusterKostenlose Gewichte, aber Modified-MIT-Lizenz — vor kommerzieller Nutzung prüfen– Nein
(06) Gemma 4 (Google DeepMind)On-Device und Edge — vom Smartphone über Laptops bis zum einzelnen ServerDense- + MoE-Varianten, 256K Kontext, multimodal (Text/Bild, Audio bei kleinen Größen), 140+ SprachenSmartphone/Laptop (E2B–12B) bis Einzelserver (26B-A4B, 31B)Kostenlose Gewichte (Apache 2.0)✓ Ja
(07) Mistral Small 4 / Mistral Large 3EU-souveräne und regulierte Deployments — air-gapped, On-Prem, datenresidenzgebunden119B / 6,5B aktiv (Small 4), 256K Kontext, Per-Request reasoning_effort, vLLM-readyMulti-GPU-Knoten (Small 4) bis Cluster (Large 3, 675B)Kostenlose Gewichte (Apache 2.0); kommerzieller Support und La Plateforme verfügbar✓ Ja
(08) MiniMax-M3Long-Context-Serving mit hohem Durchsatz und multimodaler EingabeSparse-Attention-MoE (MSA), ~428B gesamt / ~23B aktiv, 1M Kontext, nativ multimodalMulti-GPU-Knoten bis ClusterKostenlose Gewichte unter MiniMax-Modelllizenz — Bedingungen vor kommerzieller Nutzung prüfen– Nein

← Horizontal scrollen, um alle Spalten zu sehen

So wählen Sie aus

  1. (01)

    Von der Hardware aus denken, nicht vom Leaderboard. Der nützlichste Filter 2026 lautet: "Was passt auf die GPUs, die wir schon haben?" Eine 80-GB-Karte heißt gpt-oss-120b. Eine 16-GB-Workstation heißt gpt-oss-20b oder eine kleine Qwen3.5-/Gemma-4-Variante. Ein Multi-GPU-Knoten öffnet GLM-5.2, Qwen3.5-122B-A10B, Mistral Small 4 und DeepSeek-V4-Flash. Ein 1,6T-Modell wie DeepSeek-V4-Pro ist eine Cluster- oder Miet-Entscheidung, keine Self-Hosting-Entscheidung.

  2. (02)

    Die Lizenz vor den Benchmarks lesen. "Open Weights" ist nicht eine Sache. Apache 2.0 (Qwen3.5, gpt-oss, Gemma 4, Mistral) und MIT (GLM-5.2, DeepSeek-V4) sind tatsächlich permissiv. Modified MIT (Kimi K2.7 Code) und eigene Anbieterlizenzen (MiniMax-M3) enthalten Bedingungen, die spätestens beim Produkt-Launch relevant werden. Die Rechtsabteilung sollte die LICENSE-Datei im Repository prüfen, nicht das Badge auf der Model Card.

  3. (03)

    Die beworbene Kontextlänge ist eine Kapazitätsangabe, keine Qualitätsangabe. Nahezu jedes Flaggschiff nennt heute 1M Token. Der Unterschied liegt darin, ob die Attention-Architektur diesen Kontext bezahlbar ausliefert — GLM-5.2 (IndexShare), DeepSeek-V4 (hybrid CSA/HCA) und MiniMax (MSA) existieren genau deshalb. Long-Context-Qualität vor der Cluster-Dimensionierung an den eigenen Dokumenten messen.

  4. (04)

    Das Modell auf die Schleife matchen, nicht auf den Durchschnitt. Ein Coding-Agent mit 200 Tool-Calls pro Aufgabe belohnt Modelle, die in einem Agent-Harness nachtrainiert wurden (Kimi K2.7 Code, GLM-5.2). Ein RAG-Endpunkt mit kurzen Antworten bei hohem Volumen belohnt Durchsatz und wenige aktive Parameter (gpt-oss, Qwen3.5-35B-A3B, MiniMax-M3). Das sind zwei verschiedene Anschaffungen.

  5. (05)

    Früh auf einen Serving-Stack standardisieren. vLLM und SGLang decken den Multi-GPU-Server ab — PagedAttention, Continuous Batching, Speculative Decoding; Ollama und llama.cpp decken Laptops und Einzel-GPU-Maschinen ab. Erst den Stack wählen, dann das Modell: Dann ist ein späterer Modellwechsel eine Config-Änderung — und genau das ist der Sinn von Open Weights.

  6. (06)

    Nicht ein Lock-in gegen das nächste tauschen. Den gesamten Stack auf die Gewichte eines einzigen Labs zu stellen — Meta, Alibaba oder wer auch immer — stellt genau die Abhängigkeit wieder her, wegen der man die API-Anbieter verlassen hat. Ein Gateway oder ein OpenAI-kompatibler Proxy vor den Modellen macht den Wechsel zur Konfigurationsfrage; mindestens eine zweite Modellfamilie sollte auf den eigenen Evals qualifiziert bleiben.

  7. (07)

    Releases gegen die Primärquelle prüfen. 2026 haben mehrere Medien Modellgewichte als am angekündigten Termin veröffentlicht gemeldet, während die Hugging-Face-Organisation des Anbieters noch gar kein entsprechendes Repository hatte. Vor einer Migration die Modellliste der Organisation direkt auf Hugging Face prüfen — Drittanbieter-Derivate mit passendem Namen täuschen jede reine Stichwortsuche.

Häufige Fragen

(01)Was ist der Unterschied zwischen Open Source und Open Weights?
Open Weights bedeutet: Die trainierten Modellgewichte sind unter einer Nutzungslizenz herunterladbar — man kann das Modell selbst betreiben, feintunen und ausliefern. Open Source im strengen Sinn würde zusätzlich Trainingsdaten, Trainingscode und Tokenizer voraussetzen, was praktisch kein Modell auf Frontier-Größe offenlegt. Qwen3.5, GLM-5.2, gpt-oss, DeepSeek-V4, Gemma 4 und Mistral sind allesamt Open Weights; echte Open-Source-Modelle wie OLMo oder Pythia existieren vor allem im Forschungskontext. Die Begriffe synonym zu verwenden ist üblich, verdeckt aber die eigentliche Frage: Was erlaubt die Lizenz konkret?
(02)Welches ist das beste Open-Weight-LLM 2026?
Es gibt keinen einzelnen Sieger, aber einen verlässlichen Standard: Qwen3.5, weil Alibaba dieselbe Architektur von 0,8B bis 122B-A10B unter Apache 2.0 veröffentlicht — eine Familie deckt den Laptop-Prototyp und den Produktions-Cluster ab. Für Long-Horizon-Agenten und Coding ist GLM-5.2 (MIT, 1M Kontext) die stärkste selbst hostbare Option. Für maximale Leistung auf einer einzelnen GPU: gpt-oss-120b. Für Frontier-Reasoning bei einer Million Token: DeepSeek-V4. Nach Randbedingung wählen, nicht nach Leaderboard-Platz.
(03)Welche Hardware brauche ich für ein selbst gehostetes Open-Weight-LLM?
Die Spanne umfasst drei Größenordnungen. gpt-oss-20b (21B Parameter, 3,6B aktiv) läuft in 16 GB Speicher, also auf Workstation oder High-End-Laptop. gpt-oss-120b (117B, 5,1B aktiv) passt dank MXFP4-Quantisierung auf eine einzige 80-GB-GPU wie H100 oder MI300X. Mittelgroße MoE-Modelle wie Qwen3.5-122B-A10B oder Mistral Small 4 wollen typischerweise einen 8-GPU-Knoten. Riesen-MoEs wie DeepSeek-V4-Pro (1,6T) oder Kimi K2.7 Code (1T) brauchen einen echten Cluster — deshalb mieten die meisten Teams diese über einen Anbieter, statt sie selbst zu hosten.
(04)Sind Open-Weight-Modelle gut genug, um kommerzielle APIs zu ersetzen?
Für einen großen Teil der Produktions-Workloads ja — und ehrlicherweise ist das inzwischen eine Kosten-, Latenz- und Kontrollentscheidung, keine Fähigkeitslücke. Open-Weight-Modelle erledigen Klassifikation, Extraktion, Zusammenfassung, RAG und viel Routine-Codegenerierung in einer Qualität, die Endnutzer nicht von einer kommerziellen API unterscheiden. Die verbleibende Lücke zeigt sich beim schwersten Reasoning und bei langen agentischen Ketten. Die pragmatische Architektur ist hybrid: das Massenvolumen selbst hosten, den schweren Rest an eine Frontier-API routen und ein Gateway zwischen Anwendung und beides setzen.
(05)Darf ich Open-Weight-Modelle kommerziell nutzen?
Das hängt vollständig von der Lizenz ab, und die Lizenzen unterscheiden sich real. Apache 2.0 (Qwen3.5, gpt-oss-120b/20b, Gemma 4, Mistral Small 4 und Large 3) und MIT (GLM-5.2, DeepSeek-V4) erlauben kommerzielle Nutzung ohne Copyleft-Pflichten. Kimi K2.7 Code erscheint unter Modified MIT, MiniMax-M3 unter eigenen Anbieterbedingungen — beide sind im Regelfall kommerziell nutzbar, tragen aber Bedingungen, die man gelesen haben muss. Immer die LICENSE-Datei im tatsächlichen Repository öffnen, bevor ein Produkt auf ein Modell festgelegt wird.
(06)Warum ist Self-Hosting für DSGVO und EU-Datenresidenz relevant?
Weil Self-Hosting die Übermittlung komplett entfallen lässt. Laufen die Gewichte auf eigener Infrastruktur — in einer EU-Region, im eigenen Rechenzentrum oder vollständig air-gapped —, verlässt kein Prompt und kein Dokument den eigenen Rechtsraum. Aus einer komplexen Drittlandtransfer-Prüfung wird damit eine gewöhnliche interne Verarbeitungsfrage. Deshalb evaluieren regulierte DACH-Organisationen zunehmend zuerst Open-Weight-Modelle, und deshalb ist Mistrals europäische Herkunft plus Apache-2.0-Lizenz ein deutlich einfacheres Beschaffungsgespräch als eine US- oder China-gehostete API — unabhängig von Benchmark-Werten.
(07)Welchen Serving-Stack sollte ich für selbst gehostete Modelle nutzen?
Für Multi-GPU-Server sind vLLM und SGLang die beiden Standards — beide bieten Continuous Batching, PagedAttention-artiges KV-Cache-Management, Tensor-Parallelität und Speculative Decoding, und für beide liefern die Model Cards fertige Startbefehle. Für Laptops, Einzel-GPUs und Edge-Geräte sind Ollama und llama.cpp die praktische Wahl, mit GGUF-Quantisierungen für praktisch jedes Modell aus diesem Guide. Den Stack vor dem Modell wählen: Der ganze Vorteil von Open Weights ist, dass ein Familienwechsel eine Konfigurationsänderung sein sollte.
(08)Wie halte ich ein Open-Weight-Deployment aktuell, ohne jedes Quartal neu zu bauen?
Die drei Ebenen entkoppeln. Ein OpenAI-kompatibler Endpunkt (vLLM, SGLang oder ein Gateway wie LiteLLM) bleibt die stabile Schnittstelle, mit der die Anwendung spricht. Die eigene Eval-Suite gehört in die Versionsverwaltung, damit ein neuer Checkpoint in Stunden statt Wochen qualifiziert ist. Und mindestens zwei Modellfamilien sollten jederzeit qualifiziert sein. Die Release-Kadenz liegt 2026 bei grob einem Quartal pro Lab — Ziel ist also nicht, jedem Release hinterherzulaufen, sondern den Wechsel billig genug zu machen, um die relevanten mitzunehmen.
(09)Was ist mit den neuen Flash-Modellen (GLM-5.3-Flash, DeepSeek V4.1 Flash, Qwen3.8-Flash-Next)?
Sie sind nach dem Juli-Schnappschuss dieses Guides erschienen und werden ausführlich in unserem Begleitartikel „Aktuelle Open-Weight-LLMs & die Hardware, auf der sie laufen (September 2026)“ behandelt. Kurzfassung: GLM-5.3-Flash (320B MoE, ~18B aktiv, MIT) ist der stärkste Open-Weight-Coder der Flash-Klasse; DeepSeek V4.1 Flash (552B MoE, MIT) ist die Preis-Leistungs-Wahl; Qwen3.8-Flash-Next (125B + 51B n-gram, ~6B aktiv) ist der Vorschau-Checkpoint der Qwen4-Architektur. Die nativen FP8-Gewichte der ersten beiden brauchen einen 8-GPU-Knoten; Community-EXL3-Quants laufen auf 1–4 DGX Sparks mit dokumentierten Fidelity-Trade-offs.
(10)Ist dieser Guide nach den Veröffentlichungen von August/September 2026 noch aktuell?
Ja, für die etablierten Familien, die er rankt (Qwen3.5, GLM-5.2, gpt-oss, DeepSeek-V4, Gemma 4, Kimi K2.7, Mistral, MiniMax-M3) — keine davon wurde durch die Flash-Releases verdrängt; diese bilden eine neue Klasse unterhalb der Flaggschiffe, keinen Ersatz. Der Begleitartikel von September 2026 ordnet die neuen Modelle konkreten Hardware-Stufen zu, vom 16-GB-Laptop bis zum 8-GPU-Knoten, und die TLDR dieses Guides verlinkt dorthin. Wir verifizieren das Ranking quartalsweise.

Bereit für Ihr KI-Projekt?

Buchen Sie ein kostenloses 30-Minuten-Gespräch, um Ihre Anforderungen zu besprechen.