4× RTX PRO 6000
139tok/sAlltag
1 Anfrage, Prosa-Prompt, mit MTP (laut Rezept) Quelle
Intelligenz18mit Denkenohne Denken 21
- Eigener Kernel nötig
Lokale KI · Rezept · 8× RTX 3090
Qwen3.5 35B-A3B mit vLLM auf 8× RTX 3090
von 0xSero
Intelligenz (Originalmodell) · Artificial Analysis19mit Denkenohne Denken 15
Engine
- Engine
- vLLM
- Quantisierung
- —
- Modellfamilie
- Qwen3.5
- Kontext
- —
- Parameter
- 35B MoE / 3B active
- Kreator
- 0xSero
- GitHub-Sterne
- 151
- Repo-Stand
- 10. Sept. 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Für dieses Rezept sind keine Messwerte mit Quelle belegt.
Was brauche ich
- Hardware
- 8 × NVIDIA RTX 3090
- Gewichte
- HauptgewichtQwen/Qwen3.5-35B-A3B Apache-2.0
- Engine
- vLLM
Hinweise
Was vor dem Nachbauen wichtig ist.
- Experimentell
- Offload-Aufbau
- Forschung
Quellen
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.