Ihr Ziel
Sichtbar werden, wo KI antwortet
Prozesse automatisieren
Ein Produkt bauen
KI-Agenten einsetzen
Systeme verbinden und modernisieren
Wissen, wo wir stehen
Use Cases
CRMKundenbeziehungen stärkenBeliebtE-CommerceOnline-Umsatz steigernBuchungssystem24/7 Termine annehmenProjektmanagementTeams koordinierenRechnungswesenSchneller bezahlt werdenAnalyticsDatenbasiert entscheiden· von Context Studios
Geprüft von Michael Kerkhoff, Stand
Qwen3.5 lokal auf dem NVIDIA DGX Spark: Modellgrößen, Quants, llama.cpp-Setup, reale tok/s und wann sich der Spark gegenüber Mac Studio oder Cloud rechnet.
Bestes Preis-Leistungs-Verhältnis für Dauerverbraucher. Qwen3.5 30B in Q4 läuft mit 60–90 tok/s, 30B in Q8 noch mit 30–40 tok/s, und dank 128 GB passen alle Varianten bis 70B-A3B komfortabel hinein. 4.299 € UVP, im Handel ab ca. 3.999 €.
Die entspannteste Lösung für Modelle ab 100 GB. Qwen3.5 30B-A3B in 4-Bit schafft 80–110 tok/s auf der M5 Ultra, 70B-A3B 80–100 tok/s. Große MoE bis 235B-A22B laufen flüssig im Hauptspeicher. Dafür startet die Konfiguration bei ca. 7.000 €.
Der Workstation-Klassiker bleibt relevant: Qwen3.5 30B-A3B in Q4 mit 120–160 tok/s, dank 800 GB/s Bandbreite auch bei langen Kontexten stabil. Nachteil: 24–32 GB VRAM reichen nur bis 30B-A3B oder 14B dense in höheren Quants. Ab ca. 2.400 €, gebrauchte RTX 3090 ab 1.200 €.
Für Einsteiger mit sparsamen Workloads: Qwen3.5 4B/8B in Q4 läuft mit 15–30 tok/s und deckt Chat sowie kurze Analysen ab. Ab 30B wird es zäh. Cloud-APIs sind unter 10 Requests/Tag meist günstiger als jede eigene Hardware.
| Name | Plattform | Speicher | Qwen3.5-Variante | Typische tok/s | Stärken |
|---|---|---|---|---|---|
| (01) NVIDIA DGX Spark (GB10, 128 GB) | Kompakter Desktop mit 128 GB Coherent Memory und NVFP4-Beschleunigung | GB10 Grace Blackwell, 128 GB LPDDR5x, llama.cpp / NVIDIA AI Workbench | 1–5 Personen | 4.299 € UVP, ab ca. 3.999 € | ✓ Ja |
| (02) Apple Mac Studio M5 Ultra | Höchster Durchsatz pro Watt bei großen Kontexten und MoE-Modellen | M5 Ultra, bis 512 GB Unified Memory, llama.cpp / MLX | 2–10 Personen | ca. 7.000–10.000 € je nach RAM | ✓ Ja |
| (03) NVIDIA RTX 5090 Workstation | Maximale Tokens/s für einzelne, große Dense- und A3B-Modelle | Blackwell, 24–32 GB GDDR7, llama.cpp / vLLM / TensorRT-LLM | 1–3 Personen | ab ca. 2.400 €, gebraucht RTX 3090 ab 1.200 € | ✓ Ja |
| (04) Mac mini M4/M5 (16–32 GB) oder Cloud-API | Einstieg und gelegentliche Aufgaben ohne Infrastruktur | Apple Silicon, Ollama / LM Studio / MLX | 1 Person | ab ca. 900 € bzw. nutzungsbasiert | – Nein |
← Horizontal scrollen, um alle Spalten zu sehen
Hardware und Budget zuerst klären: Der Spark lohnt sich für Dauerverbraucher mit 30 und mehr Requests pro Tag; darunter ist die Cloud oft günstiger.
Modellgröße an den Speicher koppeln: Bis 100 GB läuft Qwen3.5 auf dem Spark komfortabel, 100 bis 200 GB geht mit Abstrichen, darüber Mac Studio einplanen.
Q4_K_M als Standardquant wählen: Guter Kompromiss aus Qualität und Geschwindigkeit; für empfindliche Ausgaben Q5 oder Q6 testen.
Engine nach Anwendfall wählen: llama.cpp für Agenten- und Tool-Workflows, MLX auf Apple-Hardware, vLLM für hohe Parallelität.
Immer mit dem 1.0-Prompt testen: Vor jedem Quant-Vergleich denselben Prompt durch dieselbe Pipeline laufen lassen.
Server dauerhaft laufen lassen und per API anbinden: Der llama-server ist der zuverlässigste Weg, Qwen3.5 in Bestehendes zu integrieren.
Buchen Sie ein kostenloses 30-Minuten-Gespräch, um Ihre Anforderungen zu besprechen.
