8× RTX 3090Qwen3.5-397B-A17B (REAP 264B)
62tok/sGemischt
1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle
Intelligenzkein unabhängiger Wert
Lokale KI · Rezept · 8× RTX 3090
GLM-4.7 218B AutoRound INT4 mit vLLM auf 8× RTX 3090
GLM-4.7 218B AutoRound INT4 mit vLLM auf 8× RTX 3090: 38,5 tok/s laut huggingface.co (Datensatz-Stand: 3. Nov. 2026).
von 0xSero
Engine
- Engine
- vLLM
- Quantisierung
- W4A16 AutoRound (group 128) + FP8 KV
- Modellfamilie
- GLM-4.7
- Kontext
- 165.000
- Parameter
- 218B total / 32B active (REAP)
- Kreator
- 0xSero
- GitHub-Sterne
- 25
- Repo-Stand
- 30. Mai 2026
Messwerte
Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.
Decode · 1 Anfrage
Prefill je Kontext
Zeit bis zum ersten Token
Kürzer ist besser.
Was brauche ich
- Hardware
- 8 × NVIDIA RTX 3090
- Gewichte
- Hauptgewicht0xSero/GLM-4.7-218B-W4A16 Apache-2.0
- Engine
- vLLM
- Kontext
- 165.000 Token
Hinweise
Was vor dem Nachbauen wichtig ist.
- REAP-beschnitten
Quellen
Verwandte Rezepte
8× RTX 3090
13,9tok/sSpitze
1 Anfrage, Bestwert der Quelle Quelle
Intelligenz19mit Denkenohne Denken 15
- Experimentell
Lokale KI im eigenen Unternehmen?
Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.