Lokale KI · Rezept · 8× RTX 3090

Qwen3.5-397B-A17B FP8 mit vLLM auf 8× RTX 3090

Qwen3.5-397B-A17B FP8 mit vLLM auf 8× RTX 3090: 62 tok/s laut huggingface.co (Datensatz-Stand: 3. Nov. 2026).

62tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation

Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Gemischt (Decode)62 tok/s„~62 tokens/s at batch_size=1“ (Quelle mit ~); Promptlänge nicht angegeben Quelle
Spitze (Decode)62 tok/s„~62 tokens/s at batch_size=1“ (Quelle mit ~); Promptlänge nicht angegeben Quelle

Was vor dem Nachbauen wichtig ist.

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.