DE
Gespräch buchen

Lokale KI · Rezept · 2× RTX 3090

Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090

Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090: 62,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

von tonyd2wild

62,2tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation

Quelle: github.com
Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert
Anleitung im README Repo

Engine

Engine
vLLM 0.27.1
Quantisierung
W4A16 AutoRound (GPTQ INT4, g128) + FP8 e5m2 KV
Modellfamilie
Nanbeige4.3-33B
Kontext
131.072
Parameter
33B dense
Kreator
tonyd2wild
GitHub-Sterne
3
Repo-Stand
26. Okt. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Decode · 1 Anfrage

  • Alltag (Decode)62,2 tok/sProse, C1, thinking off, temp 0, 400-Token-Antworten, ohne Draft Quelle 
  • Spitze (Decode)66,2 tok/sCode, C1, thinking off, ohne Draft Quelle 

Prefill je Kontext

  • 17.0731.765 tok/sCold (Prefix-Cache aus), C1, TTFT 9.67 s Quelle 

Zeit bis zum ersten Token

Kürzer ist besser.

Was brauche ich

Hardware
2 × NVIDIA RTX 3090
Engine
vLLM 0.27.1
Kontext
131.072 Token

Hinweise

Was vor dem Nachbauen wichtig ist.

  • tool-calling

Quellen

Verwandte Rezepte

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.

Zum KI-WorkshopZur Übersicht
Cookies

Mit Ihrer Einwilligung nutzen wir Google Analytics (Google, USA) und unsere eigene Reichweitenmessung, um zu verstehen, wie unsere Website genutzt wird. Technisch notwendige Speicherungen, etwa Ihre Cookie-Auswahl, erfolgen ohne Einwilligung. Ihre Wahl können Sie jederzeit über „Cookie-Einstellungen“ im Footer ändern. Datenschutzerklärung · Cookie-Richtlinie