---
type: "Article"
title: "Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090"
description: "Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090: Rezept von tonyd2wild mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/tonyd2wild--nanbeige4.3-33b-w4a16-autoround-2x-rtx-3090"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-10T10:37:23.696Z"
status: "stable"
---

# Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090

Nanbeige4.3-33B W4A16 AutoRound mit vLLM auf 2× RTX 3090: 62,2 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [tonyd2wild](https://www.contextstudios.ai/de/lokale-ki/kreatoren/tonyd2wild.md)
- Engine: vLLM 0.27.1
- Quantisierung: W4A16 AutoRound (GPTQ INT4, g128) + FP8 e5m2 KV
- Modellfamilie: Nanbeige4.3-33B
- Hardware: rtx-3090 x2
- Kontext: 131072

## Alle Zahlen

- 62,2 tok/s (Alltag; Alltag, 1 Anfrage, Prosa-Prompt, ohne Spekulation) — [source](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090#c1-to-c6-sweep-per-stream-decode-toks-total-toks)
- decode_tps: 62.2 (1 Anfrage) — [source](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090#c1-to-c6-sweep-per-stream-decode-toks-total-toks)
- decode_tps: 66.2 (1 Anfrage) — [source](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090#c1-to-c6-sweep-per-stream-decode-toks-total-toks)
- prefill_tps: 1765 (1 Anfrage) — [source](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090/blob/main/results/bench_c1c6_2026-10-25.md)
- ttft_ms: 60 (1 Anfrage) — [source](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090/blob/main/results/bench_c1c6_2026-10-25.md)

## Gewichte

- [Tech2wild/Nanbeige4.3-33B-W4A16-AutoRound](https://huggingface.co/Tech2wild/Nanbeige4.3-33B-W4A16-AutoRound) (main, apache-2.0)
- [Nanbeige/Nanbeige4.3-33B](https://huggingface.co/Nanbeige/Nanbeige4.3-33B) (base, apache-2.0)

[https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090](https://github.com/tonyd2wild/Nanbeige4.3-33B-W4A16-2x-RTX-3090)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)