---
type: "Article"
title: "GLM-5.3-Flash W4A16 (FP8-Experten) mit SGLang auf 2× RTX PRO 6000"
description: "GLM-5.3-Flash W4A16 (FP8-Experten) mit SGLang auf 2× RTX PRO 6000: Rezept von helixml mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/helixml--glm53-flash-w4a16-fp8exp-sglang-eagle-2xpro6000"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:30:10.367Z"
status: "stable"
---

# GLM-5.3-Flash W4A16 (FP8-Experten) mit SGLang auf 2× RTX PRO 6000

GLM-5.3-Flash W4A16 (FP8-Experten) mit SGLang auf 2× RTX PRO 6000: 165 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [helixml](https://www.contextstudios.ai/de/lokale-ki/kreatoren/helixml.md)
- Engine: SGLang (Image sha256:899fe8eb…, TP2, EAGLE adaptiv: 5 Steps / 6 Draft-Tokens, modelopt_mixed) hinter ramjet v0.8.0
- Quantisierung: W4A16 NVFP4 (K32) + FP8-Experten (ormandj, weight-only), FP8-KV (e4m3), bf16 Mamba/SSM-State
- Modellfamilie: GLM-5.3-Flash
- Hardware: rtx-pro-6000 x2
- Kontext: 524288
- Artificial Analysis Intelligence Index: 41.8 ([source](https://artificialanalysis.ai/models/glm-5-3-flash))

## Alle Zahlen

- 165 tok/s (Spitze; Spitze, 1 Anfrage, Bestwert der Quelle, mit EAGLE) — [source](https://github.com/helixml/ramjet#models-with-a-validated-stack)
- decode_tps: 164.8 (1 Anfrage) — [source](https://github.com/helixml/ramjet#models-with-a-validated-stack)

## Gewichte

- [ormandj/GLM-5.3-Flash-W4A16-NVFP4-K32-Experts-FP8-WO](https://huggingface.co/ormandj/GLM-5.3-Flash-W4A16-NVFP4-K32-Experts-FP8-WO) (main, mit)
- [zai-org/GLM-5.3-Flash](https://huggingface.co/zai-org/GLM-5.3-Flash) (base, mit)

[https://github.com/helixml/ramjet](https://github.com/helixml/ramjet)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)