---
type: "Article"
title: "GLM-5.3-Flash TrellisMX codec-v2 FP8 mit vLLM auf 4× RTX PRO 6000"
description: "GLM-5.3-Flash TrellisMX codec-v2 FP8 mit vLLM auf 4× RTX PRO 6000: Rezept von brandonmusic mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/brandonmusic--glm53-flash-tr3-fp8-codecv2-4x-rtx6000"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:30:07.576Z"
status: "stable"
---

# GLM-5.3-Flash TrellisMX codec-v2 FP8 mit vLLM auf 4× RTX PRO 6000

GLM-5.3-Flash TrellisMX codec-v2 FP8 mit vLLM auf 4× RTX PRO 6000: 189 tok/s laut huggingface.co (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [brandonmusic](https://www.contextstudios.ai/de/lokale-ki/kreatoren/brandonmusic.md)
- Engine: vLLM (TrellisMX-Runtime, Image verdictai/trellismx:glm53-codecv2-prefill-20260927 @sha256:6240b05f…; TP4/DCP4, MTP3)
- Quantisierung: TrellisMX codec-v2 K4 (4,25 bpw Payload, Routed- + MTP-Experten) → native FP8 E4M3 Experten-Math (UE8M0/K32), FP8 KV
- Modellfamilie: GLM-5.3-Flash
- Hardware: rtx-pro-6000 x4
- Kontext: 1000000
- Artificial Analysis Intelligence Index: 41.8 ([source](https://artificialanalysis.ai/models/glm-5-3-flash))

## Alle Zahlen

- 189 tok/s (Spitze; Spitze, 1 Anfrage, Kontext 0 (78 Prompt-Token), synthetischer Dauer-Decode mit ignore-EOS, mit MTP3 (laut Rezept)) — [source](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8#reproduce-the-runtime)
- decode_tps: 189.2 (1 Anfrage) — [source](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8#reproduce-the-runtime)
- prefill_tps: 9520 (1 Anfrage) — [source](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8#reproduce-the-runtime)
- ttft_ms: 13751 (1 Anfrage) — [source](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8#reproduce-the-runtime)

## Gewichte

- [brandonmusic/glm-5.3-flash-tr3-fp8](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8) (main, mit)
- [zai-org/GLM-5.3-Flash-BF16](https://huggingface.co/zai-org/GLM-5.3-Flash-BF16) (base, mit)

[https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8](https://huggingface.co/brandonmusic/glm-5.3-flash-tr3-fp8)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)