---
type: "Article"
title: "GLM-5.3-Flash FP4-Local (NVFP4/MXFP8) mit vLLM auf 2× DGX Spark"
description: "GLM-5.3-Flash FP4-Local (NVFP4/MXFP8) mit vLLM auf 2× DGX Spark: Rezept von myllmbox mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/myllmbox--glm53-flash-fp4-local-2x-dgx-spark"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:30:16.724Z"
status: "stable"
---

# GLM-5.3-Flash FP4-Local (NVFP4/MXFP8) mit vLLM auf 2× DGX Spark

GLM-5.3-Flash FP4-Local (NVFP4/MXFP8) mit vLLM auf 2× DGX Spark: 34,4 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [myllmbox](https://www.contextstudios.ai/de/lokale-ki/kreatoren/myllmbox.md)
- Engine: vLLM v0.32.0 (Image myllmbox/glm53-flash-cluster-vllm:v3: mbx-Loader, NVFP4-Experten auf Marlin, dynamische MTP-Draft-Tiefe 1–9, One-Shot-RoCE-All-Reduce via b12x), TP=2 über RDMA
- Quantisierung: NVIDIA FP4-Local-Checkpoint wie ausgeliefert (NVFP4-Experten, MXFP8-Dense-Layer); KV-Pool 1.145.238 Token (12G/Box); Marlin MoE
- Modellfamilie: GLM-5.3-Flash
- Hardware: dgx-spark x2
- Kontext: 400000
- Artificial Analysis Intelligence Index: 41.8 ([source](https://artificialanalysis.ai/models/glm-5-3-flash))

## Alle Zahlen

- 34,4 tok/s (Alltag; Alltag, 1 Anfrage, Prosa-Prompt (7.000-Wörter-Geschichte), mit MTP (laut Rezept)) — [source](https://github.com/myllmbox/glm53-flash-cluster-recipe/blob/main/README.md)
- decode_tps: 34.4 (1 Anfrage) — [source](https://github.com/myllmbox/glm53-flash-cluster-recipe/blob/main/README.md)
- decode_tps: 86.7 (1 Anfrage) — [source](https://github.com/myllmbox/glm53-flash-cluster-recipe/blob/main/README.md)
- prefill_tps: 1836 (1 Anfrage) — [source](https://github.com/myllmbox/glm53-flash-cluster-recipe/blob/main/README.md)
- ttft_ms: 1130 (1 Anfrage) — [source](https://github.com/myllmbox/glm53-flash-cluster-recipe/blob/main/README.md)

## Gewichte

- [nvidia/GLM-5.3-Flash-FP4-Local](https://huggingface.co/nvidia/GLM-5.3-Flash-FP4-Local) (main, other)
- [zai-org/GLM-5.3-Flash](https://huggingface.co/zai-org/GLM-5.3-Flash) (base, mit)

[https://github.com/myllmbox/glm53-flash-cluster-recipe](https://github.com/myllmbox/glm53-flash-cluster-recipe)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)