---
type: "Article"
title: "GLM-5.2 753B INT4/INT8 mit vLLM auf 4× DGX Spark"
description: "GLM-5.2 753B INT4/INT8 mit vLLM auf 4× DGX Spark: Rezept von Weschera mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/weschera--glm52-quanttrio-int4-int8-mtp5-4x-dgx-spark"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-10-02T20:06:28.505Z"
status: "stable"
---

# GLM-5.2 753B INT4/INT8 mit vLLM auf 4× DGX Spark

GLM-5.2 753B INT4/INT8 mit vLLM auf 4× DGX Spark: 32,5 tok/s laut github.com (Datensatz-Stand: 29. Sept. 2026).

- Kreator: [Weschera](https://www.contextstudios.ai/de/lokale-ki/kreatoren/weschera.md)
- Engine: vLLM
- Quantisierung: QuantTrio Int4-Int8Mix (W4A16 MoE-Experts / W8A16 dense+MTP, compressed-tensors, data-free; Layer 0 + Attention-Indexer BF16); KV nvfp4_ds_mla (400 B/Token)
- Modellfamilie: GLM-5.2
- Hardware: dgx-spark x4
- Kontext: 316000

## Alle Zahlen

- 32,5 tok/s (Spitze; Spitze, 1 Anfrage, Bestwert der Quelle, Kontext 200k) — [source](https://github.com/Weschera/GLM-5.2-QuantTrio-4x-DGX-Spark/blob/main/README.md)
- decode_tps: 32.5 (1 Anfrage) — [source](https://github.com/Weschera/GLM-5.2-QuantTrio-4x-DGX-Spark/blob/main/README.md)

## Gewichte

- [QuantTrio/GLM-5.2-Int4-Int8Mix](https://huggingface.co/QuantTrio/GLM-5.2-Int4-Int8Mix) (main, mit)

[https://github.com/Weschera/GLM-5.2-QuantTrio-4x-DGX-Spark](https://github.com/Weschera/GLM-5.2-QuantTrio-4x-DGX-Spark)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)