---
type: "Article"
title: "GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark"
description: "GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark: Rezept von bertholomus mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/bertholomus--glm-5.3-exl3-3.0bpw-tensorfold-4x-dgx-spark"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:30:12.530Z"
status: "stable"
---

# GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark

GLM-5.3 EXL3 3.0 bpw mit TensorFold auf 4× DGX Spark: ~36 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [bertholomus](https://www.contextstudios.ai/de/lokale-ki/kreatoren/bertholomus.md)
- Engine: TensorFold 0.6.0 + bertholomus glm-dsa-tp4 branch (release numbers on 3eb35dd, head ddfad35), image nvcr.io/nvidia/pytorch:26.07-py3, TP4 over direct RoCE, MTP-3 drafting, config B (1M window, DCP4, --parallel 4)
- Quantisierung: EXL3 3.0 bpw (exllamav3 1.5.3; routed experts 3.0, attention/shared/dense ~5, MTP experts 4, lm_head 6; 3.04 bpw avg), Q5 latent cache
- Modellfamilie: GLM-5.3
- Hardware: dgx-spark x4
- Kontext: 1048576
- Artificial Analysis Intelligence Index: 44.8 ([source](https://artificialanalysis.ai/models/glm-5-3))

## Alle Zahlen

- ~36 tok/s (Spitze; Spitze, 1 Anfrage, Prompt-Typ nicht genannt, Bereich 33–39 tok/s, mit MTP-3 (laut Rezept)) — [source](https://github.com/bertholomus/glm-5.3-tensorfold-tp4-4xgb10#release-numbers-2026-10-04-branch-glm-dsa-tp4--3eb35dd-4-gb10-greedy-mtp-3)
- decode_tps: 36 (1 Anfrage) — [source](https://github.com/bertholomus/glm-5.3-tensorfold-tp4-4xgb10#release-numbers-2026-10-04-branch-glm-dsa-tp4--3eb35dd-4-gb10-greedy-mtp-3)
- prefill_tps: 402 (1 Anfrage) — [source](https://github.com/bertholomus/glm-5.3-tensorfold-tp4-4xgb10#release-numbers-2026-10-04-branch-glm-dsa-tp4--3eb35dd-4-gb10-greedy-mtp-3)

## Gewichte

- [bertholomus/GLM-5.3-EXL3-3.0bpw](https://huggingface.co/bertholomus/GLM-5.3-EXL3-3.0bpw) (main, other)
- [zai-org/GLM-5.3](https://huggingface.co/zai-org/GLM-5.3) (base, other)

[https://github.com/bertholomus/glm-5.3-tensorfold-tp4-4xgb10](https://github.com/bertholomus/glm-5.3-tensorfold-tp4-4xgb10)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)