---
type: "Article"
title: "Nemotron 3.5 Bolt 74B-A9B IQ2 mit vLLM auf 1× DGX Spark"
description: "Nemotron 3.5 Bolt 74B-A9B IQ2 mit vLLM auf 1× DGX Spark: Rezept von vcruz305 mit Tempo, Bedingung und Quelle je Zahl, Gewichten und Lizenz."
resource: "https://www.contextstudios.ai/de/lokale-ki/vcruz305--nemotron-3.5-bolt-74b-a9b-iq2-1spark-vllm-dflash"
language: "de"
generated:
  by: "process:contextstudios-md/1"
  at: "2026-11-11T03:38:03.172Z"
status: "stable"
---

# Nemotron 3.5 Bolt 74B-A9B IQ2 mit vLLM auf 1× DGX Spark

Nemotron 3.5 Bolt 74B-A9B IQ2 mit vLLM auf 1× DGX Spark: 87,8 tok/s laut github.com (Datensatz-Stand: 3. Nov. 2026).

- Kreator: [vcruz305](https://www.contextstudios.ai/de/lokale-ki/kreatoren/vcruz305.md)
- Engine: vLLM 0.32.0rc1.dev100+g77154ca61 (Wheel-Commit 77154ca6) + b12x 1.5.1, FlashInfer-Attention
- Quantisierung: ModelOpt IQ2 gemischt (IQ2_XXS + ausgewählte Q8_0/NVFP4/unquantisierte Tensoren, 24 GB), FP8-KV; Draft LiLiCorr NVFP4 (DFlash, 7 Tokens)
- Modellfamilie: Nemotron-3.5-Bolt-74B-A9B
- Hardware: dgx-spark x1
- Kontext: 262144

## Alle Zahlen

- 87,8 tok/s (Spitze; Spitze, 1 Anfrage, synthetischer Prompt, mit LiLiCorr/DFlash (laut Rezept)) — [source](https://github.com/vcruz305/Nemotron-3.5-Bolt-74B-A9B-24GB-vLLM-recipe#results)
- decode_tps: 87.82 (1 Anfrage) — [source](https://github.com/vcruz305/Nemotron-3.5-Bolt-74B-A9B-24GB-vLLM-recipe#results)
- prefill_tps: 1327.53 (1 Anfrage) — [source](https://github.com/vcruz305/Nemotron-3.5-Bolt-74B-A9B-24GB-vLLM-recipe#results)

## Gewichte

- [nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB) (main, other)
- [nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr) (draft, other)

[https://github.com/vcruz305/Nemotron-3.5-Bolt-74B-A9B-24GB-vLLM-recipe](https://github.com/vcruz305/Nemotron-3.5-Bolt-74B-A9B-24GB-vLLM-recipe)

## Related

- [Lokale KI auf Ihrer Hardware.](https://www.contextstudios.ai/de/lokale-ki.md)