Lokale KI · Rezept · 1× DGX Spark

Ornith-1.5 35B FP8 mit vLLM auf 1× DGX Spark

von sfxnz

Für dieses Rezept ist kein Tempowert belegt. Die Seite ist deshalb nicht indexiert.

Intelligenz (Originalmodell) · Artificial Analysiskein unabhängiger Wert

Engine

Engine
vLLM
Quantisierung
ModelOpt W4A16_NVFP4-Experten + FP8-Attention, FP8-KV, Marlin MoE, FlashInfer, MTP-3 (triton)
Modellfamilie
Ornith-1.5
Kontext
262.144
Parameter
35B-A3B (Repo-Titel); HF-API safetensors total 19,528,501,104
Kreator
sfxnz
GitHub-Sterne
1
Repo-Stand
4. Sept. 2026

Messwerte

Alle belegten Werte dieses Rezepts, je mit Bedingung und Quelle. Balken im Verhältnis zum größten Wert der Gruppe.

Zeit bis zum ersten Token

Kürzer ist besser.

  • Prompt nicht angegeben121 msKontext 256 in / 128 out (random) · Mean TTFT der completions-256/128 max-concurrency-1-Tabelle Quelle 

Was brauche ich

Hardware
1 × NVIDIA DGX Spark (GB10)
Engine
vLLM
Kontext
262.144 Token

Verwandte Rezepte

1× DGX Spark
71,8tok/sAlltag

1 Anfrage, Prosa-Prompt (gesampelt, Thinking aus), mit LiLiCorr (laut Rezept) Quelle 

Intelligenzkein unabhängiger Wert
  • ≤ 3 bit: Quantisierung kann Qualität kosten
  • Eigener Kernel nötig
  • Lizenz ungeklärt

24GB pack: IQ2_XXS experts (2.0625 bits), NVFP4 Mamba projections, Q8_0 attention/latent projections/lm_head; bf16 KVTensorFold tensorfold-native v1.1.6 (eea9dc9c) + recipe patches/ (Bolt lane backend, libbolt.so CUDA forward pass), LiLiCorr draftsGewichte Repo Stand 1. Nov. 2026

Details
1× DGX Spark
59,4tok/sAlltag

1 Anfrage, Chat-Prompt (20 Prompts, Thinking aus), ohne Drafting (Standardprofil) Quelle 

Intelligenzkein unabhängiger Wert
  • Eigener Kernel nötig

EXL3 6.08 bpw (28,3 GB), FP16 KV; nur Textpfad (Vision-Tower wird von ExLlamaV3 nicht ausgeführt)ExLlamaV3 1.5.0 (Fork r0b0tlab/exllamav3-r0b0t, Branch minicpm-v4.7-dspark @ 5ddae7d12448), torch 2.14.0+cu130Gewichte Repo Stand 14. Okt. 2026

Details

← Zur Übersicht

Lokale KI im eigenen Unternehmen?

Im Workshop klären wir, welche Modelle und welche Hardware zu Ihren Aufgaben passen, und bauen den ersten Agenten auf Ihrer Infrastruktur.