Zum Inhalt springen

DE

Gespräch buchen

Lokale KI · Kreator

r0b0tlab

42 veröffentlichte Rezepte.

Rezepte

1× DGX Spark

MiniCPM-V-4.7-35B-A3B EXL3 6.08 bpw mit ExLlamaV3 auf 1× DGX Spark (Text, 262k Kontext)

59,4tok/sAlltag

1 Anfrage, Chat-Prompt (20 Prompts, Thinking aus), ohne Drafting (Standardprofil) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

EXL3 6.08 bpw (28,3 GB), FP16 KV; nur Textpfad (Vision-Tower wird von ExLlamaV3 nicht ausgeführt)ExLlamaV3 1.5.0 (Fork r0b0tlab/exllamav3-r0b0t, Branch minicpm-v4.7-dspark @ 5ddae7d12448), torch 2.14.0+cu130Gewichte Repo Stand 14. Okt. 2026

1× RTX 3090

Qwen3.8 27B EXL3 4.00 bpw mit ExLlamaV3 auf 1× RTX 3090

42,8tok/sAlltag

1 Anfrage, Prosa-Prompt, ohne Spekulation Quelle

Intelligenz34mit Denken ohne Denken 20

EXL3 4.00 bpw (15.4 GiB)ExLlamaV3Gewichte Repo Stand 20. Sept. 2026

2× DGX Spark

DeepSeek-V4-Flash-Vision-Exp FP8 mit vLLM auf 2× DGX Spark

32,5tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DSpark (adaptive verification) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Experimentell
Eigener Kernel nötig

offizielle Gewichte + FP8 KVvLLMGewichte Repo Stand 3. Sept. 2026

1× DGX Spark

Qwen3.8-Flash-Next 180B NVFP4 mit SGLang auf 1× DGX Spark

26,4tok/sAlltag

1 Anfrage, Prosa-Prompt, mit MTP (NEXTN) (laut Rezept) Quelle

Intelligenz40mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 W4A4 Experts + FP8 MTPSGLang 84cf99860e30 (gepatcht)Gewichte Repo Stand 13. Sept. 2026

1× DGX Spark

GLM-5.3-Flash EXL3 2.25 bpw mit ExLlamaV3 auf 1× DGX Spark (256k Kontext)

20,6tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 K=5 (laut Rezept) Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,3 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Eigener Kernel nötig
Nicht kommerziell

EXL3 2.25 bpw (Drafter EXL3 3.00 bpw), FP16 KVExLlamaV3 v1.5.2 + TabbyAPI 816c321 (ghcr.io/r0b0tlab/glm53-flash-exl3-exllamav3-gb10:b25c467)Gewichte Repo Stand 28. Sept. 2026

1× DGX Spark

GLM-5.3-Flash EXL3 2.25 bpw mit vLLM auf 1× DGX Spark

19,5tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 (laut Rezept) Quelle

Intelligenz42mit DenkenWert des Originalmodells. Stark komprimiert (~2,3 Bit), Intelligenz dürfte deutlich niedriger liegen.

≤ 3 bit: Quantisierung kann Qualität kosten
Experimentell
Eigener Kernel nötig
Nicht kommerziell

EXL3 2.25 bpw (Drafter EXL3 3.00 bpw)vLLM v0.30.0rc1 @ a00a3544b93eGewichte Repo Stand 27. Sept. 2026

2× DGX Spark

GLM-5.3-Flash NVFP4 mit vLLM auf 2× DGX Spark (127k Kontext, mit DFlash2)

17,9tok/sAlltag

1 Anfrage, Prosa-Prompt, mit DFlash2 Quelle

Intelligenz42mit Denken

Eigener Kernel nötig
Nicht kommerziell

NVFP4 (ModelOpt, offiziell) + BF16 KVvLLM 0.28.1rc1.dev580Gewichte Repo Stand 11. Sept. 2026

1× DGX Spark

Nemotron-3.5-Lightning 30B NVFP4 mit vLLM auf 1× DGX Spark

99,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz13mit Denken

Lizenz ungeklärt

NVFP4 + FP8 KVvLLM 0.23.1rc1.dev1327+gf25953cc5Gewichte Repo Stand 11. Aug. 2026

1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit vLLM auf 1× DGX Spark (256k Kontext)

93,1tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz18mit Denken ohne Denken 15

NVFP4 + FP8 KVvLLM 0.25.0 (702f4814)Gewichte Repo Stand 15. Juli 2026

2× DGX Spark

DeepSeek-V4-Flash mit vLLM auf 2× DGX Spark (1024k Kontext)

86,9tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DSpark (laut Rezept) Quelle

Intelligenz34mit Denken

Eigener Kernel nötig

deepseek_v4_fp8 Gewichte + nvfp4_ds_mla KVvLLM 0.26.0+dspark.sm121.3Gewichte Repo Stand 3. Aug. 2026

1× DGX Spark

Ornith-1.5-35B-A3B NVFP4 mit SGLang auf 1× DGX Spark

82,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (EAGLE/nextn) (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

NVFP4 W4A16 (weight-only, ModelOpt w4_nvfp4), MTP-Kopf BF16SGLang 0.5.6.post3.dev9218+g5a7b26c63Gewichte Repo Stand 24. Aug. 2026

1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit vLLM auf 1× DGX Spark (64k Kontext)

79,7tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz18mit Denken ohne Denken 15

NVFP4 experts + FP8 dense (compressed-tensors) + FP8 KVvLLM 0.24.1-devGewichte Repo Stand 10. Juli 2026

1× DGX Spark

Nemotron-3.5-Lightning 30B NVFP4 mit SGLang auf 1× DGX Spark

66,7tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash Quelle

Intelligenz13mit Denken

Lizenz ungeklärt

NVFP4 (W4A16 Marlin MoE) + FP8 KVSGLangGewichte Repo Stand 21. Aug. 2026

1× DGX Spark

XYZ-Aquila-mini NVFP4 mit vLLM auf 1× DGX Spark

64,6tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (modelopt_mixed) + FP8 KVvLLM 0.25.0 (702f4814)Gewichte Repo Stand 29. Juli 2026

2× DGX Spark

Qwen3.8-Flash-Next 180B NVFP4 mit SGLang auf 2× DGX Spark

62,1tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (NEXTN) (laut Rezept) Quelle

Intelligenz40mit Denken

Lizenz ungeklärt

NVFP4 W4A16 (ModelOpt) + FP8 E4M3 KV, MTP BF16SGLang 7d2e8fcb9a76Gewichte Repo Stand 1. Sept. 2026

1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit SGLang auf 1× DGX Spark

57,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz18mit Denken ohne Denken 15

NVFP4 (compressed-tensors)SGLangGewichte Repo Stand 19. Mai 2026

1× DGX Spark

Qwen3.6-35B-A3B NVFP4 mit vLLM auf 1× DGX Spark (4k Kontext)

45,4tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz18mit Denken ohne Denken 15

NVFP4 (Marlin backend)vLLM 0.20.1Gewichte Repo Stand 18. Mai 2026

1× DGX Spark

Laguna-XS-2.1 33B NVFP4 mit vLLM auf 1× DGX Spark

43,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (compressed-tensors) + FP8 KVvLLM v0.24.0Gewichte Repo Stand 4. Juli 2026

1× DGX Spark

Ling-3.0-flash-VL 124B NVFP4 mit vLLM auf 1× DGX Spark

43,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz25mit Denken

Eigener Kernel nötig

NVFP4 + FP8 mixed (ModelOpt 0.48) + FP8 KVvLLM vllm-ling-v3 @ e2e5751Gewichte Repo Stand 9. Sept. 2026

1× RTX 3090

Qwen3.8-Flash-Next 125B-A6B EXL3 2.50 bpw mit ExLlamaV3 auf 1× RTX 3090

38,6tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz40mit Denken

≤ 3 bit: Quantisierung kann Qualität kosten
Teils im Arbeitsspeicher
Lizenz ungeklärt

EXL3 2.50 bpw (41.5 GiB) + 3-bit n-gram TabelleExLlamaV3Gewichte Repo Stand 17. Sept. 2026

2× DGX Spark

DeepSeek-V4-Flash MXFP4 mit vLLM auf 2× DGX Spark

36,1tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz24mit Denken ohne Denken 19

Experimentell
Eigener Kernel nötig

FP8 (offiziell, block-scaled) + MXFP4 MoEvLLMGewichte Repo Stand 16. Juni 2026

1× DGX SparkNex-N2-mini (Qwen3.5-MoE)

Nex-N2-mini 35B NVFP4 mit vLLM auf 1× DGX Spark

33,4tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

NVFP4 (ModelOpt 0.44, MLP-only) + FP8 KVvLLM v0.22.0Gewichte Repo Stand 9. Juni 2026

1× DGX Spark

Gemma-4-26B-A4B NVFP4 mit vLLM auf 1× DGX Spark

29,6tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz17mit Denken ohne Denken 13

NVFP4 (ModelOpt) + FP8 KVvLLMGewichte Repo Stand 19. Mai 2026

1× RTX 3090

Qwen3.8-27B EXL3 4.00 bpw mit buun-llama-cpp auf 1× RTX 3090

27,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, Kontext 150000, mit DFlash2 (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 20

Eigener Kernel nötig

EXL3 4.00 bpw (Target + DFlash2-Draft), VBR-KV turbo8/turbo3buun-llama-cppGewichte Repo Stand 20. Sept. 2026

1× DGX Spark

Qwen3.8-27B NVFP4 mit vLLM auf 1× DGX Spark (r0b0tlab)

27,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz34mit Denken ohne Denken 20

Lizenz ungeklärt

NVFP4 (+ BF16-MTP-Kopf)vLLM v0.27.2rc0-sm121 (7f7a32c)Gewichte Repo Stand 20. Aug. 2026

1× DGX Spark

Qwen3.6-27B NVFP4 mit vLLM auf 1× DGX Spark

26,6tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz21mit Denken ohne Denken 20

NVFP4 + FP8 KVvLLM v0.25.1Gewichte Repo Stand 20. Juli 2026

2× DGX Spark

MiniMax-M2.7 NVFP4 mit vLLM auf 2× DGX Spark

24,1tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz23mit Denken

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 (ModelOpt)vLLM v0.21.1 (source build)Gewichte Repo Stand 24. Mai 2026

1× DGX Spark

Qwen3.8-27B NVFP4 mit SGLang auf 1× DGX Spark (r0b0tlab)

23,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash2 (laut Rezept) Quelle

Intelligenz34mit Denken ohne Denken 20

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 (MTP-Kopf enthalten)SGLangGewichte Repo Stand 19. Aug. 2026

1× DGX Spark

Ling-3.0-flash NVFP4 mit vLLM auf 1× DGX Spark

21,4tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP (laut Rezept) Quelle

Intelligenz25mit Denken

Eigener Kernel nötig

NVFP4 (ModelOpt, nur Experten) + FP8 KVvLLM vllm-ling-v3 @ 92c104112Gewichte Repo Stand 8. Aug. 2026

1× DGX Spark

Laguna-S-2.1 NVFP4 mit vLLM auf 1× DGX Spark

20,6tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DFlash (laut Rezept) Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig
Lizenz ungeklärt

NVFP4 + FP8 KVvLLM v0.25.1Gewichte Repo Stand 23. Juli 2026

1× DGX SparkAgents-A1 (Qwen3.5-MoE)

Agents-A1 NVFP4 mit vLLM auf 1× DGX Spark

17,5tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Experimentell

NVFP4 MLP/MoE-only (ModelOpt) + FP8 KVvLLMGewichte Repo Stand 1. Juli 2026

1× DGX Spark

Nemotron-3-Super-120B-A12B NVFP4 mit SGLang auf 1× DGX Spark

14,8tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit MTP Quelle

Intelligenz13mit Denken

Lizenz ungeklärt

NVFP4 (ModelOpt)SGLangGewichte Repo Stand 19. Mai 2026

2× DGX Spark

Step-3.7-Flash 198B NVFP4 mit vLLM auf 2× DGX Spark

13,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz20mit Denken

NVFP4 (ModelOpt 0.45.0) + FP8 KVvLLMGewichte Repo Stand 11. Juni 2026

2× DGX Spark

Laguna-M.1 225B NVFP4 mit vLLM auf 2× DGX Spark

11,4tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 + NVFP4 KVvLLMGewichte Repo Stand 20. Juni 2026

4× DGX Spark

DeepSeek-V4.1-Flash mit SGLang auf 4× DGX Spark

11,2tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, mit DSpark (laut Rezept) Quelle

Intelligenz40mit Denken ohne Denken 25

Eigener Kernel nötig

offizieller Checkpoint (unquantisiert laut REPRODUCIBILITY.md: „does not … quantize the checkpoint“)SGLangGewichte Repo Stand 16. Sept. 2026

1× DGX Spark

Muse-Glimmer-30B NVFP4 mit vLLM auf 1× DGX Spark

10,3tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz18mit Denken

Experimentell
Eigener Kernel nötig

NVFP4 (ModelOpt 0.45, eigene Quantisierung; Gewichte nicht publiziert)vLLMGewichte Repo Stand 15. Aug. 2026

1× DGX Spark

Gemma-4-31B NVFP4 mit vLLM auf 1× DGX Spark

6,88tok/sGemischt

1 Anfrage, gemischtes Prompt-Set, ohne Spekulation Quelle

Intelligenz19mit Denken ohne Denken 14

Lizenz ungeklärt

NVFP4 (ModelOpt) + FP8 KVvLLM 0.21.0Gewichte Repo Stand 19. Mai 2026

1× DGX Spark

DiffusionGemma-26B-A4B NVFP4 mit vLLM auf 1× DGX Spark

146tok/sSpitze

1 Anfrage, gemischtes Prompt-Set Quelle

Intelligenz10mit Denken

Experimentell

NVFP4 (ModelOpt) + FP8 KVvLLM day-0 DiffusionGemma-WheelGewichte Repo Stand 10. Juni 2026

1× DGX Spark

VibeThinker-3B NVFP4 mit vLLM auf 1× DGX Spark

71,3tok/sSpitze

1 Anfrage, synthetischer Prompt, Kontext 2048 Quelle

Intelligenzkein unabhängiger Wert

NVFP4 W4A4 (ModelOpt 0.44.0), FP8 KVvLLMGewichte Repo Stand 17. Juni 2026

1× DGX SparkFastContext-1.0 (Qwen3-4B)

FastContext-1.0 NVFP4 mit vLLM auf 1× DGX Spark

66,3tok/sSpitze

1 Anfrage, gemischtes Prompt-Set Quelle

Intelligenzkein unabhängiger Wert

broken

NVFP4 W4A4 (ModelOpt) + FP8 KVvLLM >=0.23Gewichte Repo Stand 18. Juni 2026

2× DGX Spark

Inkling-Small NVFP4 mit SGLang auf 2× DGX Spark

16tok/sSpitze

1 Anfrage, gemischtes Prompt-Set Quelle

Intelligenz28mit Denken

NVFP4 (modelopt_fp4)SGLangGewichte Repo Stand 7. Aug. 2026

2× DGX Spark

MiMo-V2.6-Flash NVFP4 mit SGLang auf 2× DGX Spark

kein belegter Tempowert

Intelligenzkein unabhängiger Wert

Eigener Kernel nötig

NVFP4 weights + kalibrierter FP8 KVSGLang nightly-dev-cu13 20260922-582389ceGewichte Repo Stand 30. Sept. 2026

← Zur Übersicht