Quantizzazione

IST-DASLab fornisce Qwen3.8-27B in GGUF da 8,4 a 11,8 GB. IQ3_S mantiene il 99,8 % delle prestazioni base con riduzione 4,6× e sta sulle schede da 16 GB. Tabella dei file, tassi misurati e regola di decisione.

Da 8 GB a 512 GB di VRAM: quali modelli IA locali girano sulla tua hardware — con le ricette di produzione e i benchmark di Mia's AI Lab.

DeepSeek-V4-Flash attiva 13 Mld di parametri per token ma ne tiene 284 Mld residenti. Gli esperti sono in FP4: è questo a fissare quasi tutta la memoria.