Quantisierung

Ternary Bonsai 2 drückt Qwen3.8-27B auf 5,95 GB — 98,2 % der Qualität. Was das für 16-GB- und 8-GB-Setups heißt, mit eigener Cluster-Messung.

Das IST-DASLab liefert Qwen3.8-27B als GGUF in vier Größen — von 8,4 bis 11,8 GB. IQ3_S hält 99,8 % der Basisleistung bei 4,6-facher Verkleinerung und passt auf 16-GB-Karten. Mit Messtabelle, Token-Raten und Entscheidungsregel.

Von 8 GB bis 512 GB VRAM: welche lokalen KI-Modelle auf deiner Hardware laufen — mit den Produktionsrezepten und Benchmarks von Mia's AI Lab.

DeepSeek-V4-Flash aktiviert 13 Mrd. Parameter pro Token, resident sind 284 Mrd. Die Experten liegen in FP4 – das bestimmt fast die gesamte Speicherrechnung.