LLMs
DeepSeek-V4-Flash passt, weil die Experten in 4 Bit liegen
DeepSeek-V4-Flash aktiviert 13 Mrd. Parameter pro Token, resident sind 284 Mrd. Die Experten liegen in FP4 – das bestimmt fast die gesamte Speicherrechnung.
vor 21 Tagen
Alle Artikel zum Thema Mixture Of Experts
DeepSeek-V4-Flash aktiviert 13 Mrd. Parameter pro Token, resident sind 284 Mrd. Die Experten liegen in FP4 – das bestimmt fast die gesamte Speicherrechnung.
Zhipu AIs GLM-5 erreicht 50 Punkte im Intelligence Index v4.0 und ist damit das erste Open-Weight-Modell auf dem Niveau von GPT-5.2 und Claude Opus 4.5 bei agentischen Coding-Benchmarks.