Inferenz

DeepSeek-V4-Flash passt, weil die Experten in 4 Bit liegen

DeepSeek-V4-Flash aktiviert 13 Mrd. Parameter pro Token, resident sind 284 Mrd. Die Experten liegen in FP4 – das bestimmt fast die gesamte Speicherrechnung.