Inferenz

Speculative Decoding mit einem harten Vertrag: schneller decodieren, ohne dass sich ein Byte ändert. Was TensorFold kann, was es kostet und wer es jetzt schon nutzen sollte.

DeepSeek-V4-Flash aktiviert 13 Mrd. Parameter pro Token, resident sind 284 Mrd. Die Experten liegen in FP4 – das bestimmt fast die gesamte Speicherrechnung.