FP4 Quantization (FP4-Quantisierung)

FP4 Quantization bezeichnet die Darstellung von Modellgewichten oder Aktivierungen in einem vier Bit breiten Gleitkommaformat. Statt Werte mit 16 oder 32 Bit zu speichern, werden sie stark komprimiert, behalten aber eine kleine Exponentenstruktur, die für neuronale Netze nützlicher sein kann als reine Ganzzahlformate. Der praktische Effekt ist vor allem Speicher- und Bandbreitenersparnis. Wenn ein großes Modell oder ein Mixture-of-Experts-System viele Parameter resident halten muss, kann FP4 den Unterschied machen, ob es auf eine bestimmte GPU-Klasse passt oder nicht. Gleichzeitig ist FP4 kein kostenloser Qualitätsgewinn. Sehr niedrige Präzision kann Ausreißer, seltene Fähigkeiten oder bestimmte Aufgaben stärker treffen als einfache Benchmarks zeigen. Deshalb gehören Kalibrierung, Vergleichsläufe gegen höherpräzise Varianten und Beobachtung im Betrieb zum Pflichtprogramm, bevor produktive Entscheidungen getroffen werden. Für Unternehmen ist der Begriff wichtig, weil Anbieter Leistungsversprechen oft mit niedriger Präzision möglich machen. Wer FP4 versteht, kann besser beurteilen, ob ein scheinbar günstiges Modell wirklich zur eigenen Genauigkeit, Latenz und Infrastruktur passt.