KI-Infrastruktur
Superposition
- Definition
- Superposition ist ein Architekturprinzip in neuronalen Sprachmodellen: Mehrere semantische Konzepte teilen sich eine gemeinsame Dimension im latente Raum, ähnlich der Überlagerung von Quantenzuständen. Der Rekonstruktionsfehler pro Dimension fällt dabei nur mit dem Kehrwert der Breite, also ∼1/Width. Verdoppelt man die Embedding-Breite, halbiert sich der Fehler – Rechenlast und Speicherbedarf wachsen aber überproportional. Bei einer Breite von 768 liegt der Fehler typischerweise bei rund 8 %, bei 1.536 Dimensionen sinkt er auf etwa 4 %. Jenseits einer modell-spezifischen Schwelle bringt weiteres Doubling kaum noch Gewinn; ein kleineres Modell mit mehr Test-Time-Compute kann dann gleichziehen. Superposition unterscheidet sich damit vom klassischen Embedding: Dort kodiert eine Achse ein einzelnes Konzepts, hier überlagern sich mehrere Bedeutungen auf derselben Position.
- Kategorie
- KI-Infrastruktur
Im Detail: Superposition
Superposition ist ein Architekturprinzip in neuronalen Sprachmodellen: Mehrere semantische Konzepte teilen sich eine gemeinsame Dimension im latente Raum, ähnlich der Überlagerung von Quantenzuständen. Der Rekonstruktionsfehler pro Dimension fällt dabei nur mit dem Kehrwert der Breite, also ∼1/Width. Verdoppelt man die Embedding-Breite, halbiert sich der Fehler – Rechenlast und Speicherbedarf wachsen aber überproportional. Bei einer Breite von 768 liegt der Fehler typischerweise bei rund 8 %, bei 1.536 Dimensionen sinkt er auf etwa 4 %. Jenseits einer modell-spezifischen Schwelle bringt weiteres Doubling kaum noch Gewinn; ein kleineres Modell mit mehr Test-Time-Compute kann dann gleichziehen. Superposition unterscheidet sich damit vom klassischen Embedding: Dort kodiert eine Achse ein einzelnes Konzepts, hier überlagern sich mehrere Bedeutungen auf derselben Position.
Produktionsreife Leitplanken