Causal Encoder-Decoder

Ein Causal Encoder-Decoder ist eine zweistufige neuronale Architektur, die ein grosses kausales (autoregressives) Sprachmodell als Encoder mit einem kleinen, nicht-kausalen Decoder kombiniert. Der Encoder liest die Eingabe sequenziell und erzeugt kontextualisierte Repräsentationen; der deutlich kleinere Decoder nimmt diese Repräsentationen parallel auf und generiert die eigentliche Ausgabe — daher „asymmetrisch": Encoder und Decoder unterscheiden sich stark in Grösse und Rechenweise. Die Konstruktion trennt die beiden teuersten Prozesse: Das Sprachverständnis wird einmalig vom vortrainierten kausalen Encoder geleistet, die Sprachgenerierung vom schnellen, nicht-kausalen Decoder. Weil der Decoder um ein Vielfaches kleiner ist als der Encoder, entstehen Tokens mit niedriger Latenz und kleinem Speicherfussabdruck — in aktuellen Modellveröffentlichungen reduziert auf rund 890 Bytes KV-Cache pro Token. Im Unterschied zum klassischen Encoder-Decoder-Transformator (zwei etwa gleich grosse Teile) wiederverwendet der Causal Encoder-Decoder das Pretraining des kausalen Basismodells unverändert. Ein reines Decoder-only-Modeln nutzt denselben kausalen Pfad für Eingabe-Verarbeitung und Ausgabe-Generierung, wodurch das Arbeitsgedächtnis mit jedem zusätzlichen Token wächst. Für die Praxis: Causal Encoder-Decoder eignen sich besonders für agentic Workflows mit langen Kontexten und häufigen Tool-Aufrufen, weil der Encoder-Zustand gecacht werden kann und der Decoder schnell daraus generiert. Die Architektur findet sich in aktuellen Open-Weight-Modellen, die grossen Kontext und niedrige Latenz bei moderatem Hardware-Bedarf kombinieren.