In-Context Learning (ICL)

In-Context Learning (ICL) bezeichnet die Fähigkeit großer Sprachmodelle, neue Aufgaben direkt aus wenigen Beispielen im Eingabe-Prompt zu lösen – ohne Anpassung der Modellgewichte und ohne klassisches Training. Das Modell erkennt Muster aus den mitgelieferten Beispielen und überträgt diese Logik auf die eigentliche Aufgabe. Das Prinzip funktioniert durch die Struktur des Prompts: Werden dem Modell Eingabe-Ausgabe-Paare (sogenannte Shots) vorangestellt, lernt es implizit das Aufgabenformat und die erwartete Antwortlogik. Bei Zero-Shot ICL kommt das Modell ohne Beispiele aus, bei Few-Shot ICL werden typischerweise zwei bis acht Beispiele geliefert. ICL ist ein zentrales Merkmal moderner Foundation Models: Es ermöglicht die flexible Anpassung an neue Aufgaben ohne kostspieliges Fine-Tuning. Für Unternehmen bedeutet das, dass viele Anwendungsfälle – von Klassifizierung über Extraktion bis zur Übersetzung – allein durch sorgfältig gestaltete Prompts lösbar sind. Die Qualität der Beispiele im Prompt bestimmt dabei maßgeblich die Genauigkeit des Ergebnisses.