Red Teaming (KI-Sicherheitstests)

Red Teaming bezeichnet eine Methode, bei der ein Team von Experten absichtlich versucht, Schwachstellen, Fehler oder gefährliches Verhalten in einem KI-System aufzudecken – ähnlich wie ein Angreifer vorgehen würde. Der Begriff stammt aus der Militärplanung, wo ein Red Team die feindliche Seite simuliert, um die eigene Verteidigung zu testen. Im KI-Kontext umfasst Red Teaming systematische Angriffe auf ein Modell oder eine KI-Anwendung: Das Team versucht durch gezielte Prompts das Modell dazu zu bringen, schädliche Inhalte zu produzieren, Sicherheitsmechanismen zu umgehen oder vertrauliche Informationen preiszugeben. Diese Tests finden typischerweise vor dem öffentlichen Deployment eines KI-Systems statt. Führende KI-Unternehmen wie Anthropic setzen Red Teaming als Teil ihrer Sicherheitsevaluierungen ein, um Risikostufen zu identifizieren, bevor Modelle kommerziell eingesetzt werden. Regulatorische Rahmenwerke wie der EU AI Act empfehlen Red Teaming für Hochrisiko-KI-Systeme.