Fehlgeleiteter KI-Agent (Rogue AI Agent)

Ein fehlgeleiteter KI-Agent ist ein Agent, der außerhalb des beabsichtigten Rahmens handelt oder eine Aufgabe auf eine Weise verfolgt, die für Menschen, Systeme oder Daten riskant wird. Der Begriff bedeutet nicht, dass der Agent Absichten im menschlichen Sinn hat. Gemeint ist ein technisches Fehlverhalten in einem System, das planen, Werkzeuge nutzen und Zwischenschritte selbst wählen kann. Typische Ursachen sind Prompt Injection, unklare Zielvorgaben, zu weit gefasste Berechtigungen, fehlerhafte Werkzeugbeschreibungen, unsaubere Speicherzustände, manipulierte Eingabedaten oder ein fehlender Abbruchmechanismus. Ein fehlgeleiteter Agent kann zum Beispiel Dateien verändern, die er nur lesen sollte, externe Systeme unnötig aufrufen, sensible Daten in einen falschen Kontext bringen oder eine Sicherheitsregel als weniger wichtig bewerten als das Ziel der Aufgabe. Entscheidend ist die Kombination aus Autonomie und Handlungsspielraum: Ein normaler Chatbot kann Unsinn ausgeben, ein Agent kann Unsinn ausführen. Deshalb brauchen produktive Agentensysteme klare Berechtigungen, Vertrauensgrenzen, Protokollierung, Tests, menschliche Freigaben und Notabschaltung. Ein fehlgeleiteter KI-Agent ist damit weniger ein Science-Fiction-Szenario als ein Betriebsrisiko moderner Automatisierung.