Model Quality Drift (Modellqualitätsdrift)

Model Quality Drift bezeichnet den messbaren Qualitätsverlust eines KI-Modells im laufenden Betrieb. Ein System, das beim Rollout stabil funktioniert hat, liefert Wochen oder Monate später schlechtere Ergebnisse, obwohl derselbe Use Case bedient wird. Typische Ursachen sind veränderte Eingabedaten (Data Drift), neue Nutzeranfragen, geänderte Toolchains, Prompt-Updates oder Modell-Updates beim Anbieter. In der Praxis zeigt sich Drift oft zuerst in steigenden Korrekturaufwänden, mehr Halluzinationen, schlechterer Klassifikationsgüte oder längeren Bearbeitungszeiten in Agent-Workflows. Wichtig ist: Drift ist kein einmaliger Bug, sondern ein operatives Risiko. Deshalb braucht es kontinuierliche Qualitätskontrolle mit klaren Metriken, zum Beispiel Task-Erfolgsrate, Fehlerrate, Antwortkonsistenz und Business-KPIs pro Prozess. Unternehmen kombinieren dafür Offline-Evaluierungen auf stabilen Benchmark-Sets mit Online-Monitoring im Produktivbetrieb. Zusätzlich helfen Segmentanalysen nach Kundengruppe, Kanal oder Sprache, um Drift-Hotspots früh zu erkennen. Bei Abweichungen greifen abgestufte Gegenmaßnahmen wie Prompt-Rollback, Guardrail-Anpassungen, Routing auf andere Modelle oder gezieltes Fine-Tuning. Ergänzend werden häufig Canary-Rollouts und automatische Alarm-Schwellen eingesetzt, damit Qualitätsabfälle nicht erst beim Kunden auffallen. So bleibt KI-Leistung über Zeit steuerbar statt zufällig.