Observability (KI-Systeme)
LLM-Observability bezeichnet die systematische Überwachung, Nachverfolgung und Analyse von KI-Systemen und Sprachmodellen in der Produktion. Im Gegensatz zur klassischen Software-Observability (Logs, Metriken, Traces) adressiert LLM-Observability die spezifischen Herausforderungen von generativer KI: nichtdeterministisches Verhalten, komplexe Prompt-Ketten, Tool-Calls und Kosten pro Anfrage. Zu den Kernkomponenten gehören: LLM-Tracing (vollständige Nachverfolgung von Prompts, Antworten und Metadaten je Request mit Tokens, Latenz und Modell), Tool-Monitoring (bei Agentensystemen wie Model Context Protocol wird jeder Tool-Call mit Ein- und Ausgabe protokolliert), Kostenverfolgung (Token-Verbrauch und API-Kosten werden pro Request, User oder Feature aggregiert), Qualitätsbewertung (automatische oder manuelle Bewertung von Antwortqualität, Halluzinationsrate und Prompt-Adherence) sowie Alerting (Schwellenwerte für Latenz, Fehlerrate oder Kostenspitzen lösen Benachrichtigungen aus). Tools wie Langfuse aus Berlin oder Honeycomb haben sich als Standard für produktive LLM-Observability etabliert. Ohne Observability ist es unmöglich, Qualitätsprobleme, Sicherheitsvorfälle wie Prompt-Injection-Angriffe oder Kostentreiber in KI-Systemen zu identifizieren und zu beheben.