Inference Configuration (Inferenzkonfiguration)

Eine Inference Configuration ist die Gesamtheit der Laufzeit-Einstellungen, mit denen ein KI-Modell während einer Anfrage betrieben wird. Dazu gehören je nach Anbieter Parameter wie Temperatur, maximale Ausgabelänge, Reasoning-Aufwand, Tool-Auswahl, Antwortformat, Streaming, Timeout, Cache-Nutzung, Retry-Regeln und Sicherheitsfilter. Diese Einstellungen ändern nicht die Modellgewichte, können aber Qualität, Kosten, Latenz und Benchmark-Ergebnis massiv beeinflussen. Zwei Teams können also dasselbe Modell verwenden und trotzdem sehr unterschiedliche Resultate bekommen, wenn ihre Konfigurationen voneinander abweichen. Genau deshalb ist die Inference Configuration ein Teil der Architektur, nicht nur ein technisches Detail in einem API-Aufruf. In produktiven Systemen sollte sie versioniert, getestet und pro Use Case bewusst gewählt werden. Ein Chatbot braucht andere Werte als ein Coding Agent, ein Klassifikationsjob andere als ein lang laufender Research-Workflow. Wichtig ist außerdem die Trennung zwischen Modellvergleich und Betriebsvergleich: Wenn ein Modell nur mit speziellen Einstellungen gut abschneidet, muss diese Konfiguration im Alltag verfügbar, bezahlbar und auditierbar sein. Andernfalls optimiert das Team einen Sonderfall, nicht den späteren Produktionsbetrieb.