KI-Inferenz

KI-Inferenz (auch AI Inference) bezeichnet den Prozess, bei dem ein trainiertes KI-Modell eine Eingabe verarbeitet und eine Vorhersage oder Ausgabe generiert. Im Gegensatz zum Training, das einmalig und rechenintensiv ist, findet Inferenz bei jeder einzelnen Nutzeranfrage statt — ob bei einem Chatbot, einem Coding-Assistenten oder einer Bildanalyse. Die Inferenz ist daher der mit Abstand kostenrelevanteste Faktor im KI-Betrieb: Während ein Modell einmal trainiert wird (Kosten im Millionenbereich), wird es millionenfach pro Tag für Inferenz genutzt. Die wichtigsten Metriken sind Time-to-First-Token (TTFT) für die Latenz und Tokens-per-Second (TPS) für den Durchsatz. Moderne Inferenz-Optimierungen umfassen Quantisierung (Reduktion der Rechengenauigkeit), Batching (Bündelung mehrerer Anfragen), Speculative Decoding und spezialisierte Hardware wie NVIDIAs Blackwell-Architektur. Für Unternehmen ist die Wahl zwischen Batch-Inferenz (günstig, aber langsam) und Echtzeit-Inferenz (schnell, aber teurer) eine zentrale Architekturentscheidung.