Inferenzkosten

Inferenzkosten bezeichnen die finanziellen Aufwendungen beim Betrieb eines KI-Modells — Kosten für die Verarbeitung jeder einzelnen Nutzeranfrage. Im Gegensatz zu Trainingskosten (einmalig, sehr hoch) fallen Inferenzkosten kontinuierlich an und stellen im laufenden Betrieb den größten KI-Kostenfaktor dar. Inferenzkosten werden typischerweise in Preis pro Token berechnet. Stand 2026: GPT-4o ca. $2–5/M Input-Tokens und $8–15/M Output-Tokens; Claude Sonnet $3/M Input, $15/M Output; günstigere Modelle wie Claude Haiku oder Gemini Flash $0,25–1/M Tokens. Output-Tokens sind teurer als Input-Tokens (wegen des Generierungsaufwands), weshalb kosteneffiziente Systeme Output-Längen aktiv optimieren. Kostentreiber: Modellgröße (mehr Parameter = höhere Kosten), Kontextlänge (längere Kontexte erhöhen Input-Token-Kosten überproportional), Output-Länge, Hardware des Anbieters, Peak-vs-Off-Peak-Nutzung und Lizenzmodell (API vs. self-hosted). Seit 2023 sind Inferenzkosten um über 100× gesunken — GPT-4-äquivalente Leistung kostet heute ~1% des 2023-Preises. Dieser Trend hält mit Blackwell und Vera Rubin an. Kostenoptimierung: Model-Routing (günstige Modelle für einfache Tasks), Batch-Inferenz (50–75% Rabatt), Prompt-Optimierung (kürzere Outputs anfordern), Caching häufiger Anfragen.