Inférence IA

L'inférence IA désigne le processus par lequel un modèle de machine learning déjà entraîné traite de nouvelles données d'entrée pour générer des prédictions, du texte, des images ou d'autres sorties. Contrairement à l'entraînement — où le modèle apprend de datasets et ajuste ses paramètres — l'inférence utilise un modèle entièrement formé pour accomplir des tâches concrètes en temps réel ou en mode batch. La distinction économique est fondamentale : entraîner un grand modèle de langage coûte $1M–$100M+ en dépense unique. L'inférence, en revanche, se produit à chaque requête utilisateur — des milliers à des milliards de fois par jour. Comme des millions d'utilisateurs interagissent quotidiennement avec des services IA, les coûts cumulatifs d'inférence dépassent largement les coûts d'entraînement sur la durée de vie du modèle déployé. Les métriques clés incluent le Time-to-First-Token (TTFT) mesurant la latence avant le premier token, et les Tokens par Seconde (TPS) mesurant le débit. Les choix d'infrastructure se divisent entre l'inférence batch pour le traitement en masse et l'inférence en temps réel nécessitant une réponse sub-seconde pour les applications interactives. Les techniques d'optimisation couvrent la quantisation (FP32 → INT8/FP4), l'élagage de modèle, le décodage spéculatif et l'optimisation du cache KV. Les puces d'inférence spécialisées — NVIDIA H100/B200, TPU Google, LPU Groq — offrent des améliorations considérables en débit et efficacité énergétique.