Time-to-First-Token (TTFT)

Le Time-to-First-Token (TTFT) est une métrique de performance clé pour les grands modèles de langage qui mesure le délai entre l'envoi d'une requête et la réception du premier token généré. Le TTFT est crucial pour la réactivité perçue des applications IA – des valeurs plus basses signifient des premières réponses plus rapides. Les valeurs TTFT typiques vont de moins de 100ms pour les modèles edge optimisés à plusieurs secondes pour les grands modèles de raisonnement. Des facteurs tels que la taille du modèle, le matériel (GPU vs WSE), la longueur du prompt et les stratégies de cache KV influencent significativement le TTFT. En 2026, le TTFT est un différenciateur clé entre les fournisseurs, le WSE de Cerebras et les modèles optimisés comme GPT-5.3-Codex-Spark atteignant des valeurs particulièrement basses.