Token al Secondo (TPS)

I Token al Secondo (TPS) sono la principale metrica di throughput per valutare le prestazioni di inferenza dei modelli linguistici AI. Misura quanti token un modello genera al secondo dopo l'inizio del processo di generazione. TPS e TTFT determinano congiuntamente la qualità complessiva dell'esperienza utente. Un token corrisponde approssimativamente a 0,75 parole in inglese o 0,5–0,6 parole in altre lingue. Benchmark TPS tipici: l'LPU di Groq raggiunge 500–800 TPS per modelli da 7B parametri; l'API Claude di Anthropic fornisce 30–100 TPS a seconda del livello del modello; i modelli open-source su H100 raggiungono 50–200 TPS. Il TPS influenza l'UX in due modi distinti. Per risposte brevi, il TTFT domina la reattività percepita. Per output lunghi — documenti, codice, analisi — il TPS diventa determinante. A 30 TPS, generare un documento di 3.000 parole richiede ~80 secondi; a 200 TPS, ~12 secondi. Per i sistemi AI vocali, un TPS minimo di 100 è necessario per la sintesi vocale senza lacune percettibili. Fattori che influenzano il TPS: dimensione del modello, livello di quantizzazione, dimensione del batch, hardware e pattern di utilizzo della cache KV.