Inferenza AI

L'inferenza AI è il processo mediante il quale un modello di machine learning già addestrato elabora nuovi dati di input per generare previsioni, testo, immagini o altri output. A differenza dell'addestramento — in cui il modello impara da dataset e aggiusta i parametri — l'inferenza utilizza un modello completamente addestrato per eseguire compiti concreti in tempo reale o in modalità batch. La distinzione economica è fondamentale: addestrare un LLM frontier costa $1M–$100M+ come spesa una tantum. L'inferenza, al contrario, avviene ad ogni richiesta dell'utente — da migliaia a miliardi di volte al giorno. Poiché milioni di utenti interagiscono quotidianamente con i servizi AI, i costi cumulativi di inferenza superano di gran lunga i costi di addestramento nel corso della vita del modello distribuito. Le metriche chiave includono il Time-to-First-Token (TTFT) che misura la latenza prima del primo token, e i Token per Secondo (TPS) che misurano il throughput. Le scelte infrastrutturali si dividono tra inferenza batch per l'elaborazione massiva e inferenza in tempo reale che richiede risposta sub-secondo per applicazioni interattive come chatbot e assistenti di programmazione. Le tecniche di ottimizzazione coprono quantizzazione (FP32 → INT8/FP4), pruning del modello, decoding speculativo e ottimizzazione della cache KV. I chip di inferenza specializzati — NVIDIA H100/B200, TPU Google, LPU Groq — offrono miglioramenti notevoli in throughput ed efficienza energetica.