Chip di Inferenza

Un chip di inferenza è un processore a semiconduttori specializzato ottimizzato per eseguire efficientemente modelli AI durante l'inferenza. A differenza delle CPU general-purpose o delle GPU ottimizzate per l'addestramento, i chip di inferenza privilegiano throughput (TPS), efficienza energetica e bassa latenza per modelli già addestrati. Le tre categorie dominanti: GPU come le H100 e B200 Blackwell di NVIDIA, che eccellono attraverso architettura di calcolo massicciamente parallela e Tensor Core specializzati; TPU di Google, costruiti appositamente per le moltiplicazioni matriciali nelle reti neurali; e ASIC come l'LPU di Groq che raggiunge 500+ token/secondo, il CS-3 di Cerebras e i chip Inferentia di Amazon. La generazione Blackwell di NVIDIA (GB200, B200) ha ridisegnato il panorama: FP4 nativo consente 4× più operazioni per watt vs H100; 192 GB HBM3e contiene interamente anche i più grandi modelli frontier nella VRAM. Il rack GB200 NVL72 raggiunge 30× più throughput rispetto ai sistemi H100. La scelta del giusto chip di inferenza influenza profondamente costo, latenza e dimensione massima del modello.