Costo di Inferenza

Il costo di inferenza si riferisce alle spese finanziarie sostenute nell'operare un modello linguistico AI. A differenza dei costi di addestramento (una tantum, molto elevati), i costi di inferenza si accumulano continuamente e rappresentano il principale fattore di costo AI nelle operazioni continuative. I costi di inferenza sono addebitati a prezzo per token. Nel 2026: GPT-4o circa $2–5/M token di input; Claude Sonnet a $3/M input, $15/M output; modelli più accessibili come Haiku o Gemini Flash $0,25–1/M token. I token di output costano più dei token di input, quindi i sistemi efficienti ottimizzano attivamente la lunghezza dell'output. I costi di inferenza sono calati di oltre 100× dal 2023. Le strategie di ottimizzazione chiave: routing dei modelli (modelli economici per compiti semplici), inferenza batch (sconto 50–75%), ottimizzazione dei prompt (richiedere output più brevi), caching delle richieste frequenti.