Inference

OpenAI ha pubblicato i primi benchmark per Jalapeño, il suo chip ASIC di inferenza proprietario. I risultati mostrano maggiore efficienza energetica e latenza ridotta rispetto ai sistemi commerciali, offrendo grandi vantaggi soprattutto per i carichi di lavoro interattivi ed agentici.

Scopri il metodo Cost-per-Task: una guida di 30 minuti per valutare se cambiare LLM basandoti su task reali, costi effettivi e latenza, invece di fare affidamento su punteggi di benchmark astratti.