Infrastruttura AI
Superposition
- Definizione
- La superposizione è un principio architettura nei modelli di linguaggio neuronauxi: più concetti sémantici condividono una dimensione commune nello spazio latente, simile alla sovrapposizione degli stati quantistici. L'errore di reconstruction per dimensione cala solo con l'inverso della larghezza, cioè ∼1/Width. Raddoppiando la larghezza degli embedding, l'errore si dimezza, ma carico di calcolo e memoria crescono in modo sproporzionato. A una larghezza di 768, l'errore si aggira tipicamente intorno all'8 %; a 1.536 dimensioni scende a circa il 4 %. Oltre una soglia specifica del modello, ogni ulteriore raddoppio porta poco guadagno; un modello più piccolo con più test-time compute può pareggiarlo. La superposizione si distingue così da un embedding classico: lì un asse codifica un solo concept, qui più significati si sovrappongono sulla stessa posizione.
- Categoria
- Infrastruttura AI
In dettaglio: Superposition
La superposizione è un principio architettura nei modelli di linguaggio neuronauxi: più concetti sémantici condividono una dimensione commune nello spazio latente, simile alla sovrapposizione degli stati quantistici. L'errore di reconstruction per dimensione cala solo con l'inverso della larghezza, cioè ∼1/Width. Raddoppiando la larghezza degli embedding, l'errore si dimezza, ma carico di calcolo e memoria crescono in modo sproporzionato. A una larghezza di 768, l'errore si aggira tipicamente intorno all'8 %; a 1.536 dimensioni scende a circa il 4 %. Oltre una soglia specifica del modello, ogni ulteriore raddoppio porta poco guadagno; un modello più piccolo con più test-time compute può pareggiarlo. La superposizione si distingue così da un embedding classico: lì un asse codifica un solo concept, qui più significati si sovrappongono sulla stessa posizione.
Guardrail pronti per la produzione