Infrastructure IA
Superposition
- Définition
- La superposition est un principe architectural dans les modèles de langage neuronaux: plusieurs concepts sémantiques partagent une dimension commune dans l'espace latent, analogue au chevauchement d'états quantiques. L'erreur de reconstruction par dimension diminue seulement avec l'inverse de la largeur, soit ∼1/Width. Doubler la largeur des embeddings réduit l'erreur de moitié, mais la charge de calcul et la mémoire augmentent de façon disproportionnée. À une largeur de 768, l'erreur se situe typiquement autour de 8 %; à 1.536 dimensions, elle tombe à environ 4 %. Au-delà d'un seuil spécifique au modèle, tout doublement supplémantaire apporte peu de gain; un modèle plus petit avec plus de test-time compute peut l'égaler. La superposition se distingue ainsi d'un embedding classique: là une axe encode un seul concept, ici plusieurs sens se chevauchent sur la même position.
- Catégorie
- Infrastructure IA
En détail: Superposition
La superposition est un principe architectural dans les modèles de langage neuronaux: plusieurs concepts sémantiques partagent une dimension commune dans l'espace latent, analogue au chevauchement d'états quantiques. L'erreur de reconstruction par dimension diminue seulement avec l'inverse de la largeur, soit ∼1/Width. Doubler la largeur des embeddings réduit l'erreur de moitié, mais la charge de calcul et la mémoire augmentent de façon disproportionnée. À une largeur de 768, l'erreur se situe typiquement autour de 8 %; à 1.536 dimensions, elle tombe à environ 4 %. Au-delà d'un seuil spécifique au modèle, tout doublement supplémantaire apporte peu de gain; un modèle plus petit avec plus de test-time compute peut l'égaler. La superposition se distingue ainsi d'un embedding classique: là une axe encode un seul concept, ici plusieurs sens se chevauchent sur la même position.
Garde-fous prêts pour la production