---
type: "GlossaryTerm"
title: "Superposition"
description: "La superposition est un principe architectural dans les modèles de langage neuronaux: plusieurs concepts sémantiques partagent une dimension commune dans l'espa"
resource: "https://www.contextstudios.ai/fr/glossaire/superposition"
language: "fr"
tags: ["infrastructure"]
generated:
  by: "process:contextstudios-md/1"
  at: "2026-10-08T22:01:59.914Z"
status: "stable"
---

# Superposition

La superposition est un principe architectural dans les modèles de langage neuronaux: plusieurs concepts sémantiques partagent une dimension commune dans l'espace latent, analogue au chevauchement d'états quantiques. L'erreur de reconstruction par dimension diminue seulement avec l'inverse de la largeur, soit ∼1/Width. Doubler la largeur des embeddings réduit l'erreur de moitié, mais la charge de calcul et la mémoire augmentent de façon disproportionnée. À une largeur de 768, l'erreur se situe typiquement autour de 8 %; à 1.536 dimensions, elle tombe à environ 4 %. Au-delà d'un seuil spécifique au modèle, tout doublement supplémantaire apporte peu de gain; un modèle plus petit avec plus de test-time compute peut l'égaler. La superposition se distingue ainsi d'un embedding classique: là une axe encode un seul concept, ici plusieurs sens se chevauchent sur la même position.