Rlhf

Deux défis fondamentaux définissent le développement des LLM en 2026 : le Mode Collapse réduit la diversité des sorties par l'entraînement d'alignement, tandis que le Context Rot dégrade les performances du modèle à mesure que les fenêtres de contexte s'agrandissent. Cet article analyse ces deux phénomènes et présente des solutions pratiques comme le Verbalized Sampling et le Context Engineering systématique.