World Modeling in Transformers

arXiv 2609.21748. 2026. Avec Pierre Beckmann et André Freitas. doi:10.48550/arXiv.2609.21748

Montre que des échecs comportementaux peuvent donner l’impression qu’un transformer est dépourvu de modèle du monde alors même qu’il a appris des représentations fidèles de son environnement. Dans le cas de TaxiGPT, un transformer entraîné sur des trajets aléatoires à travers Manhattan, dont les échecs avaient été interprétés comme le signe d’une carte interne incohérente, l’analyse mécaniste et des interventions causales révèlent un modèle qui représente les intersections et les rues, suit sa propre position et s’oriente à l’aide d’une boussole pointée vers son but ; ses échecs tiennent aux interférences entre des représentations d’intersections superposées, dont un « regroupement par affordances », qui rapproche les intersections offrant les mêmes déplacements autorisés, limite les conséquences. Propose des indicateurs mécanistes permettant de comparer les modèles, qui montrent que les capacités de modélisation du monde émergent à différents stades de l’entraînement, et plaide pour que l’on passe de la question de savoir si un modèle possède un modèle du monde à l’étude mécaniste de sa modélisation du monde.

IA, grands modèles de langage, modèles du monde, interprétabilité mécaniste

Télécharger le PDF