Modèles du monde
2 écrits
Mechanistic Indicators of Understanding in Large Language Models
Philosophical Studies. 2026. Avec Pierre Beckmann. doi:10.1007/s11098-026-02513-1
Mobilise des données techniques détaillées issues de la recherche sur l’interprétabilité mécaniste (MI) pour soutenir que, bien que les LLM diffèrent profondément de la cognition humaine, ils font plus que comptabiliser des cooccurrences de mots : ils forment des structures internes que l’on peut comparer de façon féconde à différentes formes de compréhension humaine, telles que la compréhension conceptuelle, factuelle et principielle. Nous synthétisons les résultats les plus pertinents à ce jour de la MI tout en les inscrivant dans un cadre théorique intégrateur pour penser la compréhension dans les LLM. Le phénomène des « parallel mechanisms » montre toutefois que les différences entre les LLM et la cognition humaine sont aussi philosophiquement fécondes à considérer que les similarités.
Télécharger le PDF
World Modeling in Transformers
arXiv 2609.21748. 2026. Avec Pierre Beckmann et André Freitas. doi:10.48550/arXiv.2609.21748
Montre que des échecs comportementaux peuvent donner l’impression qu’un transformer est dépourvu de modèle du monde alors même qu’il a appris des représentations fidèles de son environnement. Dans le cas de TaxiGPT, un transformer entraîné sur des trajets aléatoires à travers Manhattan, dont les échecs avaient été interprétés comme le signe d’une carte interne incohérente, l’analyse mécaniste et des interventions causales révèlent un modèle qui représente les intersections et les rues, suit sa propre position et s’oriente à l’aide d’une boussole pointée vers son but ; ses échecs tiennent aux interférences entre des représentations d’intersections superposées, dont un « regroupement par affordances », qui rapproche les intersections offrant les mêmes déplacements autorisés, limite les conséquences. Propose des indicateurs mécanistes permettant de comparer les modèles, qui montrent que les capacités de modélisation du monde émergent à différents stades de l’entraînement, et plaide pour que l’on passe de la question de savoir si un modèle possède un modèle du monde à l’étude mécaniste de sa modélisation du monde.
Télécharger le PDF