Répertorié dans Philosophie théoriquePhilosophie pratique

Tracing Normative Reasoning in Language Models

En cours d’évaluation. Avec Pierre Beckmann. (+site compagnon)

Demande si les choix pratiques des modèles de langage sont guidés par une sensibilité à des considérations normatives qu’ils pèsent les unes contre les autres, ou si les modèles se bornent à produire des « choix bruts ». Cette étude empirique en interprétabilité mécaniste construit un atlas de 1 105 concepts normatifs tirés de 75 sources et identifie, dans les activations de deux modèles, Qwen3-32B et Gemma 4 31B, des directions qui correspondent à ces concepts et non aux seuls mots qui les expriment. Lorsqu’un modèle répond directement à un dilemme, ces représentations jouent un rôle causal décisif et sont pesées les unes contre les autres. Lorsqu’il délibère, il penche souvent d’un côté, puis de l’autre ; les concepts qui deviennent plus actifs avant chaque revirement prédisent ces changements, et les amplifier modifie la conclusion comme prévu. La géométrie des concepts normatifs dans les deux modèles s’accorde avec le cercle des valeurs de Schwartz, et d’un modèle à l’autre. Nous en concluons que les décisions de ces modèles sont lisibles à l’aide de concepts normatifs humains, ce qui pourrait offrir des leviers causaux sur les comportements indésirables lorsque les modèles agissent comme agents.

Télécharger le PDF