Aufgeführt unter Theoretische Philosophie
World Modeling in Transformers
arXiv 2609.21748. 2026. Mit Pierre Beckmann und André Freitas. doi:10.48550/arXiv.2609.21748
Zeigt, dass Verhaltensfehler einen Transformer so erscheinen lassen können, als fehle ihm ein Weltmodell, obwohl er getreue Repräsentationen seiner Umgebung gelernt hat. Bei TaxiGPT, einem auf zufälligen Wegen durch Manhattan trainierten Transformer, dessen Fehler als Beleg für eine inkohärente interne Karte gedeutet worden waren, zeigen mechanistische Analysen und kausale Interventionen, dass das Modell Kreuzungen und Strassen repräsentiert, seine Position verfolgt und mit einem Zielkompass navigiert; seine Fehler gehen auf Interferenzen zwischen überlagerten Kreuzungsmerkmalen zurück, deren Folgen durch eine Bündelung nach Affordanzen begrenzt werden, die Kreuzungen mit denselben zulässigen Bewegungen zusammenfasst. Schlägt mechanistische Indikatoren zum Vergleich von Modellen vor, die zeigen, dass Fähigkeiten der Weltmodellierung in unterschiedlichen Trainingsphasen entstehen, und plädiert dafür, statt zu fragen, ob ein Modell ein Weltmodell hat, seine Weltmodellierung mechanistisch zu untersuchen.
PDF herunterladen