Weltmodelle
2 Texte
Mechanistic Indicators of Understanding in Large Language Models
Philosophical Studies. 2026. Mit Pierre Beckmann. doi:10.1007/s11098-026-02513-1
Stützt sich auf detaillierte technische Evidenz aus der Forschung zur mechanistischen Interpretierbarkeit (MI), um zu zeigen, dass LLMs zwar tiefgreifend von menschlicher Kognition abweichen, aber mehr tun als Wort‑Ko‑Okkurrenzen zu zählen: Sie bilden interne Strukturen, die sich fruchtbar mit verschiedenen Formen menschlichen Verstehens vergleichen lassen, etwa mit begrifflichem, faktischem und prinzipiellem Verständnis. Wir synthetisieren die bislang relevantesten Befunde der MI und betten sie in einen integrativen theoretischen Rahmen ein, um über Verständnis in LLMs nachzudenken. Wie das Phänomen „parallel mechanisms“ zeigt, sind die Unterschiede zwischen LLMs und menschlicher Kognition jedoch ebenso philosophisch ergiebig wie die Ähnlichkeiten.
PDF herunterladen
World Modeling in Transformers
arXiv 2609.21748. 2026. Mit Pierre Beckmann und André Freitas. doi:10.48550/arXiv.2609.21748
Zeigt, dass Verhaltensfehler einen Transformer so erscheinen lassen können, als fehle ihm ein Weltmodell, obwohl er getreue Repräsentationen seiner Umgebung gelernt hat. Bei TaxiGPT, einem auf zufälligen Wegen durch Manhattan trainierten Transformer, dessen Fehler als Beleg für eine inkohärente interne Karte gedeutet worden waren, zeigen mechanistische Analysen und kausale Interventionen, dass das Modell Kreuzungen und Strassen repräsentiert, seine Position verfolgt und mit einem Zielkompass navigiert; seine Fehler gehen auf Interferenzen zwischen überlagerten Kreuzungsmerkmalen zurück, deren Folgen durch eine Bündelung nach Affordanzen begrenzt werden, die Kreuzungen mit denselben zulässigen Bewegungen zusammenfasst. Schlägt mechanistische Indikatoren zum Vergleich von Modellen vor, die zeigen, dass Fähigkeiten der Weltmodellierung in unterschiedlichen Trainingsphasen entstehen, und plädiert dafür, statt zu fragen, ob ein Modell ein Weltmodell hat, seine Weltmodellierung mechanistisch zu untersuchen.
PDF herunterladen