Aufgeführt unter Theoretische PhilosophiePraktische Philosophie

Tracing Normative Reasoning in Language Models

In Begutachtung. Mit Pierre Beckmann. (+Begleitwebsite)

Fragt, ob die praktischen Entscheidungen von Sprachmodellen von einer Empfänglichkeit für normative Erwägungen geleitet sind, die sie gegeneinander abwägen, oder ob die Modelle bloss „rohe Entscheidungen“ hervorbringen. Diese empirische Studie zur mechanistischen Interpretierbarkeit erstellt einen Atlas von 1105 normativen Begriffen aus 75 Quellen und identifiziert in den Aktivierungen zweier Modelle, Qwen3-32B und Gemma 4 31B, Richtungen, die diesen Begriffen entsprechen und nicht bloss den Wörtern, die sie ausdrücken. Beantwortet ein Modell ein Dilemma unmittelbar, spielen diese Repräsentationen eine entscheidende kausale Rolle und werden gegeneinander abgewogen. Überlegt es, neigt es oft erst in die eine und dann in die andere Richtung; die Begriffe, die vor jedem Umschwung aktiver werden, sagen diese Wechsel voraus, und verstärkt man sie, ändert sich das Ergebnis wie vorhergesagt. Die Geometrie der normativen Begriffe stimmt in beiden Modellen mit Schwartz’ Wertekreis und untereinander überein. Wir schliessen daraus, dass die Entscheidungen der Modelle in menschlichen normativen Begriffen lesbar sind, was kausale Ansatzpunkte gegen unerwünschtes Verhalten bieten könnte, wenn Modelle als Agenten handeln.

PDF herunterladen