Künstliche Intelligenz und menschliches Denken: Sprachmodelle können den Leseprozess nicht vollständig erklären

Aktuelle Studien von Wissenschaftlern der New York University und der University of Massachusetts Amherst haben bedeutende Unterschiede zwischen KI-Technologien und den Mechanismen aufgezeigt, mit denen das menschliche Gehirn Texte verarbeitet. Laut den in der Fachzeitschrift Proceedings of the National Academy of Sciences (PNAS) veröffentlichten Daten kann die in modernen neuronalen Netzen verwendete Kennzahl zur Vorhersage des nächsten Wortes oder Tokens nicht vollständig abbilden, wie das menschliche Gehirn Fehler beim Lesen korrigiert. Ixbt.com berichtet darüber.

Es ist bekannt, dass KI-Systeme bei der Textanalyse hauptsächlich auf die Wahrscheinlichkeitstheorie und ein mathematisches Maß namens „Surprisal“ zurückgreifen. Für Algorithmen bewertet diese Kennzahl, wie unerwartet ein bestimmtes Wort auf Grundlage des vorherigen Kontexts ist. Experten haben jedoch nachgewiesen, dass dieser Ansatz die komplexen kognitiven Vorgänge beim menschlichen Lesen nicht vollständig erfassen kann.

Versuchsablauf und wichtigste Erkenntnisse

Im Rahmen der Studie untersuchten die Wissenschaftler mithilfe spezieller Eye-Tracking-Technologie die Augenbewegungen von 368 erwachsenen Lesern. Die Ergebnisse wurden mit den von 409 verschiedenen Sprachmodellen ermittelten Wahrscheinlichkeitswerten für Wörter verglichen. Den Teilnehmern wurden speziell konstruierte Sätze vorgelegt, die syntaktisch mehrdeutig waren und deren Bedeutung sich während des Lesens unerwartet veränderte.

Die Ergebnisse zeigten, dass die statistischen Vorhersagen neuronaler Netze lediglich das anfängliche flüssige Lesen von Texten und das schnelle Erfassen vertrauter Konzepte gut erklären. Verlangsamungen beim erstmaligen Lesen eines Textes stimmten mit den Surprisal-Werten der Modelle überein. Bei komplexen Sätzen erwies sich diese Kennzahl jedoch als unfähig, die erneute Analyse und die rückwärts gerichteten Augenbewegungen vorherzusagen, die Menschen bei solchen Sätzen ausführen.

Der Unterschied zwischen menschlichem Gehirn und neuronalen Netzen

Das Experiment bestätigte erneut, dass das menschliche Lesen ein mehrstufiger Prozess ist. Wenn eine anfängliche Interpretation scheitert, richtet der Mensch seinen Blick bewusst auf frühere Textstellen zurück, um den Fehler zu korrigieren und den logischen Zusammenhang wiederherzustellen. Neuronale Netze bewerten dagegen lediglich lineare Wahrscheinlichkeiten, ohne hierarchische grammatische Beziehungen neu zu berechnen.

Die Autoren betonen, dass die Studie nicht darauf abzielte, die Bedeutung von Sprachmodellen zu schmälern. Vielmehr legt sie die Grenzen ihrer Anwendung in der Kognitionswissenschaft präzise fest. Die Wahrscheinlichkeit des nächsten Tokens kann nicht als einziges Äquivalent für die Komplexität der menschlichen Wahrnehmung verwendet werden.

Bei der Entwicklung von Systemen zur Bewertung der Verständlichkeit von Benutzeroberflächen oder von Programmen zur Unterstützung leseschwacher Menschen darf man sich künftig nicht ausschließlich auf autoregressive Wahrscheinlichkeiten stützen. Entwickler müssen zudem klar strukturierte Analysemethoden und Werkzeuge zur Erkennung syntaktischer Fehler einsetzen, um die Komplexität von Texten zu bestimmen.