Intelligence artificielle et pensée humaine : les modèles de langage ne peuvent pas expliquer entièrement la lecture

Les dernières recherches menées par des scientifiques de l’Université de New York et de l’Université du Massachusetts à Amherst ont révélé d’importantes différences entre les technologies d’intelligence artificielle et les mécanismes du cerveau humain responsables de la compréhension des textes. Selon les données publiées dans la revue scientifique Proceedings of the National Academy of Sciences (PNAS), il s’est avéré que la prédiction du mot ou du token suivant, utilisée par les réseaux neuronaux modernes, ne reflète pas entièrement le processus par lequel le cerveau humain corrige les erreurs dans un texte. Ixbt.com en rend compte .

On sait que les systèmes d’intelligence artificielle s’appuient principalement, lors de l’analyse des textes, sur la théorie des probabilités et sur une mesure mathématique appelée « surprisal ». Pour les algorithmes, cet indicateur évalue le degré d’inattendu d’un mot donné en fonction du contexte précédent. Cependant, les spécialistes ont démontré que cette approche ne permet pas de rendre pleinement compte des opérations cognitives complexes de la lecture humaine.

Déroulement de l’expérience et principales conclusions

Au cours de l’étude, les scientifiques ont examiné les mouvements oculaires de 368 lecteurs adultes à l’aide d’une technologie spéciale d’eye tracking. Les résultats obtenus ont été comparés aux estimations de probabilité des mots fournies par 409 modèles de langage différents. Les participants à l’expérience ont reçu des phrases spécialement conçues, syntaxiquement ambiguës et dont le sens changeait de manière inattendue au cours de la lecture.

Les résultats ont montré que les prédictions statistiques des réseaux neuronaux expliquent bien uniquement la lecture initiale et fluide du texte ainsi que la compréhension rapide des concepts familiers. Les ralentissements observés lors de la première lecture correspondaient à l’indicateur de surprisal des modèles. En revanche, cet indicateur s’est révélé incapable de prédire la réanalyse effectuée par l’être humain face aux phrases complexes, ainsi que les mouvements de retour des yeux vers les passages précédents.

Différences entre le cerveau humain et les réseaux neuronaux

L’expérience a une nouvelle fois confirmé que la lecture humaine est un processus en plusieurs étapes. Lorsque l’interprétation initiale est perturbée, l’être humain ramène consciemment son regard vers les parties précédentes du texte afin de corriger son erreur et de rétablir la cohérence logique. Les réseaux neuronaux, eux, évaluent uniquement des probabilités linéaires, sans recalculer les relations grammaticales hiérarchiques.

Les auteurs soulignent que ce travail scientifique ne vise pas à minimiser l’importance des modèles de langage, mais plutôt à définir clairement les limites de leur utilisation dans les sciences cognitives. La probabilité du token suivant ne peut pas être utilisée comme équivalent unique de la complexité de la perception humaine.

À l’avenir, il ne sera pas possible de s’appuyer uniquement sur des probabilités autorégressives pour créer des systèmes évaluant la clarté des interfaces ou des logiciels destinés à aider les personnes ayant des difficultés de lecture. Les développeurs devront également intégrer des mécanismes d’analyse structurelle précise du texte et des outils capables de détecter les erreurs syntaxiques.