Искусственный интеллект и человеческое мышление: языковые модели не могут полностью объяснить процесс чтения

Последние исследования, проведённые учёными Нью-Йоркского университета и Университета Массачусетса в Амхерсте, показали наличие важных различий между технологиями искусственного интеллекта и механизмами восприятия текста человеческим мозгом. Согласно данным, опубликованным в научном журнале Прокидингс оф те Натионал Академй оф Скиенкес (ПНАС), было установлено, что используемый в современных нейросетях показатель предсказания следующего слова или токена не может полностью отражать процесс исправления ошибок в тексте человеческим мозгом. Об этом сообщает Иксбт.ком сообщает .

Известно, что системы искусственного интеллекта при анализе текста в основном опираются на теорию вероятностей и математическую величину, называемую «сюрпризалом» (сурприсал). Этот показатель оценивает, насколько неожиданным для алгоритмов является определённое слово с учётом предыдущего контекста. Однако специалисты доказали, что такой подход не способен в полной мере охватить сложные когнитивные действия человека в процессе чтения.

Ход эксперимента и основные выводы

В ходе исследования учёные изучили движения глаз 368 взрослых читателей с помощью специальной технологии ее-тракинг (отслеживания взгляда). Полученные результаты сравнили с оценками вероятности слов, рассчитанными 409 различными языковыми моделями. Участникам эксперимента показали специально составленные предложения, синтаксически неоднозначные и такие, в которых смысл неожиданно менялся в процессе чтения.

Полученные результаты показали, что статистические предсказания нейросетей хорошо объясняют лишь процесс первоначального беглого чтения текста и быстрого понимания знакомых понятий. Замедления при первом чтении текста соответствовали показателю сюрпризала моделей. Однако выяснилось, что этот показатель не способен предсказывать повторный анализ и движение глаз назад, которые человек выполняет при столкновении со сложными предложениями.

Различия между человеческим мозгом и нейросетями

Эксперимент ещё раз подтвердил, что чтение текста человеком представляет собой многоэтапный процесс. Когда первоначальная интерпретация нарушается, человек осознанно возвращает взгляд к предыдущим фрагментам текста, чтобы исправить ошибку и восстановить логическую связь. Нейросети же лишь оценивают линейную вероятность, не пересчитывая иерархические грамматические связи.

По словам авторов, эта научная работа не ставила целью преуменьшить значение языковых моделей, а, напротив, чётко определяет границы их применения в когнитивных науках. Вероятность следующего токена нельзя использовать как единственный эквивалент сложности человеческого восприятия.

В будущем при создании систем оценки понятности интерфейсов или программ, помогающих людям, испытывающим трудности с чтением, нельзя будет полагаться только на авторегрессионные вероятности. Разработчикам также потребуется внедрять механизмы структурного анализа и инструменты фиксации синтаксических ошибок для определения сложности текста.