Inteligencia artificial y pensamiento humano: los modelos de lenguaje no pueden explicar por completo el proceso de lectura

Las últimas investigaciones realizadas por científicos de la Universidad de Nueva York y la Universidad de Massachusetts Amherst han revelado importantes diferencias entre las tecnologías de inteligencia artificial y los mecanismos del cerebro humano para comprender textos. Según los datos publicados en la revista científica Proceedings of the National Academy of Sciences (PNAS), la predicción de la siguiente palabra o token, utilizada en las redes neuronales modernas, no refleja por completo el proceso mediante el cual el cerebro humano corrige los errores en un texto. Ixbt.com informa de ello .

Se sabe que los sistemas de inteligencia artificial se basan principalmente, al analizar textos, en la teoría de la probabilidad y en una medida matemática denominada «surprisal». Para los algoritmos, este indicador evalúa hasta qué punto una palabra determinada resulta inesperada según el contexto anterior. Sin embargo, los especialistas demostraron que este enfoque no abarca plenamente las complejas operaciones cognitivas de la lectura humana.

Desarrollo del experimento y principales conclusiones

Durante el estudio, los científicos examinaron los movimientos oculares de 368 lectores adultos mediante una tecnología especial de eye tracking. Los resultados obtenidos se compararon con las estimaciones de probabilidad de las palabras proporcionadas por 409 modelos de lenguaje diferentes. A los participantes se les presentaron frases especialmente diseñadas, sintácticamente ambiguas y cuyo significado cambiaba inesperadamente durante la lectura.

Los resultados mostraron que las predicciones estadísticas de las redes neuronales explican bien únicamente la lectura inicial y fluida del texto, así como la comprensión rápida de conceptos conocidos. Las ralentizaciones durante la primera lectura coincidieron con el indicador de surprisal de los modelos. Sin embargo, este indicador resultó incapaz de predecir el nuevo análisis que realiza una persona al enfrentarse a frases complejas y los movimientos de los ojos de regreso a pasajes anteriores.

Diferencias entre el cerebro humano y las redes neuronales

El experimento confirmó una vez más que la lectura humana es un proceso de varias etapas. Cuando la interpretación inicial se ve alterada, la persona devuelve conscientemente la mirada a partes anteriores del texto para corregir su error y restablecer la coherencia lógica. Las redes neuronales, en cambio, solo evalúan probabilidades lineales, sin recalcular las relaciones gramaticales jerárquicas.

Los autores subrayan que este trabajo científico no pretende restar importancia a los modelos de lenguaje, sino definir con precisión los límites de su uso en las ciencias cognitivas. La probabilidad del siguiente token no puede utilizarse como único equivalente de la complejidad de la percepción humana.

En el futuro, no será posible basarse únicamente en probabilidades autorregresivas para crear sistemas que evalúen la claridad de las interfaces o programas destinados a ayudar a personas con dificultades de lectura. Los desarrolladores también deberán incorporar mecanismos de análisis estructural preciso del texto y herramientas capaces de detectar errores sintácticos.