Память искусственного интеллекта оказалась неэффективной: проект Тенуре выявил 95% ошибок

Хотя современные ассистенты на базе искусственного интеллекта мастерски пишут код, анализируют документы и поддерживают длительные диалоги, их память может работать гораздо хуже ожидаемого. Новое исследование, проведенное Джеффри Флинтом из Техасского университета, показало, что системы долговременной памяти, применяемые для больших языковых моделей (LLM), имеют фундаментальные проблемы. Современные системы хранят данные в виде математических векторов и ищут их по семантическому сходству, что приводит к серьезным ошибкам при поиске точных фактов. Об этом сообщает Иксбт.ком сообщает .

По словам Флинта, существующие бенчмарки создают иллюзию качества. Обычно оценивается финальный ответ модели, а не качество памяти. Языковая модель может скрывать ошибки поиска благодаря своим логическим знаниям. Однако, если эти данные используются не для генерации текста, а для задач, требующих точности, таких как вызовы API или настройка инфраструктуры, последствия могут быть критическими. Созданный исследователем тест ПрекисионМемБенч показал, что точность поиска фактов в популярных системах, таких как Мем0, Зеп и Хиндсигхт, составляет всего 5–8%.

Для решения этой проблемы была предложена система Тенуре. Ее ключевая особенность заключается в том, что поиск в памяти рассматривается не как задача поиска, а как управление состоянием (стате манагемент). Тенуре использует структурное хранилище так называемых «убеждений» (белиефс) вместо нечетких семантических представлений. Каждая запись представляет собой отдельный факт с указанием типа, области действия и статуса актуальности. Система отслеживает устаревшие данные и заменяет их новыми, не смешивая информацию из разных проектов.

Тенуре отказывается от векторного поиска, используя классические методы, основанные на точном совпадении терминов. Например, если пользователь говорит об использовании базы данных Редис, система вернет именно Редис, а не похожие технологии, такие как МонгоДБ или ПостгреСКЛ. В тестах векторные системы выдавали 16 ненужных фактов вместе с одним правильным ответом, тогда как Тенуре с показателем 1,0 предоставила только необходимые данные. Кроме того, в системе контексты строго изолированы, поэтому данные из старых диалогов не мешают выполнению новых задач.