Сунъий интеллект хотираси самарасиз бўлиб чиқди: Тенуре лойиҳаси 95 фоиз хатоликни аниқлади

Замонавий сунъий интеллект ассистентлари код ёзиш, ҳужжатларни таҳлил қилиш ва узоқ мулоқотларни давом эттиришда маҳоратли бўлса-да, уларнинг хотираси кутилганидан анча ёмон бўлиши мумкин. Техас университети тадқиқотчиси Жеффрей Флйнт томонидан ўтказилган янги тадқиқот шуни кўрсатдики, катта тил моделлари (LLM) учун қўлланиладиган узоқ муддатли хотира тизимлари фундаментал муаммоларга эга. Ҳозирги тизимлар маълумотларни математик векторлар кўринишида сақлайди ва уларни семантик ўхшашлик бўйича қидиради, бу эса аниқ фактларни топишда жиддий хатоликларга сабаб бўлади. Бу ҳақда Ixbt.com хабар беради.

Флйнтнинг таъкидлашича, мавжуд бенчмарклар сифат иллюзиясини яратмоқда. Одатда моделнинг якуний жавоби баҳоланади, хотира сифати эмас. Тил модели қидирувдаги хатоларни ўзининг мантиқий билимлари ҳисобига яшириши мумкин. Бироқ, агар бу маълумотлар матн яратиш учун эмас, балки API чақирувлари ёки инфратузилмани созлаш каби аниқлик талаб қиладиган вазифалар учун ишлатилса, оқибатлар критик бўлади. Тадқиқотчи томонидан яратилган ПресисионМемБенч тести Мем0, Зеп ва Ҳиндсигҳт каби машҳур тизимларда фактларни топиш аниқлиги бор-йўғи 5–8 фоизни ташкил этишини кўрсатди.

Ушбу муаммони ҳал қилиш учун Тенуре тизими таклиф этилди. Унинг асосий хусусияти шундаки, хотира қидирув вазифаси сифатида эмас, балки ҳолатни бошқариш (стате манагемент) сифатида кўрилади. Тенуре ноаниқ семантик тасвирлар ўрнига "ишончлар" (белиефс) деб аталувчи структуравий омборни қўллайди. Ҳар бир ёзув тури, амал қилиш соҳаси ва долзарблик ҳолатига эга бўлган алоҳида факт ҳисобланади. Тизим эскирган маълумотларни кузатиб боради ва уларни янгилари билан алмаштиради, турли лойиҳалар маълумотларини аралаштириб юбормайди.

Тенуре векторли қидирувдан воз кечиб, терминларнинг аниқ мос келишига асосланган классик усуллардан фойдаланади. Масалан, агар фойдаланувчи Редис маълумотлар базасидан фойдаланаётганини айтса, тизим МонгоДБ ёки ПостгреСҚЛ каби ўхшаш технологияларни эмас, айнан Редисни қайтаради. Синовларда векторли тизимлар битта тўғри жавоб билан бирга 16 та кераксиз фактни чиқарган бўлса, Тенуре 1,0 кўрсаткичи билан фақат керакли маълумотни тақдим этди. Шунингдек, тизимда контекстлар қатъий изоляция қилинган бўлиб, эски мулоқотлардаги маълумотлар янги вазифаларга халақит бермайди.