Yapay zeka belleği verimsiz çıktı: Tenure projesi %95 hata oranını tespit etti

Modern yapay zeka asistanları kod yazma, belge analizi ve uzun süreli diyalogları sürdürme konusunda yetenekli olsa da, bellek performansları beklenenden çok daha kötü olabilir. Teksas Üniversitesi araştırmacısı Jeffrey Flynt tarafından yapılan yeni bir araştırma, büyük dil modelleri (LLM) için kullanılan uzun vadeli bellek sistemlerinin temel sorunlara sahip olduğunu gösterdi. Mevcut sistemler verileri matematiksel vektörler olarak saklar ve semantik benzerliğe göre arama yapar; bu durum, kesin gerçekleri bulmada ciddi hatalara yol açar. Bu konuda Ixbt.com haber veriyor.

Flynt'a göre, mevcut kıyaslamalar (benchmarklar) kalite yanılsaması yaratıyor. Genellikle modelin nihai cevabı değerlendirilir, bellek kalitesi değil. Dil modeli, arama hatalarını mantıksal bilgileriyle gizleyebilir. Ancak, bu veriler metin üretimi için değil, API çağrıları veya altyapı yapılandırması gibi doğruluk gerektiren görevler için kullanılırsa, sonuçlar kritik olabilir. Araştırmacı tarafından geliştirilen PrecisionMemBench testi, Mem0, Zep ve Hindsight gibi popüler sistemlerde gerçekleri bulma doğruluğunun sadece %5–8 olduğunu gösterdi.

Bu sorunu çözmek için Tenure sistemi önerildi. Temel özelliği, bellek aramasının bir arama görevi olarak değil, durum yönetimi (state management) olarak ele alınmasıdır. Tenure, belirsiz semantik temsiller yerine "inançlar" (beliefs) olarak adlandırılan yapısal bir depo kullanır. Her kayıt, türü, etki alanı ve güncellik durumuna sahip ayrı bir gerçek olarak kabul edilir. Sistem eskimiş verileri izler ve bunları yenileriyle değiştirir, farklı projelerin verilerini karıştırmaz.

Tenure, vektör aramasından vazgeçerek terimlerin tam eşleşmesine dayanan klasik yöntemleri kullanır. Örneğin, kullanıcı Redis veritabanını kullandığını belirtirse, sistem MongoDB veya PostgreSQL gibi benzer teknolojileri değil, doğrudan Redis'i döndürür. Testlerde vektör sistemleri tek bir doğru cevapla birlikte 16 gereksiz gerçek sunarken, Tenure 1,0 puanla yalnızca gerekli veriyi sağladı. Ayrıca, sistemde bağlamlar kesin olarak izole edilmiştir, böylece eski diyaloglardaki veriler yeni görevleri engellemez.