KI-Speicher erweist sich als ineffizient: Tenure-Projekt erkennt 95-prozentige Fehlerrate

Während moderne KI-Assistenten beim Schreiben von Code, der Analyse von Dokumenten und der Führung langer Gespräche hervorragend sind, kann ihr Gedächtnis viel schlechter sein als erwartet. Eine neue Studie des Forschers Jeffrey Flynt von der University of Texas zeigt, dass Langzeitgedächtnissysteme für große Sprachmodelle (LLMs) grundlegende Probleme aufweisen. Aktuelle Systeme speichern Daten als mathematische Vektoren und suchen nach semantischer Ähnlichkeit, was zu schwerwiegenden Fehlern beim Auffinden exakter Fakten führt. Berichtet von Ixbt.com Bericht .

Laut Flynt erzeugen bestehende Benchmarks eine Illusion von Qualität. Typischerweise wird die endgültige Antwort des Modells bewertet, nicht die Gedächtnisqualität. Ein Sprachmodell kann Suchfehler durch sein logisches Wissen verschleiern. Wenn diese Daten jedoch nicht zur Textgenerierung, sondern für präzisionskritische Aufgaben wie API-Aufrufe oder Infrastrukturkonfiguration verwendet werden, sind die Folgen kritisch. Der vom Forscher entwickelte PrecisionMemBench-Test zeigte, dass die Genauigkeit beim Auffinden von Fakten in beliebten Systemen wie Mem0, Zep und Hindsight nur 5–8 % betrug.

Zur Lösung dieses Problems wurde das Tenure-System vorgeschlagen. Sein Hauptmerkmal ist, dass die Gedächtnissuche nicht als Suchaufgabe, sondern als Zustandsverwaltung (State Management) betrachtet wird. Tenure verwendet ein strukturiertes Repository namens "Beliefs" (Überzeugungen) anstelle vager semantischer Darstellungen. Jeder Eintrag ist eine separate Tatsache mit Typ, Geltungsbereich und Relevanzstatus. Das System verfolgt veraltete Daten und ersetzt sie durch neue Informationen, ohne Daten aus verschiedenen Projekten zu vermischen.

Tenure verzichtet auf die Vektorsuche und nutzt klassische Methoden, die auf exakter Übereinstimmung von Begriffen basieren. Wenn ein Benutzer beispielsweise angibt, die Redis-Datenbank zu verwenden, gibt das System genau Redis zurück, nicht ähnliche Technologien wie MongoDB oder PostgreSQL. In Tests lieferten Vektorsysteme 16 unnötige Fakten zusammen mit einer richtigen Antwort, während Tenure mit einem Wert von 1,0 nur die erforderlichen Daten bereitstellte. Zudem sind Kontexte im System streng isoliert, sodass Daten aus alten Gesprächen neue Aufgaben nicht stören.