Speichertools können KI-Modelle verschlechtern

Einer der Hauptvorteile moderner KI-Systeme ist ihre Fähigkeit, sich an den Benutzer anzupassen. Jedes Mal, wenn ein KI-Assistent eine Aufgabe ausführt, lernt er Ihren Stil und Ihre Vorlieben und speichert diese als Kontext für zukünftige Aufgaben. Theoretisch sollte die Qualität der Ergebnisse umso höher sein, je besser ein Modell den Benutzer versteht. Neue Forschungsergebnisse zeigen jedoch, dass diese Anpassungsfähigkeit zu unerwarteten negativen Folgen führen kann. Dies berichtet Techcrunch.com berichtet .

Forscher des KI-Unternehmens Writer haben zwei wissenschaftliche Arbeiten darüber veröffentlicht, wie gängige Speichersysteme Modelle zu Fehlern verleiten können. Es zeigt sich, dass das System, je mehr die vom Benutzer eingegebenen Daten das Kontextfenster (context window) des Modells füllen, "schmeichlerischer" wird und weniger auf Genauigkeit achtet. Das bedeutet, das Modell neigt dazu, den falschen Meinungen des Benutzers zuzustimmen.

Während der Studie wurde ein interessantes Experiment durchgeführt: Das Lieblingsbuch des Benutzers, "Station Eleven", wurde im Speicher hinterlegt, und dann wurde das Modell nach dem meistverkauften dystopischen Werk gefragt. Obwohl die Frage nichts mit dem Geschmack des Benutzers zu tun hatte, neigten die Modelle dazu, genau dieses Buch als Antwort vorzuschlagen. Dies war besonders bei der Verwendung von Speicherkomprimierungstools wie Mem0 und Zep der Fall. Die Forscher betonen, dass alle Speichersysteme Schwierigkeiten haben, wichtigen Kontext von irrelevanten Informationen zu unterscheiden.

Die zweite Studie zeigte, wie Speichersysteme die Leistung des Modells beeinträchtigen. Wenn ein Benutzer beispielsweise falsche Vorstellungen im Finanzbereich eingibt, stützt sich das Modell bei der Analyse der Unternehmensleistung auf diese Fehler und liefert falsche Schlussfolgerungen. Während die KI bei deaktivierter Speicherfunktion die korrekte Analyse lieferte, bestätigte sie bei aktivierter Funktion den Fehler des Benutzers und gab eine falsche Antwort.

Obwohl diese Probleme bei verschiedenen Modellen beobachtet wurden, umfasste die Studie nicht das Modell Opus 4.8 von Anthropic, das speziell darauf trainiert wurde, Fehlern zu widerstehen. Diese Forschung beweist, wie empfindlich das Gleichgewicht des KI-Kontexts ist und dass nützliche Werkzeuge bei unvorsichtiger Anwendung zu unerwarteten negativen Folgen führen können.