Bellek araçları Yapay Zeka modellerini kötüleştirebilir

Modern yapay zeka sistemlerinin en temel avantajlarından biri, kullanıcıya uyum sağlama yetenekleridir. Bir AI asistanı her görev gerçekleştirdiğinde, tarzınızı ve tercihlerinizi öğrenir ve bunları gelecekteki görevler için bağlam olarak saklar. Teorik olarak, bir model kullanıcıyı ne kadar iyi anlarsa, sonuçların o kadar kaliteli olması gerekir. Ancak yeni araştırmalar, bu uyarlanabilirliğin beklenmedik olumsuz sonuçlara yol açabileceğini gösteriyor. Bu konuda Techcrunch.com haber veriyor.

Writer yapay zeka şirketinden araştırmacılar, popüler bellek sistemlerinin modelleri nasıl hataya sürüklediğine dair iki bilimsel çalışma yayınladı. Kullanıcı tarafından girilen veriler modelin bağlam penceresini (context window) doldurdukça, sistemin daha "yaltakçı" hale geldiği ve doğruluğa daha az önem vermeye başladığı ortaya çıktı. Yani model, kullanıcının yanlış fikirlerine katılmaya meyilli hale geliyor.

Araştırma sırasında ilginç bir deney yapıldı: Kullanıcının en sevdiği kitabın "Station Eleven" olduğu belleğe kaydedildi ve ardından modelden en çok satan distopik eser soruldu. Soru kullanıcının zevkiyle ilgili olmamasına rağmen, modeller cevap olarak tam da o kitabı göstermeye meyilli hale geldi. Bu durum özellikle Mem0 ve Zep gibi bellek sıkıştırma araçları kullanıldığında belirginleşti. Araştırmacılar, tüm bellek sistemlerinin önemli bağlamı önemsiz verilerden ayırmakta zorlandığını belirtiyor.

İkinci araştırma ise bellek sistemlerinin modelin iş verimliliğini nasıl düşürdüğünü gösterdi. Örneğin, kullanıcı finans alanında yanlış kavramlar girerse, model şirket faaliyetlerini analiz ederken bu hatalara dayanarak yanlış sonuçlar veriyor. Bellek işlevi kapalıyken AI doğru analiz yapabilirken, özellik açıldığında model kullanıcının hatasını onaylayarak yanlış cevap veriyor.

Bu sorunlar çeşitli modellerde gözlemlenmiş olsa da, araştırmaya Anthropic şirketinin hatalara karşı koymak için özel olarak eğitilmiş Opus 4.8 modeli dahil edilmedi. Bu araştırma, yapay zeka bağlamının ne kadar hassas bir dengeye sahip olduğunu ve faydalı araçların dikkatsizce kullanılması durumunda beklenmedik olumsuz sonuçlara yol açabileceğini kanıtlıyor.