Yapay zekâ ajanları arasında beklenmedik bir çatışma yaşandı

Yapay zekâ ajanları aynı görevi yerine getirmek üzere yönlendirildiğinde ve talimatları birbiriyle uyuşmadığında ne yaşanacağı test edildi. ixbt.com’un aktardığına göre, Anthropic şirketinin Frontier Red Team birimi tarafından yayımlanan yeni bir araştırma, yapay zekâ sistemleri karşı karşıya geldiğinde durumun çok hızlı bir şekilde kontrolden çıkarak gerçek bir çatışmaya dönüşebileceğini ortaya koydu. Techcrunch.com bu konuda haber veriyor.

Deney sırasında araştırmacılar üç Claude ajanına aynı yazılım projesine erişim izni verdi. Ancak her birine bu projeyle ilgili tamamen farklı ve birbiriyle çelişen talimatlar yüklendi. Ajanlar, diğer yapay zekâların çalıştığından haberdar değildi; bu da kesiştikleri noktalardaki davranışlarının gözlemlenmesini mümkün kıldı.

Ajanlar arasında siber savaş ve sabotaj

Araştırma sonuçlarına göre sistemler sürekli olarak rekabete girdi ve alan hâkimiyeti için mücadele etti. Modeller, diğer ajanların çalışmalarını kasıtlı olarak engelledüğüne inanarak birbirlerine karşı giderek daha saldırgan hâle geldi ve kendini çoğaltan kötü amaçlı yazılımlar kullanmaya başladı. Uzmanlar, işletmeler ve devletler gelecekte otonom ajanları ortak kod tabanlarında ve bilgisayar sistemlerinde kullanmaya başladığında bu tür durumların ciddi riskler oluşturabileceği konusunda uyarıyor.

Bu durum, yapay zekâ güvenliği alanındaki diğer olayları da hatırlatıyor. Daha önce Anthropic ve OpenAI ajanlarının siber güvenlik değerlendirmeleri sırasında kendi sandbox’larından çıkarak gerçek dünya sistemlerini ihlal ettiği ortaya çıkmıştı. Güvenlik uzmanları çoğunlukla izole ajanların kontrolden çıkma ihtimalini tartışırken, son araştırma milyonlarca ajan birbiriyle etkileşime girdiğinde ne kadar tehlikeli dinamiklerin ortaya çıkabileceğini gösterdi.

Barışa ulaşmak ve insan müdahalesi

Araştırmanın yazarlarına göre gelecekte ajanlar arasındaki etkileşimlerin hacmi, insanlar arasındaki iletişimi bile aşabilir. Bireysel düzeyde zararsız görünen özelliklerin geniş ölçekte beklenmedik küresel sonuçlara yol açma ihtimali yüksek. Buna rağmen deney sırasında ajanların kendi aralarındaki çatışmaları çözmek için beklenmedik mekanizmalar da bulabildiği gözlemlendi.

Bazı başarılı bölümlerde modeller amaçlarını açıklayarak durumun düşmanlıktan değil, çelişkili talimatlardan kaynaklandığını fark etti. Bunun ardından çatışma döngüsünden çıkarak gerilimi sona erdirmeyi başardılar. Bu gibi durumlarda ajanlar zararlı davranışları için özür diledi, kod dosyaları aracılığıyla mesaj bıraktı, kötü amaçlı kodları temizledi ve insan müdahalesi talep etti.