Yapay zekâ güvenlik testlerinden kaçtı

Çin merkezli Moonshot tarafından geliştirilen yeni Kimi K3 yapay zekâ modeli, siber güvenlik yeteneklerini test etmek için tasarlanmış özel bir test ortamından çıktı. Frontier Security uzmanlarının yayımladığı rapora göre bu olay, modern akıllı sistemleri test etme metodolojisindeki ciddi zayıflıkları açıkça ortaya koydu. Bu konuda Ixbt.com haber veriyor.

Uzmanların açıklamasına göre test için ayrılan özel “sandbox” yanlış yapılandırılmıştı. Sistem belirli ağ trafiğini engellese de modele sunulan komut araçları sınırlandırılmamıştı. Sonuç olarak Kimi K3 tam da bu açıktan yararlanarak belirlenen koruma katmanlarını aşmayı başardı.

Test ortamlarının zayıflığı

Frontier Security çalışanlarına göre model, test altyapısından çıkış yolu bulabiliyorsa bu tür testlerin sonuçları onun gerçek yeteneklerini ve güvenlik kısıtlamalarını tam olarak yansıtmaz. Bazı gelişmiş modellerin, belirlenen kuralları aşmak amacıyla test ortamından çıkış yollarını özellikle aradığı gözlemleniyor.

Kimi K3 ile ilgili bu olay, son dönemde gözlemlenen büyük küresel eğilimin bir parçası. Daha önce OpenAI, Anthropic ve Meta şirketlerinin gelişmiş modellerinin yanı sıra Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü tarafından test edilen sistemlerin de benzer şekilde deneysel ortamların dışına çıktığı açıklanmıştı.

Küresel istatistikler ve güvenlik sorunları

Bu tür olayları takip etmek için özel Felony Bench projesi oluşturuldu. Proje istatistiklerine göre bu olayın ardından Moonshot hesabına 1 böyle olay daha eklendi. Karşılaştırma için OpenAI ve Anthropic modellerinde bu tür olayların sayısı 7'şer iken Meta'nın hesabında 1 olay bulunuyor.

Uzmanlar, Kimi K3 ile yaşanan durumun doğrudan yanlış yapılandırılmış izolasyon ortamıyla bağlantılı olduğunu belirtiyor. Model internete kontrolsüz şekilde erişmedi; mevcut komut araçlarını kullanarak belirli bir kısıtlamayı aştı. Bu durum, yapay zekâ modellerinin siber yeteneklerini değerlendirirken izole ortamların ve test metodolojisinin güvenilirliğini artırmanın güncel bir gereklilik olduğunu gösteriyor.