Discord, yapay zeka hatası nedeniyle binlerce kullanıcıyı haksız yere engelledi

Dünyaca ünlü mesajlaşma platformu Discord, yapay zeka tabanlı moderasyon sistemindeki ciddi bir arızayı kabul etti. Teknik bir hata nedeniyle son iki ay içinde 8 binden fazla kullanıcının hesabının hiçbir sebep yokken engellendiği ortaya çıktı. Sistem, tamamen zararsız görselleri tehlikeli içerik olarak yanlış yorumladı. Bu durum Techcrunch.com tarafından bildirildi. haber

Sorun şu ki, Discord platformundaki otomatik güvenlik filtreleri basit elektronik tabloları, satranç tahtalarını, oyun dokularını ve beyaz veya gri şeffaf arka planlı görselleri yasaklı materyaller listesine dahil etti. Mayıs ayından beri devam eden bu hata nedeniyle sadece geçtiğimiz hafta sonu 200 kullanıcı daha hesabını kaybetti.

Sistem nasıl bir hata yaptı?

Discord'un X (eski adıyla Twitter) sosyal ağındaki resmi açıklamasına göre, platformun otomatik sistemi yüklenen içeriği bilinen zararlı materyaller veritabanıyla karşılaştırarak çalışıyor. Bu teknoloji yasa dışı içerikleri tespit etmek için tasarlanmış olsa da, bazen "yanlış pozitif" (false positive) sonuçlar verebiliyor.

Normalde şüpheli bulunan içeriğin bir insan moderatör tarafından tekrar incelenmesi gerekiyordu. Ancak sistemdeki bir hata nedeniyle yapay zeka, inceleme sonucunu beklemeden kullanıcıları anında ve tamamen engelledi. Şirket, şu anda etkilenen tüm hesapları geri yükleme sürecini başlattığını duyurdu.

Reddit ve diğer platformlarda kullanıcılar tepkilerini dile getiriyor. Birçok kişiye göre Discord moderatörleri ızgara (grid) desenlerine karşı aşırı duyarlı hale geldi. Bunun nedeni, bazı kötü niyetli kişilerin yasaklı içerikleri otomatik dedektörlerden gizlemek için bu tür geometrik şekilleri kullanmaya çalışmasıdır.

Otomatik moderasyonun riskleri

Bu durum, büyük platformlarda yapay zekaya tamamen güvenmenin ne kadar riskli olduğunu bir kez daha gösterdi. Özellikle oyun geliştiricileri ve iş faaliyetleri doğrudan Discord'a bağlı olan profesyoneller için beklenmedik engellemeler ciddi maddi ve manevi zararlar veriyor.

Şirket temsilcileri, gelecekte bu tür durumların tekrarlanmaması için güvenlik önlemlerini güçlendirmek üzerinde çalıştıklarını belirtti. Şu anda aşağıdaki adımlar atılıyor:

• Haksız yere engellenen tüm hesapların otomatik olarak geri yüklenmesi;
• Görsel karşılaştırma algoritmalarının yeniden yapılandırılması;
• İnsan denetimi aşamasının zorunlu ve atlanamaz hale getirilmesi.

Özbekistan'daki birçok oyuncu ve BT topluluğu üyesinin de Discord platformunu aktif olarak kullandığı göz önüne alındığında, yerel kullanıcıların da hesaplarının engellenmesi durumunda derhal destek hizmetine başvurmaları tavsiye edilir.