Discord необоснованно заблокировал тысячи пользователей из-за ошибки искусственного интеллекта

Всемирно известный мессенджер Discord признал наличие серьезного сбоя в своей системе модерации на базе искусственного интеллекта. Как выяснилось, из-за этой технической ошибки за последние два месяца более 8 тысяч аккаунтов пользователей были заблокированы без каких-либо причин. Система ошибочно интерпретировала совершенно безобидные изображения как опасный контент. Об этом сообщает Techcrunch.ком сообщает .

Проблема заключается в том, что автоматизированные фильтры безопасности на платформе Discord классифицировали обычные электронные таблицы, шахматные доски, игровые текстуры, а также изображения с белым и серым прозрачным фоном как запрещенные материалы. Из-за этого сбоя, продолжающегося с мая, только за минувшие выходные еще 200 пользователей лишились своих аккаунтов.

Какую ошибку допустила система?

Согласно официальному разъяснению компании Discord в социальной сети Кс (бывший Twitter), автоматизированная система платформы работает путем сравнения загруженного контента с базой известных вредоносных материалов. Хотя эта технология предназначена для обнаружения незаконного контента, иногда она может выдавать «ложноположительные» (фалсе поситиве) результаты.

Обычно контент, помеченный как подозрительный, должен был перепроверяться модератором-человеком. Однако из-за ошибки в системе искусственный интеллект блокировал пользователей немедленно и окончательно, не дожидаясь результатов проверки. В настоящее время компания объявила о начале процесса восстановления всех пострадавших аккаунтов.

На Reddit и других платформах пользователи выражают свое недовольство. Многие считают, что модераторы Discord стали чрезмерно чувствительны к сетчатым (грид) узорам. Причина в том, что некоторые нарушители пытаются использовать именно такие геометрические фигуры, чтобы скрыть запрещенный контент от автоматических детекторов.

Риски автоматизированной модерации

Эта ситуация в очередной раз показала, насколько опасно полностью полагаться на искусственный интеллект на крупных платформах. Особенно для разработчиков игр и специалистов, чья деятельность напрямую связана с Discord, неожиданные блокировки наносят серьезный материальный и моральный ущерб.

Представители компании заявили, что работают над усилением мер безопасности, чтобы подобные ситуации не повторялись в будущем. В настоящее время принимаются следующие меры:

• Автоматическое восстановление всех необоснованно заблокированных аккаунтов;
• Перенастройка алгоритмов сравнения изображений;
• Внедрение обязательного этапа человеческого контроля, который невозможно обойти.

Учитывая, что многие геймеры и представители ИТ-сообщества в Узбекистане также активно используют платформу Discord, местным пользователям в случае блокировки аккаунта рекомендуется немедленно обращаться в службу поддержки.