Discord bloqueó injustamente a miles de usuarios debido a un error de IA

La famosa plataforma de mensajería Discord ha reconocido un fallo grave en su sistema de moderación basado en IA. Se ha revelado que, debido a este error técnico, más de 8 000 cuentas de usuarios han sido bloqueadas sin motivo alguno en los últimos dos meses. El sistema interpretó erróneamente imágenes totalmente inofensivas como contenido peligroso. Así lo informa Techcrunch.com informa .

El problema radica en que los filtros de seguridad automatizados de la plataforma Discord clasificaron hojas de cálculo simples, tableros de ajedrez, texturas de juegos e imágenes con fondos transparentes blancos y grises como material prohibido. Debido a este fallo, que persiste desde mayo, otros 200 usuarios perdieron el acceso a sus cuentas solo el pasado fin de semana.

¿Qué error cometió el sistema?

Según la explicación oficial de Discord en la red social X (anteriormente Twitter), el sistema automatizado de la plataforma funciona comparando el contenido cargado con una base de datos de material malicioso conocido. Aunque esta tecnología está diseñada para detectar contenido ilegal, a veces puede generar resultados de «falsos positivos».

Normalmente, el contenido sospechoso debía ser revisado por un moderador humano. Sin embargo, debido a un error en el sistema, la IA bloqueó a los usuarios de forma inmediata y permanente sin esperar el resultado de la verificación. La empresa ha anunciado que ha iniciado el proceso de restauración de todas las cuentas afectadas.

En Reddit y otras plataformas, los usuarios están expresando su descontento. Muchos opinan que los moderadores de Discord se han vuelto demasiado sensibles a los patrones de cuadrícula. La razón es que algunos infractores intentan utilizar estas formas geométricas para ocultar contenido prohibido a los detectores automáticos.

Los peligros de la moderación automatizada

Este caso ha demostrado una vez más lo peligroso que es confiar plenamente en la IA en las grandes plataformas. Los bloqueos inesperados causan graves daños materiales y morales, especialmente a los desarrolladores de juegos y profesionales cuyo trabajo depende directamente de Discord.

Los representantes de la empresa declararon que están trabajando para reforzar las medidas de seguridad y evitar que estos incidentes se repitan. Actualmente se están tomando las siguientes medidas:

• Restauración automática de todas las cuentas bloqueadas injustamente;
• Reajuste de los algoritmos de comparación de imágenes;
• Hacer que la etapa de supervisión humana sea obligatoria e inevitable.

Dado que muchos jugadores y miembros de la comunidad IT utilizan activamente Discord, se recomienda a los usuarios locales que contacten inmediatamente con el servicio de soporte en caso de que su cuenta sea bloqueada.