Discord a banni par erreur des milliers d'utilisateurs à cause d'une erreur d'IA

La célèbre messagerie Discord a reconnu une défaillance majeure dans son système de modération basé sur l'IA. Il s'avère qu'en raison de cette erreur technique, plus de 8 000 comptes d'utilisateurs ont été bloqués sans aucune raison au cours des deux derniers mois. Le système a interprété à tort des images totalement inoffensives comme du contenu dangereux. C'est ce que rapporte Techcrunch.com rapporte .

Le problème est que les filtres de sécurité automatisés de la plateforme Discord ont classé des feuilles de calcul simples, des échiquiers, des textures de jeux ainsi que des images avec des fonds transparents blancs et gris parmi les contenus interdits. En raison de ce dysfonctionnement, qui dure depuis mai, 200 utilisateurs supplémentaires ont perdu l'accès à leurs comptes rien que le week-end dernier.

Quelle erreur le système a-t-il commise ?

Selon l'explication officielle de Discord sur le réseau social X (anciennement Twitter), le système automatisé de la plateforme fonctionne en comparant le contenu téléchargé avec une base de données de contenus malveillants connus. Bien que cette technologie soit conçue pour identifier les contenus illégaux, elle peut parfois générer des « faux positifs ».

Habituellement, le contenu jugé suspect devait être examiné par un modérateur humain. Cependant, en raison d'une erreur dans le système, l'IA a bloqué les utilisateurs immédiatement et définitivement sans attendre le résultat de la vérification. L'entreprise a annoncé qu'elle avait entamé le processus de restauration de tous les comptes affectés.

Sur Reddit et d'autres plateformes, les utilisateurs expriment leur mécontentement. Beaucoup pensent que les modérateurs de Discord sont devenus trop sensibles aux motifs en grille. La raison est que certains contrevenants tentent d'utiliser ces formes géométriques pour dissimuler du contenu interdit aux détecteurs automatiques.

Les dangers de la modération automatisée

Cette situation a montré une fois de plus à quel point il est dangereux de se fier entièrement à l'IA sur les grandes plateformes. Les blocages inattendus causent des dommages matériels et moraux importants, en particulier pour les développeurs de jeux et les professionnels dont le travail est directement lié à Discord.

Les représentants de l'entreprise ont déclaré qu'ils travaillaient à renforcer les mesures de sécurité pour éviter que de tels incidents ne se reproduisent. Les mesures suivantes sont actuellement prises :

• Restauration automatique de tous les comptes bloqués injustement ;
• Recalibrage des algorithmes de comparaison d'images ;
• Rendre l'étape de contrôle humain obligatoire et incontournable.

Compte tenu du fait que de nombreux joueurs et membres de la communauté IT utilisent activement Discord, il est conseillé aux utilisateurs locaux de contacter immédiatement le service d'assistance si leur compte est bloqué.