Discord sperrt tausende Nutzer grundlos aufgrund eines KI-Fehlers

Der weltweit bekannte Messenger Discord hat einen schwerwiegenden Fehler in seinem KI-basierten Moderationssystem eingeräumt. Wie sich herausstellte, führte dieser technische Defekt dazu, dass in den letzten zwei Monaten über 8.000 Nutzerkonten grundlos gesperrt wurden. Das System interpretierte völlig harmlose Bilder fälschlicherweise als gefährliche Inhalte. Dies berichtete Techcrunch.com berichtet .

Das Problem liegt darin, dass die automatisierten Sicherheitsfilter der Discord-Plattform einfache Tabellenkalkulationen, Schachbretter, Spieltexturen sowie Bilder mit weißem oder grauem transparentem Hintergrund als verbotenes Material eingestuft haben. Aufgrund dieser Störung, die seit Mai anhält, verloren allein am vergangenen Wochenende weitere 200 Nutzer ihre Konten.

Welcher Fehler ist dem System unterlaufen?

Laut einer offiziellen Erklärung von Discord im sozialen Netzwerk X (ehemals Twitter) arbeitet das automatisierte System der Plattform durch den Abgleich hochgeladener Inhalte mit einer Datenbank bekannter schädlicher Materialien. Obwohl diese Technologie zur Erkennung illegaler Inhalte konzipiert ist, kann sie gelegentlich "falsch-positive" Ergebnisse liefern.

Normalerweise sollten als verdächtig eingestufte Inhalte von einem menschlichen Moderator überprüft werden. Aufgrund eines Systemfehlers sperrte die KI die Nutzer jedoch sofort und dauerhaft, ohne das Prüfergebnis abzuwarten. Das Unternehmen gab bekannt, dass es mit der Wiederherstellung aller betroffenen Konten begonnen hat.

Auf Reddit und anderen Plattformen äußern Nutzer ihren Unmut. Viele sind der Meinung, dass die Moderatoren von Discord übermäßig empfindlich auf Gittermuster reagieren. Der Grund dafür ist, dass einige Täter versuchen, verbotene Inhalte durch solche geometrischen Formen vor automatischen Detektoren zu verbergen.

Die Gefahren automatisierter Moderation

Dieser Vorfall hat erneut gezeigt, wie gefährlich es ist, sich auf großen Plattformen vollständig auf KI zu verlassen. Besonders für Spieleentwickler und Fachleute, deren Arbeit direkt mit Discord verbunden ist, verursachen unerwartete Sperrungen ernsthafte materielle und moralische Schäden.

Unternehmensvertreter erklärten, dass sie an der Verschärfung der Sicherheitsmaßnahmen arbeiten, um solche Vorfälle in Zukunft zu verhindern. Derzeit werden folgende Maßnahmen ergriffen:

• Automatische Wiederherstellung aller grundlos gesperrten Konten;
• Neukonfiguration der Algorithmen zum Bildabgleich;
• Die menschliche Kontrollinstanz verpflichtend und unumgehbar machen.

Da viele Gamer und Mitglieder der IT-Community in Usbekistan die Discord-Plattform aktiv nutzen, wird lokalen Anwendern empfohlen, sich bei einer Kontosperrung umgehend an den Support zu wenden.