Meta lance un nouveau système pour la sécurité des adolescents : l'IA sous contrôle

La société Meta a annoncé une nouveauté importante pour assurer la sécurité des adolescents utilisant son chatbot Meta AI. Désormais, si un utilisateur mineur évoque l'automutilation ou le suicide lors d'une interaction avec l'IA, le système en informera immédiatement les parents. Cette mesure intervient dans un contexte de critiques internationales sur l'impact des géants technologiques sur la santé mentale des jeunes générations. C'est ce que rapporte Techcrunch.com rapporte .

Selon les données de l'entreprise, si des signes de danger sont détectés dans le comportement de l'adolescent, une notification spéciale est envoyée au tableau de bord de contrôle destiné aux parents. Meta a déclaré avoir développé un modèle d'IA spécifique pour rendre ce processus plus précis. Ce système est spécialisé dans l'analyse du contenu des conversations pour identifier les mots-clés dangereux.

Facteur humain et mesures de sécurité

Bien que le système soit automatisé, Meta a introduit une étape de vérification supplémentaire pour éviter les erreurs. Selon le site Ixbt.com, toutes les discussions suspectes signalées par l'IA sont examinées manuellement par des experts avant d'être envoyées aux parents. Même si l'intention de l'adolescent est ambiguë, l'entreprise préfère informer les parents par mesure de précaution.

Actuellement, cette fonctionnalité est disponible pour les utilisateurs de l'Instagram Parental Supervision aux États-Unis, au Royaume-Uni, en Australie et au Canada. D'ici la fin de l'année, le déploiement progressif du système est prévu dans le monde entier, y compris pour les utilisateurs en Ouzbékistan. Cela permettra également aux utilisateurs locaux de sécuriser les interactions numériques de leurs enfants.

Aide d'urgence et restrictions de contenu

Meta ne se limite pas aux avertissements et vise à prendre des mesures rapides en cas d'urgence. Si la vie d'un utilisateur (qu'il soit adolescent ou adulte) est jugée en danger, l'entreprise améliore également le mécanisme de signalement aux services de secours compétents. Cette pratique, qui s'appliquait auparavant aux publications sur Facebook et Instagram, est désormais étendue directement aux chats Meta AI.

De plus, les fonctionnalités de Meta AI pour les adolescents fonctionnent en mode restreint. Le système refuse de discuter des sujets suivants :

• Conversations à caractère sexuel ou romantique ;
• Discussions sur l'alcool et d'autres substances nocives ;
• Contenus faisant la promotion de la violence.

Grâce aux nouvelles fonctionnalités créées pour les parents, ils pourront également surveiller les sujets abordés par leurs enfants avec l'IA au cours de la semaine écoulée. Cela aide à établir une communication de confiance au sein de la famille et à détecter précocement les problèmes potentiels.