Faille dans le système de sécurité de ChatGPT : l'IA génère du contenu inattendu

À une époque où les technologies d'IA se développent rapidement, des failles sérieuses ont été identifiées dans le système de sécurité du chatbot le plus populaire au monde, ChatGPT. Des chercheurs de la BBC et des experts en cybersécurité ont prouvé que la dernière version du système peut mal interpréter les requêtes des utilisateurs et générer des images extrêmement effrayantes et immorales. Cette situation soulève des questions sur les limites éthiques de l'IA et la robustesse du contrôle du contenu. C'est ce qu'informe Ixbt.com dans son article.

Des experts de la startup britannique Mindgard ont testé le générateur d'images DALL-E 3 intégré à ChatGPT. Il s'est avéré qu'en modifiant légèrement des instructions (prompts) d'apparence simple et humoristique, il est possible de tromper le système. En conséquence, le réseau neuronal a produit des scènes de violence et des images à contenu explicite. Bien que de tels cas soient totalement contraires aux conditions d'utilisation d'OpenAI, les filtres du système ne parviennent pas toujours à les bloquer.

Mesures de sécurité et lacunes du système

Les représentants d'OpenAI ont fait une déclaration officielle sur ce problème, affirmant avoir renforcé les mesures de sécurité. Selon l'entreprise, des couches de protection supplémentaires contre ce type de requêtes ont été mises en place suite à l'alerte de la BBC. « Nous avons étudié cette tendance et activé une protection multi-étapes qui empêche les utilisateurs de créer du contenu enfreignant les règles », stipule le communiqué de l'entreprise.

Cependant, Peter Garraghan, fondateur de Mindgard, souligne que la possibilité de contourner le système persiste même après le renforcement des mesures de sécurité. Les chercheurs ont réussi à obtenir du contenu préoccupant en apportant encore quelques modifications mineures aux instructions. Cela démontre que les algorithmes d'IA sont toujours vulnérables aux ruses humaines.

Le point le plus inquiétant est que ChatGPT a, dans certains cas, généré de son propre « chef » des images graves et effrayantes, même sans commande explicite. Selon Garraghan, certaines images créées par le système étaient extrêmement terrifiantes et de nature sexuelle, même sans thème spécifié. Les experts attribuent cela à des couches non contrôlées dans les données d'entraînement de l'IA.

Avertissement pour les utilisateurs ouzbeks

Actuellement, ChatGPT et des outils d'IA similaires sont largement utilisés en Ouzbékistan à des fins éducatives, professionnelles et créatives. Les résultats de cette recherche montrent la nécessité de surveiller l'utilisation de cette technologie, en particulier pour les mineurs. Il ne faut pas oublier que les réseaux neuronaux ne donnent pas toujours le résultat attendu et peuvent parfois produire des informations ayant un impact négatif sur le psychisme.

Les experts appellent les grandes corporations comme OpenAI à soumettre leurs produits à des tests encore plus rigoureux avant de les présenter au public. Malgré les efforts des géants technologiques, la « régulation » complète de l'IA reste une tâche complexe. Cela exige des utilisateurs une littératie numérique et de la prudence.