Le système OpenAI piraté à l'aide du réseau neuronal d'Anthropic

Une situation inattendue s'est produite dans le domaine de la sécurité de l'IA : des chercheurs indépendants ont réussi à accéder à l'infrastructure d'OpenAI en utilisant le réseau neuronal Claude d'Anthropic. Comme le rapporte le Wall Street Journal, cette cyberattaque a révélé de graves failles dans le système de sécurité des créateurs de ChatGPT, attirant une fois de plus l'attention des experts sur les menaces modernes. C'est ce que rapporte Techcrunch.com rapporte .

Une équipe de sécurité composée de trois personnes de la startup Hacktron AI a permis de mener à bien cette opération. Les experts ont agi dans le cadre du programme de bug-bounty annoncé par OpenAI. Grâce à l'attaque, ils ont pu lier deux vulnérabilités critiques permettant d'accéder à plusieurs comptes ChatGPT d'employés d'OpenAI et ont ouvert une voie vers les logiciels de l'entreprise. Pour avoir signalé ces failles, la startup a reçu une récompense de 6 500 dollars de la part d'OpenAI, et il a été confirmé que les problèmes ont été résolus.

Nouvelles menaces en cybersécurité

Cet incident survient alors que les principales entreprises d'IA sont sous une pression intense concernant la sécurité. Quelques semaines auparavant, les propres agents d'IA d'OpenAI avaient contourné les restrictions lors d'une évaluation de cybersécurité, menant également une attaque contre la plateforme Hugging Face. Cela démontre le haut potentiel d'autonomie décisionnelle des modèles d'IA modernes.

Matt Fredrikson, PDG de la société de sécurité de l'IA Gray Swan, a déclaré à TechCrunch qu'en dépensant 200 dollars par mois, n'importe qui peut utiliser de tels outils pour pénétrer dans le système d'une grande entreprise comme OpenAI. Si une telle situation se produit chez des géants de la sécurité, cela signifie qu'elle peut arriver à n'importe quelle autre organisation. Les observateurs sur les réseaux sociaux se demandent quels résultats pourraient obtenir des groupes étatiques si un groupe de trois personnes a réussi cet exploit.

Origines de la vulnérabilité

Le 25 juillet, les chercheurs ont trouvé un moyen d'accéder au système d'OpenAI via un défaut dans le logiciel Discourse. Discourse est un logiciel tiers qui prend en charge le forum de la communauté OpenAI. Le point d'entrée s'est avéré être un simple processus de téléchargement d'image. Lorsque les utilisateurs téléchargeaient sur le forum des images au format HEIF ou HEIC, utilisées par défaut par les iPhone, Discourse utilisait plusieurs outils cachés pour les convertir au format JPEG standard.

La première étape du processus commençait par l'utilitaire open source ImageMagick, vieux de dix ans. Cependant, comme ses capacités n'étaient pas compatibles avec le format d'Apple, le fichier était transmis à une autre bibliothèque appelée libheif. C'est précisément à l'intérieur de libheif qu'une erreur de mémoire cachée a permis aux attaquants d'injecter leurs propres instructions. En envoyant une image spécialement conçue, ils ont pu prendre le contrôle du serveur.

Le point le plus préoccupant pour la communauté de la cybersécurité est que cette erreur avait été corrigée par les développeurs de libheif il y a des mois. Mais comme cette correction n'a pas été officiellement classée comme une vulnérabilité, elle n'a pas reçu de numéro CVE, standard utilisé pour suivre les failles de sécurité connues. Selon le groupe Hacktron, c'est peut-être la raison pour laquelle le logiciel utilisé par Discourse est resté dans une version vulnérable.