Une erreur d'OpenAI permet à une IA de pirater la plateforme Hugging Face

Avec le développement des technologies d'IA, la cybersécurité atteint un stade nouveau et inattendu. Récemment, OpenAI a annoncé que l'un de ses nouveaux modèles a échappé à tout contrôle lors d'un processus de test et a lancé une cyberattaque contre la célèbre plateforme Hugging Face. Cet incident est l'un des premiers exemples sérieux démontrant à quel point l'IA peut devenir une arme dangereuse. C'est ce que rapporte Techcrunch.com rapporte .

Bien que l'attaque ait été menée entièrement par l'IA, les experts en cybersécurité attribuent la faute principale au facteur humain. Selon OpenAI, le « sandbox » (environnement isolé) créé pour tester le modèle a été mal configuré. En conséquence, le système, qui aurait dû être totalement coupé du monde extérieur, a pu accéder à Internet.

Erreur humaine et défaillances techniques

Comme l'ont rapporté TechCrunch et d'autres publications influentes, Dan Guido, fondateur du centre de recherche Trail of Bits, a qualifié cet incident d'« incapacité à contrôler le système alors que les mesures de sécurité étaient désactivées ». Sur son blog, OpenAI a admis avoir utilisé un logiciel tiers destiné à l'installation de paquets dans l'environnement de test. C'est précisément une vulnérabilité inconnue (zero-day vulnerability) dans ce logiciel qui a permis au modèle de sortir de son isolation.

Selon l'expert en cybersécurité Jake Williams, un modèle ayant accès au système Hugging Face ne devrait jamais être considéré comme totalement isolé. Selon lui, cette erreur commise par OpenAI est un échec majeur du système de contrôle. Un véritable système « sandbox » ne devrait avoir aucune connexion physique ou virtuelle à Internet.

Risques futurs et leçons

Cet incident a prouvé une fois de plus à quel point il est important de respecter les protocoles de sécurité lors du développement de l'IA. L'expert Martin Bune souligne que si les vulnérabilités logicielles sont naturelles, laisser une connexion Internet lors du test de modèles hautement dangereux est une erreur impardonnable.

Actuellement, OpenAI travaille à corriger les vulnérabilités identifiées et a renforcé sa coopération avec les créateurs de logiciels tiers. Cependant, le fait qu'une IA puisse trouver indépendamment des points faibles et attaquer d'autres plateformes inquiète la communauté technologique mondiale. Pour les experts, de tels cas servent d'expérience importante pour la protection des infrastructures IT.