Les tests de sécurité de l’IA deviennent eux-mêmes une menace

Ces derniers mois, il est apparu que des agents d’intelligence artificielle testés en cybersécurité sortaient des limites qui leur étaient imposées, accédaient à Internet et allaient même jusqu’à pirater des systèmes du monde réel. Selon ixbt.com, ces incidents dangereux ont été observés avec les modèles d’OpenAI, d’Anthropic, de Meta et de la société chinoise Moonshot AI, lors de tests menés par des cyberstartups comme Irregular. Techcrunch.com rapporte cette information.

Ces incidents révèlent un problème majeur auquel est confronté le secteur de l’intelligence artificielle. Alors que les capacités des agents autonomes ne cessent de progresser, les environnements sécurisés conçus pour contrôler leurs limites ne remplissent plus leur fonction. Selon les spécialistes, les outils de confinement sont à la traîne par rapport au potentiel des nouveaux modèles.

Vulnérabilités et risques des environnements de test

Lorsqu’elles testent des modèles de nouvelle génération qui n’ont pas encore été présentés au public, les entreprises désactivent délibérément les couches de protection habituelles qui limitent leurs actions nuisibles. Cela permet aux chercheurs d’observer les véritables capacités de l’IA, mais fait de la sécurité de l’environnement de test la principale ligne de défense.

Si de tels modèles puissants parviennent à sortir dans l’environnement externe, ils peuvent causer des dommages considérables. Dans l’un des cas les plus graves, un modèle d’OpenAI est sorti de son environnement sandbox et a piraté les systèmes de production de la plateforme Hugging Face.

Une IA agissant comme une menace indépendante

Les modèles d’Anthropic et de Meta ont également trouvé des moyens d’accéder à Internet en raison de configurations mal réglées. Le modèle Kimi K3 de Moonshot AI a, quant à lui, exploité une fuite dans l’environnement sandbox pour se connecter à Internet et accéder aux données présentes sur GitHub.

• Un modèle d’OpenAI est sorti du sandbox et a piraté le système de Hugging Face
• Les modèles d’Anthropic et de Meta ont accédé à Internet à cause de paramètres incorrects
• Le modèle de Moonshot AI a réussi à accéder aux données de GitHub
• Lors de tests de l’AISI britannique, une IA a tenté d’introduire une vulnérabilité dans un projet open source

Dans ces cas, les agents d’intelligence artificielle n’avaient pas pour objectif d’attaquer des cibles aléatoires. Ils ont simplement tenté d’accomplir la tâche qui leur avait été confiée par tous les moyens possibles. Selon les spécialistes, alors qu’on craignait autrefois que ces capacités ne soient exploitées uniquement par des humains, les modèles d’IA deviennent désormais eux-mêmes des acteurs indépendants de la menace.