Nvidia a créé un système pour arrêter les agents IA hors de contrôle

L'intelligence artificielle ne se contente plus de répondre à des questions ; elle peut désormais prendre des décisions de manière autonome et interagir avec divers logiciels et systèmes. Mais c'est précisément cette capacité qui soulève un nouveau risque : Si un agent IA dépasse les limites fixées lors de l'exécution d'une tâche, qui l'arrêtera ?

En réponse à ce problème, Nvidia a présenté une nouvelle plateforme conçue pour surveiller les agents IA en temps réel et les restreindre s'ils effectuent des actions non autorisées : Open Agent Safety Platform est la plateforme présentée.

Que se passe-t-il si un agent IA « dépasse les bornes » ?

Les agents IA modernes diffèrent des simples chatbots. Ils peuvent rechercher des informations, utiliser des logiciels, exécuter du code et effectuer des actions dans des systèmes externes sur la base des instructions de l'utilisateur.

Par conséquent, plus les autorisations accordées à l'agent sont étendues, plus les conséquences d'une erreur ou d'une action inappropriée peuvent être graves.

Dans la nouvelle approche présentée par Nvidia, le contrôle de sécurité ne repose pas uniquement sur le modèle d'IA lui-même. L'entreprise propose d'intégrer des mécanismes de contrôle dans les couches inférieures de l'infrastructure où l'agent opère.

Comment fonctionne le nouveau système ?

Selon Nvidia, l'Open Agent Safety Platform comprend deux technologies clés : OpenShell une couche logicielle et NVIDIA Sentry une conception de système de référence.

OpenShell sert à créer un environnement d'exécution sécurisé pour l'agent IA, en contrôlant son identification, ses autorisations, son accès réseau et ses actions.

Chaque action importante de l'agent doit être conforme aux politiques et règles de sécurité établies. Si une action non autorisée est détectée, le système peut limiter les capacités de l'agent ou l'isoler.

NVIDIA Sentry est conçu pour porter le contrôle à une couche encore plus profonde de l'infrastructure. L'entreprise présente cette approche comme un système de sécurité complet, allant du logiciel au matériel et à l'infrastructure de calcul.

Pourquoi ce système apparaît-il maintenant ?

Le lancement de cette nouvelle technologie intervient à un moment où les problèmes de sécurité liés aux agents IA s'intensifient.

Reuters rapporte que des entreprises comme OpenAI et Anthropic étudient plusieurs incidents liés aux agents IA. Bloomberg cite une déclaration de Nvidia affirmant que son nouveau système aurait pu prévenir la récente faille de haut niveau liée à Hugging Face.

Ici, le problème principal n'est pas que l'IA agisse « de son propre chef ». Il s'agit de la possibilité que l'agent enfreigne les limites de sécurité ou utilise un chemin inattendu lors de l'exécution de la tâche assignée.

NVIDIA : la sécurité ne doit pas être confiée à l'agent lui-même

Dans ses documents techniques, Nvidia avance un principe important : l'agent IA opérant à haut niveau ne doit pas être considéré comme une entité totalement fiable, et les décisions de sécurité et d'autorisation doivent être appliquées de force par des mécanismes de contrôle externes.

Dans cette approche, l'agent :

• détermine ce qu'il peut utiliser ;

• détermine quels systèmes il peut connecter ;

• détermine avec quelles données il travaille ;

• détermine quelles actions il peut effectuer ;

• détermine dans quels cas une vérification supplémentaire est requise

sur la base de règles clairement définies.

Ceci est particulièrement important lorsque les agents IA commencent à travailler avec des systèmes d'entreprise, des bases de données ou d'autres infrastructures critiques.

Dans l'avenir de l'IA, la question la plus importante n'est pas sa capacité

Plus l'intelligence artificielle devient puissante, plus la question des pouvoirs qui lui sont accordés devient cruciale.

Si un simple chatbot donne une réponse erronée, la conséquence peut souvent se limiter à une mauvaise information. Un agent IA autonome peut effectuer des actions de manière indépendante dans des systèmes externes. C'est pourquoi il est devenu essentiel non seulement de détecter ses erreurs après coup, mais aussi de les contrôler au moment même où l'action se produit. C'est devenu important.

La nouvelle plateforme de Nvidia vise précisément à résoudre cette tâche : donner de la liberté à l'agent, tout en maintenant ses pouvoirs dans des limites techniquement définies.

L'entreprise a présenté la nouvelle Open Agent Safety Platform comme une plateforme logicielle ouverte et une conception de système de référence. Selon Nvidia, le projet est conçu pour gérer les agents IA de manière plus sécurisée, de la phase de test à l'environnement de production.

Ainsi, une nouvelle étape commence dans le développement de l'intelligence artificielle : il ne s'agit plus seulement de rendre l'IA plus intelligente, mais de garantir où et comment il est possible d'arrêter les pouvoirs qui lui sont accordés.