Chercheurs : les agents IA doivent être traités comme des systèmes non fiables

La sécurité des agents basés sur l'IA doit être assurée non seulement au niveau du modèle, mais au niveau de l'ensemble du système. Un nouveau rapport publié par des chercheurs de Google, Gray Swan AI, EmbraceTheRed et plusieurs universités souligne la nécessité de considérer les agents IA comme des « composants non fiables ». C'est ce que rapporte Cointelegraph.com rapporte .
Les chercheurs estiment que l'approche traditionnelle axée uniquement sur le renforcement de la robustesse du modèle est insuffisante. Au lieu de cela, les agents IA doivent être protégés contre les attaques externes en appliquant des méthodes de sécurité système. Cela est particulièrement crucial à l'heure où les agents IA gagnent en popularité dans le secteur des cryptomonnaies.
Le PDG de Circle, Jeremy Allaire, a récemment prédit que des milliards d'agents IA agiraient au nom des utilisateurs au cours des cinq prochaines années. Cependant, si les problèmes de sécurité ne sont pas résolus, cette technologie pourrait présenter des risques importants. Les chercheurs proposent trois mécanismes clés pour prévenir les attaques.
Premièrement, les agents IA doivent clairement distinguer les instructions des données non fiables. Deuxièmement, les agents ne devraient recevoir que les autorisations minimales nécessaires pour effectuer une tâche, plutôt qu'un accès complet au système. Troisièmement, c'est l'ensemble du système, et non l'agent, qui doit contrôler où les informations sensibles sont envoyées.
Récemment, l'assistant de trading crypto par IA Bankr a été contraint d'arrêter ses transactions après que 14 portefeuilles ont été compromis. De tels incidents soulignent l'importance de construire des systèmes de sécurité appropriés pour les agents IA opérant sur des applications Web3 et des blockchains comme Solana.
Lisez “Zamin” sur Telegram !