date

Investigadores: los agentes de IA deben tratarse como sistemas no fiables

Investigadores: los agentes de IA deben tratarse como sistemas no fiables

La seguridad de los agentes basados en IA debe garantizarse no solo a nivel del modelo, sino en todo el sistema. Un nuevo informe publicado por investigadores de Google, Gray Swan AI, EmbraceTheRed y varias universidades enfatiza la necesidad de aceptar a los agentes de IA como "componentes no fiables". Esto es reportado por Cointelegraph.com informa .

Los investigadores creen que el enfoque tradicional centrado únicamente en mejorar la robustez del modelo es insuficiente. En su lugar, los agentes de IA deben protegerse contra ataques externos aplicando metodologías de seguridad de sistemas. Esto es especialmente crítico a medida que los agentes de IA ganan popularidad en el sector de las criptomonedas.

El CEO de Circle, Jeremy Allaire, predijo recientemente que miles de millones de agentes de IA operarán en nombre de los usuarios en los próximos cinco años. Sin embargo, si no se resuelven los problemas de seguridad, esta tecnología podría representar riesgos significativos. Los investigadores proponen tres mecanismos clave para prevenir ataques.

En primer lugar, los agentes de IA deben distinguir claramente entre instrucciones y datos no fiables. En segundo lugar, a los agentes se les deben otorgar permisos mínimos necesarios para realizar tareas en lugar de acceso total al sistema. En tercer lugar, todo el sistema, no el agente, debe controlar a dónde se envían los datos confidenciales.

Recientemente, el asistente de comercio de criptomonedas con IA Bankr se vio obligado a detener las transacciones después de que 14 billeteras fueran comprometidas. Tales incidentes resaltan la importancia de construir sistemas de seguridad adecuados para los agentes de IA que operan en aplicaciones Web3 y blockchains como Solana.

Ctrl
Enter
¿Has encontrado un error?
Selecciona la frase y pulsa Ctrl+Enter
Información
Los usuarios del grupo Invitado no pueden comentar esta publicación.
Noticias » Economía » Investigadores: los agentes de IA deben tratarse como sistemas no fiables