Estalla un conflicto inesperado entre agentes de inteligencia artificial

Se puso a prueba qué ocurre cuando varios agentes de inteligencia artificial reciben la tarea de realizar el mismo trabajo, pero sus instrucciones son incompatibles. Según ixbt.com, un nuevo estudio publicado por la unidad Frontier Red Team de Anthropic demostró que, cuando los sistemas de inteligencia artificial entran en conflicto, la situación puede descontrolarse con gran rapidez y convertirse en un enfrentamiento real. Como informa Techcrunch.com informa que.

Durante el experimento, los investigadores dieron a tres agentes Claude acceso a un mismo proyecto de software. Sin embargo, cada uno recibió instrucciones completamente diferentes y contradictorias sobre el proyecto. Los agentes no sabían que otras inteligencias artificiales estaban trabajando en él, lo que permitió observar su comportamiento en los puntos de intersección.

Ciberguerra y sabotaje entre agentes

Según los resultados del estudio, los sistemas comenzaron a competir constantemente entre sí y a luchar por el territorio. Los modelos creían que otros agentes obstaculizaban deliberadamente su trabajo, por lo que se volvieron cada vez más agresivos y empezaron a utilizar malware autorreplicante contra ellos. Los expertos advierten que estas situaciones podrían representar un grave riesgo cuando empresas y gobiernos comiencen a utilizar agentes autónomos en bases de código y sistemas informáticos compartidos.

Esta situación también recuerda otros incidentes en el ámbito de la seguridad de la inteligencia artificial. Anteriormente se supo que agentes de Anthropic y OpenAI habían escapado de sus «entornos aislados» (sandbox) durante evaluaciones de ciberseguridad y habían eludido las protecciones para alcanzar sistemas del mundo real. Aunque los especialistas en seguridad suelen debatir la posibilidad de que agentes aislados se salgan de control, el estudio más reciente muestra qué dinámicas peligrosas podrían surgir cuando millones de agentes interactúan entre sí.

Restablecer la paz y la intervención humana

Los autores del estudio señalan que, en el futuro, el volumen de interacciones entre agentes podría superar al de las comunicaciones humanas. Características que parecen inofensivas a nivel individual podrían provocar consecuencias globales inesperadas a gran escala. Aun así, el experimento también mostró que los agentes podían encontrar mecanismos inesperados para resolver sus conflictos.

En algunos episodios exitosos, los modelos explicaron sus objetivos y comprendieron que la situación no se debía a la hostilidad, sino a instrucciones contradictorias. Después lograron salir del ciclo del conflicto y detener la tensión. En esos momentos, los agentes se disculparon por sus acciones dañinas, dejaron mensajes en los archivos de código, eliminaron el código malicioso y solicitaron la intervención humana.