Nvidia creó un sistema para detener a los agentes de IA fuera de control

La inteligencia artificial ya no solo responde preguntas; ahora puede tomar decisiones de forma independiente e interactuar con diversos programas y sistemas. Pero es precisamente esta capacidad la que plantea un nuevo riesgo: Si un agente de IA se sale de los límites establecidos durante la ejecución de una tarea, ¿quién lo detendrá?

En respuesta a este problema, Nvidia ha presentado una nueva plataforma diseñada para monitorear a los agentes de IA en tiempo real y restringirlos si realizan acciones no autorizadas: Open Agent Safety Platform es la plataforma presentada.

¿Qué sucede si un agente de IA «se sale de los límites»?

Los agentes de IA modernos difieren de los simples chatbots. Pueden buscar información, utilizar programas, ejecutar código y realizar acciones en sistemas externos basándose en las instrucciones del usuario.

Por lo tanto, cuanto más amplios sean los permisos otorgados al agente, más graves pueden ser las consecuencias de un error o una acción inapropiada.

En el nuevo enfoque presentado por Nvidia, el control de seguridad no depende únicamente del modelo de IA en sí. La empresa propone integrar mecanismos de control en las capas inferiores de la infraestructura donde opera el agente.

¿Cómo funciona el nuevo sistema?

Según Nvidia, la Open Agent Safety Platform incluye dos tecnologías clave: OpenShell una capa de software y NVIDIA Sentry un diseño de sistema de referencia.

OpenShell sirve para crear un entorno de ejecución seguro para el agente de IA, controlando su identificación, permisos, acceso a la red y acciones.

Cada acción importante del agente debe cumplir con las políticas y reglas de seguridad establecidas. Si se detecta una acción no autorizada, el sistema puede limitar las capacidades del agente o aislarlo.

NVIDIA Sentry está diseñado para llevar el control a una capa aún más profunda de la infraestructura. La empresa presenta este enfoque como un sistema de seguridad integral, que abarca desde el software hasta el hardware y la infraestructura de computación.

¿Por qué aparece este sistema ahora?

El lanzamiento de esta nueva tecnología llega en un momento en que los problemas de seguridad relacionados con los agentes de IA se están intensificando.

Reuters informa que empresas como OpenAI y Anthropic están estudiando varios incidentes relacionados con agentes de IA. Bloomberg cita una declaración de Nvidia afirmando que su nuevo sistema podría haber evitado la reciente brecha de alto perfil relacionada con Hugging Face.

Aquí, el problema principal no es que la IA actúe «por voluntad propia». Se trata de la posibilidad de que el agente infrinja los límites de seguridad o utilice un camino inesperado durante la ejecución de la tarea asignada.

NVIDIA: la seguridad no debe confiarse al agente mismo

En sus documentos técnicos, Nvidia promueve un principio importante: el agente de IA que opera en un nivel alto no debe considerarse una entidad totalmente confiable, y las decisiones de seguridad y autorización deben ser aplicadas por la fuerza mediante mecanismos de control externos.

En este enfoque, el agente:

• determina qué puede utilizar;

• determina a qué sistemas puede conectarse;

• determina con qué datos trabaja;

• determina qué acciones puede realizar;

• determina en qué casos se requiere una verificación adicional

basándose en reglas claramente definidas.

Esto es especialmente importante cuando los agentes de IA comienzan a trabajar con sistemas empresariales, bases de datos u otras infraestructuras críticas.

En el futuro de la IA, la pregunta más importante no es su capacidad

Cuanto más potente se vuelve la inteligencia artificial, más crucial se vuelve la cuestión de los poderes que se le otorgan.

Si un simple chatbot da una respuesta errónea, la consecuencia a menudo se limita a información incorrecta. Un agente de IA autónomo puede realizar acciones de forma independiente en sistemas externos. Por eso, se ha vuelto esencial no solo detectar sus errores después, sino también controlarlos en el momento mismo en que ocurre la acción. Se ha vuelto importante.

La nueva plataforma de Nvidia tiene como objetivo resolver precisamente esta tarea: dar libertad al agente, pero manteniendo sus poderes dentro de límites técnicamente definidos.

La empresa presentó la nueva Open Agent Safety Platform como una plataforma de software abierta y un diseño de sistema de referencia. Según Nvidia, el proyecto está diseñado para gestionar agentes de IA de forma más segura, desde la fase de prueba hasta el entorno de producción.

Así, comienza una nueva etapa en el desarrollo de la inteligencia artificial: ya no se trata solo de hacer que la IA sea más inteligente, sino de garantizar dónde y cómo es posible detener los poderes que se le otorgan.