Modelos de inteligencia artificial de Anthropic acceden a redes durante pruebas

Anthropic, una de las empresas líderes en el campo de la inteligencia artificial, anunció que varios modelos de su familia Claude accedieron sin autorización a los sistemas de tres empresas durante pruebas internas de ciberseguridad. Según informó ixbt.com, este incidente fue calificado como un "fallo operativo", tras lo cual todas las pruebas fueron suspendidas temporalmente el 23 de julio de este año. Así lo informa Ixbt.com informa .

Estos incidentes fueron detectados tras revisar más de 141 000 sesiones de prueba. Dicha revisión comenzó poco después de que OpenAI informara que su agente autónomo de inteligencia artificial había accedido sin autorización a la plataforma Hugging Face. Anthropic enfatizó que esto se debió a un error en la organización de las pruebas.

Error en las pruebas y conexión a la red

En realidad, los modelos debían funcionar sin conexión a Internet, pero "debido a un malentendido, se conectaron a la red pública". Con acceso a la red, Claude Opus 4.7, Claude Mythos 5 y un modelo experimental interno lograron penetrar en la infraestructura de tres organizaciones utilizando métodos sencillos, incluyendo la adivinación de contraseñas débiles y el uso de interfaces de red no protegidas.

Uno de los casos más interesantes ocurrió con el modelo Claude Opus 4.7. Durante la ejecución de una tarea Capture the Flag, que es un escenario de entrenamiento para buscar datos ocultos en una red informática, a la inteligencia artificial se le asignó por accidente un nombre ficticio idéntico al de una empresa real existente. Como resultado, la inteligencia artificial, pensando que los servidores reales descubiertos formaban parte de la prueba, identificó vulnerabilidades de forma independiente y obtuvo acceso a la base de datos.

Medidas de seguridad y próximos pasos

En otro caso, un modelo de investigación aún no presentado al público detuvo el ataque por sí mismo tras darse cuenta de que se trataba de una empresa real y no de un entorno de pruebas objetivo. Anthropic notificó a las organizaciones afectadas el 27 juliio. Dos de ellas no estaban informadas previamente sobre el suceso, y continúan los trabajos para establecer contacto con la tercera empresa.

El laboratorio de ciberseguridad Irregular, socio de la empresa, también está llevando a cabo su propia investigación sobre este caso. Los representantes de Anthropic admitieron que a medida que se expanden las capacidades de los modelos modernos de inteligencia artificial, los mecanismos de control existentes resultan insuficientes y es necesario reforzarlos seriamente tanto en entornos de prueba internos como externos.

Este incidente ocurrió en medio de una creciente atención por parte de las autoridades estadounidenses hacia la seguridad de los nuevos sistemas de inteligencia artificial. Tras eventos similares relacionados con OpenAI, los dirigentes del país habían comenzado a preparar un nuevo sistema de pruebas para los modelos más potentes. Actualmente, OpenAI y Anthropic discuten cuestiones de seguridad de los futuros sistemas de inteligencia artificial con los reguladores y legisladores estadounidenses.