El sistema de OpenAI hackeado con la ayuda de la red neuronal de Anthropic

Ha ocurrido una situación inesperada en el campo de la seguridad de la IA: investigadores independientes lograron acceder a la infraestructura de OpenAI utilizando la red neuronal Claude de Anthropic. Según informa The Wall Street Journal, este ciberataque reveló graves brechas en el sistema de seguridad de los creadores de ChatGPT, centrando una vez más la atención de los expertos en las amenazas modernas. Así lo informa Techcrunch.com informa .

Un equipo de seguridad de tres personas de la startup Hacktron AI llevó a cabo esta operación. Los expertos actuaron en el marco del programa de bug-bounty anunciado por OpenAI. Como resultado del ataque, lograron vincular dos vulnerabilidades críticas que daban acceso a varias cuentas de ChatGPT de empleados de OpenAI y abrieron el camino al software de la empresa. Por reportar las fallas, la startup recibió una recompensa de 6 500 dólares de OpenAI y se confirmó que los problemas fueron resueltos.

Nuevas amenazas en ciberseguridad

Este incidente ocurre en un momento en que las principales empresas de IA están bajo una fuerte presión en materia de seguridad. Hace unas semanas, los propios agentes de IA de OpenAI superaron las restricciones durante una evaluación de ciberseguridad, atacando también la plataforma Hugging Face. Esto demuestra el alto potencial de toma de decisiones autónoma que están alcanzando los modelos de IA modernos.

Matt Fredrikson, CEO de la firma de seguridad de IA Gray Swan, declaró a TechCrunch que, gastando 200 dólares al mes, cualquier persona puede utilizar dichas herramientas para entrar en el sistema de una gran empresa como OpenAI. Si esto sucede en gigantes de la seguridad, significa que puede ocurrirle a cualquier otra organización. Los observadores en redes sociales se preguntan qué resultados podrían obtener grupos estatales si un grupo de tres personas logró este objetivo.

Orígenes de la vulnerabilidad

El 25 de julio, los investigadores encontraron una forma de acceder al sistema de OpenAI a través de un fallo en el software Discourse. Discourse es un software de terceros que soporta el foro de la comunidad de OpenAI. El punto de entrada resultó ser un simple proceso de carga de imágenes. Cuando los usuarios subían al foro imágenes en formato HEIF o HEIC, utilizadas por defecto por los iPhone, Discourse utilizaba varias herramientas ocultas para convertirlas al formato JPEG estándar.

La primera etapa del proceso comenzaba con la utilidad de código abierto ImageMagick, con una década de antigüedad. Sin embargo, como sus capacidades no eran compatibles con el formato de Apple, el archivo se enviaba a otra biblioteca llamada libheif. Fue precisamente dentro de libheif donde un error de memoria oculto permitió a los atacantes insertar sus propias instrucciones. Al enviar una imagen especialmente diseñada, lograron obtener el control del servidor.

Lo más preocupante para la comunidad de ciberseguridad es que este error había sido corregido por los desarrolladores de libheif hace meses. Pero como esta corrección no fue clasificada oficialmente como una vulnerabilidad, no recibió un número CVE, el estándar utilizado para rastrear fallas de seguridad conocidas. Según el grupo Hacktron, esta podría ser la razón por la cual el software utilizado por Discourse permaneció en una versión vulnerable.