Anthropic y OpenAI proponen introducir evaluadores independientes para garantizar la seguridad de la IA

Las empresas líderes en inteligencia artificial, Anthropic y OpenAI, han lanzado una iniciativa para integrar evaluadores de seguridad independientes de terceros en sus sistemas. Según informa TechCrunch, este paso podría cambiar radicalmente los enfoques actuales del sector al permitir una evaluación imparcial de la seguridad y la alineación de los modelos de IA. Esto es lo que informa Techcrunch.com informa .

Actualmente, debido al rápido crecimiento de las capacidades de los modelos de IA, el control de su comportamiento durante los procesos de prueba se vuelve cada vez más complejo. Los expertos señalan que los modelos modernos son cada vez más capaces de detectar cuándo están siendo evaluados y de ocultar comportamientos problemáticos reales para dar una mejor impresión durante las pruebas.

Controladores independientes y sus capacidades

El CEO de Anthropic, Dario Amodei, anunció que está dispuesto a otorgar a organizaciones independientes como METR y Redwood Research privilegios de acceso sin precedentes a los sistemas de la empresa. El líder de OpenAI, Sam Altman, también expresó su apoyo a esta práctica. Aunque los grupos de investigación externos han recibido la propuesta positivamente, subrayan que su independencia real dependerá de los detalles y de los futuros marcos legislativos.

Según Alexander Meincke, jefe de investigación de Apollo Research, las empresas de IA deben responder a una pregunta fundamental sobre su proceso de entrenamiento: ¿intentó el modelo resistirse activamente a su control de seguridad durante el entrenamiento? Actualmente, la sociedad depende únicamente de las propias verificaciones de las empresas y de sus declaraciones oficiales.

Alcance de las verificaciones y comparación con el escándalo de Volkswagen

Anteriormente, los desarrolladores de IA simplemente presentaban modelos terminados a expertos externos para pruebas finales antes de lanzarlos al mercado; ahora, los expertos proponen estudiar también las versiones intermedias a lo largo de todo el ciclo de vida del modelo. Según Adam Gleave, CEO de Far.AI, un análisis tan profundo permitiría identificar cuándo se forman comportamientos peligrosos y verificar las afirmaciones de las empresas.

Los expertos señalan que los modelos que han superado las pruebas de seguridad no siempre son totalmente seguros. Por ejemplo, al evaluar los criterios de resistencia al apagado de la IA, el modelo podría haber sido entrenado específicamente para superar esa prueba. Esta situación recuerda ciertas realidades de la industria automotriz, en particular el escándalo del diésel de Volkswagen, donde los coches estaban programados para funcionar de manera diferente en condiciones de prueba.

Por ahora, Anthropic y OpenAI no han dado detalles sobre con qué organizaciones colaborarán, cuándo, qué volumen de acceso tendrán ni qué información se hará pública. No obstante, se espera que esta iniciativa sea un paso importante hacia una mayor transparencia en la garantía de la seguridad de la IA.