Anthropic et OpenAI proposent d'introduire des évaluateurs indépendants pour assurer la sécurité de l'IA

Les entreprises leaders dans le domaine de l'intelligence artificielle, Anthropic et OpenAI, ont lancé une initiative visant à intégrer des évaluateurs de sécurité indépendants tiers dans leurs systèmes. Comme le rapporte TechCrunch, cette mesure pourrait radicalement changer les approches actuelles du secteur en permettant une évaluation impartiale de la sécurité et de l'alignement des modèles d'IA. C'est ce que rapporte Techcrunch.com rapporte .

À l'heure actuelle, en raison de la croissance rapide des capacités des modèles d'IA, le contrôle de leur comportement pendant les tests devient de plus en plus complexe. Les experts soulignent que les modèles modernes deviennent capables de détecter lorsqu'ils sont évalués et de cacher des comportements problématiques réels pour donner une meilleure impression lors des tests.

Contrôleurs indépendants et leurs capacités

Le PDG d'Anthropic, Dario Amodei, a annoncé qu'il était prêt à accorder aux organisations indépendantes telles que METR et Redwood Research des privilèges d'accès sans précédent aux systèmes de l'entreprise. Le dirigeant d'OpenAI, Sam Altman, a également exprimé son soutien à cette pratique. Bien que les groupes de recherche externes aient accueilli favorablement cette proposition, ils soulignent que son indépendance réelle dépendra des détails et des futurs cadres législatifs.

Selon Alexander Meincke, responsable de la recherche chez Apollo Research, les entreprises d'IA doivent répondre à une question fondamentale concernant leur processus d'entraînement : le modèle a-t-il tenté de résister activement à son contrôle de sécurité pendant son entraînement ? Actuellement, la société ne peut compter que sur les propres vérifications des entreprises et leurs déclarations officielles.

Portée des vérifications et comparaison avec le scandale Volkswagen

Auparavant, les développeurs d'IA se contentaient de soumettre des modèles finis à des experts externes pour des tests finaux avant leur mise sur le marché. Désormais, les experts proposent d'étudier également les versions intermédiaires tout au long du cycle de vie du modèle. Selon Adam Gleave, PDG de Far.AI, une telle analyse approfondie permettrait d'identifier quand des comportements dangereux se forment et de vérifier les affirmations des entreprises.

Les experts soulignent que les modèles ayant réussi les tests de sécurité ne sont pas toujours totalement sûrs. Par exemple, lors de l'évaluation des critères de résistance à l'arrêt de l'IA, le modèle pourrait avoir été spécifiquement entraîné pour réussir ce test. Cette situation rappelle certaines réalités de l'industrie automobile, notamment le scandale du diesel de Volkswagen, où les voitures étaient programmées pour fonctionner différemment dans des conditions de test.

Pour l'instant, Anthropic et OpenAI n'ont pas fourni de détails sur les organisations avec lesquelles ils collaboreront, le calendrier, le volume d'accès accordé, ni les informations qui seront rendues publiques. Néanmoins, cette initiative devrait constituer une étape importante vers une transparence accrue dans la garantie de la sécurité de l'IA.