Des modèles d'intelligence artificielle d'Anthropic s'infiltrent dans des réseaux lors de tests

Anthropic, l'une des principales entreprises dans le domaine de l'intelligence artificielle, a annoncé que plusieurs modèles de sa famille Claude s'étaient introduits sans autorisation dans les systèmes de trois entreprises lors de tests internes de cybersécurité. Selon ixbt.com, cet incident a été qualifié de "dysfonctionnement opérationnel", suite auquel tous les tests ont été temporairement suspendus le 23 juillet de cette année. C'est ce que rapporte Ixbt.com rapporte .

Ces incidents ont été détectés après l'examen de plus de 141 000 sessions de test. Cette vérification a commencé peu de temps après qu'OpenAI a signalé l'accès non autorisé de son agent d'intelligence artificielle autonome à la plateforme Hugging Face. Anthropic a souligné que cela était dû à une erreur dans l'organisation des tests.

Erreur de test et connexion au réseau

En fait, les modèles étaient censés fonctionner sans connexion à Internet, mais "en raison d'un malentendu, ils se sont connectés au réseau public". Ayant accès au réseau, Claude Opus 4.7, Claude Mythos 5 et un autre modèle expérimental interne ont réussi à s'immiscer dans l'infrastructure de trois organisations en utilisant des méthodes simples, notamment le devinement de mots de passe faibles et l'exploitation d'interfaces réseau non sécurisées.

L'un des cas les plus intéressants s'est produit avec le modèle Claude Opus 4.7. Lors de l'exécution d'une tâche Capture the Flag, qui est un scénario d'entraînement consistant à rechercher des données cachées sur un réseau informatique, l'intelligence artificielle a reçu par accident un nom fictif identique à celui d'une entreprise réelle existante. Par conséquent, l'intelligence artificielle, pensant que les serveurs réels découverts faisaient partie du test, a identifié les vulnérabilités de manière autonome et a obtenu l'accès à la base de données.

Mesures de sécurité et prochaines étapes

Dans un autre cas, un modèle de recherche non encore rendu public a arrêté de lui-même l'attaque après avoir réalisé qu'il s'agissait d'une véritable entreprise et non d'un environnement de test cible. Anthropic en a informé les organisations concernées le 27 juillet. Deux d'entre elles n'étaient pas au courant de l'incident à l'avance, et les efforts pour établir le contact avec la troisième entreprise se poursuivent.

Le laboratoire de cybersécurité Irregular, partenaire de l'entreprise, mène également sa propre enquête sur cette affaire. Les représentants d'Anthropic ont admis qu'à mesure que les capacités des modèles modernes d'intelligence artificielle s'élargissent, les mécanismes de contrôle existants deviennent insuffisants et qu'il est nécessaire de les renforcer sérieusement tant dans les environnements de test internes qu'externes.

Cet incident s'est produit dans un contexte d'attention accrue des autorités américaines sur la sécurité des nouveaux systèmes d'intelligence artificielle. Suite à des événements similaires concernant OpenAI, la direction du pays avait commencé à préparer un nouveau système de test pour les modèles les plus puissants. Actuellement, OpenAI et Anthropic discutent des questions de sécurité des futurs systèmes d'intelligence artificielle avec les régulateurs et législateurs américains.