Avertissement d'Anthropic : L'intelligence artificielle au bord du développement autonome

L'entreprise américaine Anthropic met en garde contre l'accélération rapide du rythme de développement de l'intelligence artificielle (IA). Selon les experts, les agents IA pourraient bientôt atteindre un niveau où ils peuvent s'auto-construire, s'entraîner et s'améliorer sans intervention humaine. Par conséquent, l'entreprise recommande de ralentir légèrement le développement de cette technologie. Cointelegraph.com rapporte .

Dans un article de blog publié par Marina Favaro, directrice de l'Anthropic Institute, et Jack Clark, l'un des cofondateurs de l'entreprise, il est souligné que les agents IA exécutent déjà du code de manière indépendante et délèguent des tâches complexes à d'autres agents. « Pendant une grande partie de l'histoire de l'IA, les humains contrôlaient chaque étape. Mais maintenant, nous confions une part importante du développement aux systèmes d'IA eux-mêmes, ce qui accélère considérablement notre travail », affirment les experts.

Selon les informations, le modèle Claude créé par Anthropic écrit actuellement près de 80 % du code logiciel ajouté à la base de code de l'entreprise. Si la qualité du code écrit par les humains et l'IA devient équivalente, les humains pourraient cesser complètement d'écrire du code pour se concentrer uniquement sur sa vérification. Cependant, si les humains ne parviennent pas à suivre la vérification du code créé par Claude, cela pourrait devenir un goulot d'étranglement dans le développement global du système.

Cette tendance, combinée à une puissance de calcul suffisante, pourrait conduire à l'émergence d'un système d'IA capable de créer indépendamment un « successeur » plus intelligent que lui-même. Auparavant, OpenAI avait également indiqué mener des recherches sur l'auto-amélioration récursive et souligné l'importance de maintenir ce processus aligné sur la supervision et les valeurs humaines.

Selon les représentants d'Anthropic, l'amélioration des modèles d'IA double de vitesse non pas tous les sept mois, mais tous les quatre mois. Cela fait peser le risque que l'IA échappe à tout contrôle avant que de nombreuses institutions ne soient prêtes. Ainsi, ralentir le rythme de développement est considéré comme la meilleure approche pour étudier les conséquences massives de cette technologie.