La société xAI, propriété d'Elon Musk et développant l'intelligence artificielle Grok, fait face à des difficultés majeures dans l'expansion de ses capacités de calcul. Selon la publication The Information, l'entreprise a installé environ 550 000 accélérateurs graphiques NVIDIA H100 et H200 au sein de ses clusters de Memphis et Colossus.
C'est ce que rapporte Ixbt.com ici.
Cependant, le taux d'utilisation actuel de cette infrastructure ne s'élève qu'à 11 %.
Cela signifie que sur l'immense parc d'accélérateurs, seul l'équivalent de 60 000 GPU fonctionne de manière efficace. Le problème ne réside pas dans une pénurie de matériel, mais dans la complexité de gestion d'un système d'une telle envergure.
À l'échelle de centaines de milliers de processeurs graphiques, les interruptions entre les étapes de transfert et de synchronisation des données s'accumulent rapidement.
Selon la source, l'architecture logicielle et distribuée de xAI n'est pas encore suffisamment aboutie. Par conséquent, les GPU passent beaucoup de temps à attendre des données ou des tâches, ce qui réduit l'efficacité globale.
À titre de comparaison, des entreprises majeures telles que Meta et Google atteignent des taux respectifs de 43 % et 46 %. De son côté, xAI s'est fixé pour objectif de porter ce taux d'utilisation à 50 %.
Lisez “Zamin” sur Telegram !
