La empresa xAI, propiedad de Elon Musk y desarrolladora de la inteligencia artificial Grok, se enfrenta a un serio problema en la expansión de su capacidad de cómputo.
Según informa el medio The Information, la compañía ha instalado cerca de 550.000 aceleradores gráficos NVIDIA H100 y H200 en sus clústeres de Memphis y Colossus. Así lo reporta Ixbt.com.
Sin embargo, la carga de trabajo actual de esta infraestructura es de apenas el 11 por ciento.
Esto significa que, de su enorme parque de aceleradores, solo el equivalente a 60.000 GPU está funcionando de manera efectiva. El problema no radica en la escasez de dispositivos, sino en la dificultad de gestionar un sistema de tal magnitud.
A escala de cientos de miles de procesadores gráficos, las interrupciones entre las etapas de transferencia y sincronización de datos se acumulan rápidamente.
Según la fuente, la arquitectura de software y distribuida de xAI aún no es lo suficientemente avanzada. Debido a esto, las GPU pasan demasiado tiempo esperando datos o tareas, lo que reduce la eficiencia general.
A modo de comparación, grandes empresas como Meta y Google alcanzan indicadores de hasta el 43 y 46 por ciento, respectivamente. Por su parte, xAI tiene como objetivo elevar la carga de trabajo al 50 por ciento.
¡Lee “Zamin” en Telegram!
