В компании xAI Илона Маска работают только 11% графических процессоров
Компания xAI, принадлежащая Илону Маску и занимающаяся развитием искусственного интеллекта Grok, столкнулась с серьезной проблемой в использовании своих вычислительных мощностей. Из 550 тысяч установленных графических процессоров NVIDIA H100 и H200, лишь 11% находятся в активном использовании, что эквивалентно 60 тысячам GPU. Основная причина низкой загрузки заключается не в нехватке оборудования, а в сложности управления такой масштабной системой, что приводит к задержкам в передаче и синхронизации данных. В то время как крупные компании, такие как Meta и Google, достигают загрузки до 46%, xAI ставит цель увеличить этот показатель до 50%.
Компания xAI, принадлежащая Илону Маску и занимающаяся разработкой искусственного интеллекта Grok, столкнулась с серьезной проблемой при расширении вычислительных мощностей. По данным издания Те Информатион, компания установила около 550 тысяч графических ускорителей NVIDIA Х100 и Х200 в кластерах Мемфис и Колоссус. Об этом сообщает Иксбт.ком.
Однако фактическая загрузка данной инфраструктуры составляет всего 11 процентов.
Это означает, что из огромного парка ускорителей эффективно работают лишь эквивалент 60 тысяч GPU. Проблема заключается не в нехватке устройств, а в сложности управления столь масштабной системой.
В масштабах сотен тысяч графических процессоров задержки между этапами передачи и синхронизации данных быстро накапливаются.
Согласно источнику, программное обеспечение и распределенная архитектура xAI пока недостаточно совершенны. По этой причине GPU тратят слишком много времени на ожидание данных или задач, из-за чего общая эффективность снижается.
Для сравнения, такие крупные компании, как Meta и Google, достигают показателей загрузки до 43 и 46 процентов соответственно. xAI же ставит перед собой цель довести этот показатель до 50 процентов.
Комментарии 0
…