Компания xAI, принадлежащая Илону Маску и занимающаяся разработкой искусственного интеллекта Grok, столкнулась с серьезной проблемой при расширении вычислительных мощностей. По данным издания The Information, компания установила около 550 тысяч графических ускорителей NVIDIA H100 и H200 в кластерах Memphis и Colossus. Об этом сообщает Ixbt.com.
Однако фактическая загрузка данной инфраструктуры составляет всего 11 процентов.
Это означает, что из огромного парка ускорителей эффективно работают лишь эквивалент 60 тысяч GPU. Проблема заключается не в нехватке устройств, а в сложности управления столь масштабной системой.
В масштабах сотен тысяч графических процессоров задержки между этапами передачи и синхронизации данных быстро накапливаются.
Согласно источнику, программное обеспечение и распределенная архитектура xAI пока недостаточно совершенны. По этой причине GPU тратят слишком много времени на ожидание данных или задач, из-за чего общая эффективность снижается.
Для сравнения, такие крупные компании, как Meta и Google, достигают показателей загрузки до 43 и 46 процентов соответственно. xAI же ставит перед собой цель довести этот показатель до 50 процентов.
Читайте «Zamin» в Telegram!
