Спрос на вычислительные мощности для запуска моделей искусственного интеллекта (ИИ) резко возрастает. Компании в этой сфере сталкиваются с двумя основными препятствиями: поиском необходимых чипов и их размещением в дата-центрах. Новый стартап в сфере инференс-необлаков под названием General Compute предлагает уникальное решение этих проблем. Компания привлекла 15 миллионов долларов в инвестиционном раунде под руководством FUSE VC, а её рыночная стоимость оценивается в 60 миллионов долларов. Об этом сообщает Techcrunch.com .
Хотя спрос на GPU сейчас высок, эксперты отмечают, что они не являются лучшим решением для запуска (инференса) уже обученных моделей ИИ. Наряду с такими гигантами, как Nvidia, Groq и Cerebras, General Compute сосредоточилась на чипах SambaNova, поддерживаемых Intel. Эти специализированные чипы работают значительно быстрее GPU, обеспечивая генерацию 600–700 токенов в секунду.
General Compute уже заказала чипы SN50 на сумму 300 миллионов долларов и объявила, что станет первым необлачным провайдером, внедрившим их. Преимущество этих чипов заключается в том, что они используют воздушное, а не водяное охлаждение и потребляют меньше энергии. Это позволяет устанавливать их в существующих дата-центрах без создания новой инфраструктуры, включая помещения майнеров криптовалют, желающих сменить профиль деятельности.
На прошлой неделе компания запустила свой облачный сервис и утверждает, что демонстрирует самую высокую скорость запуска модели с открытым исходным кодом MiniMax 2.7. Инвесторы сравнивают партнерство между SambaNova и General Compute с успешным сотрудничеством Nvidia и Coreweave.
Читайте «Zamin» в Telegram!
