Босгаме продемонстрировала способ запуска модели ДипСик-В3.1 с помощью семи мини-ПК

В эпоху развития технологий искусственного интеллекта вопрос запуска больших языковых моделей на локальных устройствах остается одной из актуальных проблем. Компания Босгаме предложила неожиданное и эффективное решение этой задачи с помощью своих мини-ПК М5 AI. Инженеры компании объединили семь мини-ПК в единый кластер и успешно запустили модель ДипСик-В3.1 с 671 миллиардом параметров. Об этом сообщает Иксбт.ком.

В качестве основы для этого эксперимента была выбрана модель М5 AI, представленная в прошлом году. Устройство оснащено процессором Ryzen AI Max+ 395, а его топовая конфигурация обладает 128 GB оперативной памяти (RAM). По данным иксбт.ком, хотя мощности одного устройства недостаточно для обработки таких крупных моделей, возможность масштабирования системы позволяет превратить ее в мощный вычислительный центр.

Преимущества технологии USB4 Директ Коннектион

Масштабирование системы было реализовано с помощью технологии USB4 Директ Коннектион. Это решение позволяет объединять несколько мини-ПК напрямую друг с другом без использования традиционной централизованной серверной архитектуры. В результате семь узлов (ноде) объединяются, создавая в общей сложности 896 GB унифицированной памяти. Из них 672 GB выделяются непосредственно под нужды графического процессора (GPU), чего достаточно для локального запуска тяжелых моделей, таких как ДипСик-В3.1.

Главное преимущество решения, предлагаемого Босгаме, заключается в его экономической эффективности. В то время как профессиональные серверные кластеры аналогичной мощности могут стоить десятки тысяч долларов, система из мини-ПК обходится в несколько раз дешевле. Кроме того, такой кластер отличается значительно меньшим энергопотреблением по сравнению с традиционными серверами.

Гибкость и ценовая политика

Представители компании особо подчеркивают удобство такого подхода для пользователей. Покупатели могут сначала приобрести один мини-ПК, а затем по мере необходимости и возможностей добавлять новые узлы. Это создает большие удобства при планировании бюджета для стартапов и исследователей, работающих с искусственным интеллектом.

Что касается цен, то в прошлом году самая мощная версия этой системы продавалась примерно за 1700 долларов. В настоящее время производитель установил цену в 2800 долларов за одно устройство. Несмотря на рост цены, кластер из семи устройств все равно значительно дешевле систем, состоящих из профессиональных графических ускорителей NVIDIA Х100 или А100.

Подводя итог, эксперимент Босгаме доказал, что мини-ПК способны справляться не только с офисными задачами, но и с самыми сложными задачами искусственного интеллекта. Подобные инновации, несомненно, будут способствовать дальнейшей популяризации и удешевлению высокотехнологичных вычислительных мощностей в будущем.