Bosgame demuestra cómo ejecutar el modelo DeepSeek-V3.1 con siete mini-PC

En una era en la que las tecnologías de inteligencia artificial evolucionan rápidamente, ejecutar grandes modelos de lenguaje en dispositivos locales sigue siendo un desafío importante. La empresa Bosgame ha ofrecido una solución inesperada y eficaz a este problema con sus mini-PC M5 AI. Los ingenieros de la compañía combinaron siete mini-PC en un solo clúster para ejecutar con éxito el modelo DeepSeek-V3.1, que cuenta con 671 mil millones de parámetros. Así lo informa Ixbt.com informa .

El modelo M5 AI, presentado el año pasado, fue elegido como base para este experimento. Este dispositivo está equipado con un procesador Ryzen AI Max+ 395, y su configuración más alta cuenta con 128 GB de RAM. Según ixbt.com, aunque la potencia de un solo dispositivo no es suficiente para procesar modelos tan grandes, la capacidad de escalabilidad del sistema permite convertirlo en un potente centro de computación.

Ventajas de la tecnología USB4 Direct Connection

La expansión del sistema se realizó mediante la tecnología USB4 Direct Connection. Esta solución permite conectar varios mini-PC directamente entre sí, sin necesidad de una arquitectura de servidor centralizada tradicional. Como resultado, siete nodos se combinan para formar un total de 896 GB de memoria unificada. De esta cantidad, 672 GB se asignan directamente a las necesidades de la GPU, lo cual es suficiente para ejecutar localmente modelos pesados como DeepSeek-V3.1.

La principal ventaja de esta solución propuesta por Bosgame radica en su eficiencia económica. Mientras que los clústeres de servidores profesionales con una potencia similar pueden costar decenas de miles de dólares, un sistema compuesto por mini-PC es varias veces más barato. Además, dicho clúster se distingue por un consumo de energía significativamente menor en comparación con los servidores tradicionales.

Flexibilidad y política de precios

Los representantes de la empresa destacan la comodidad de este enfoque para los usuarios. Los clientes pueden empezar comprando un solo mini-PC y luego añadir nuevos nodos según sus necesidades y posibilidades. Esto proporciona una gran flexibilidad presupuestaria para las startups y los investigadores que trabajan en el campo de la inteligencia artificial.

En cuanto a los precios, el año pasado la versión más potente de este sistema se vendía por unos 1700 dólares. Actualmente, el fabricante ha fijado un precio de 2800 dólares por unidad. A pesar de este aumento, un clúster de siete dispositivos sigue siendo significativamente más barato que los sistemas basados en aceleradores gráficos profesionales NVIDIA H100 o A100.

En conclusión, el experimento de Bosgame ha demostrado que los mini-PC son capaces no solo de manejar tareas de oficina, sino también de ejecutar las tareas de inteligencia artificial más complejas. Estas innovaciones contribuirán sin duda a la democratización y reducción de costes de las capacidades de computación de alta tecnología en el futuro.