Bosgame démontre comment exécuter le modèle DeepSeek-V3.1 avec sept mini-PC

À une époque où les technologies d'intelligence artificielle évoluent rapidement, l'exécution de grands modèles de langage sur des appareils locaux reste un défi majeur. La société Bosgame a proposé une solution inattendue et efficace à ce problème avec ses mini-PC M5 AI. Les ingénieurs de l'entreprise ont combiné sept mini-PC en un seul cluster pour exécuter avec succès le modèle DeepSeek-V3.1, doté de 671 milliards de paramètres. C'est ce que rapporte Ixbt.com rapporte .

Le modèle M5 AI, présenté l'année dernière, a été choisi comme base de cette expérience. Cet appareil est équipé d'un processeur Ryzen AI Max+ 395, et sa configuration la plus élevée est dotée de 128 GB de RAM. Selon ixbt.com, bien que la puissance d'un seul appareil ne suffise pas à traiter des modèles aussi volumineux, la capacité de mise à l'échelle du système permet de le transformer en un puissant centre de calcul.

Avantages de la technologie USB4 Direct Connection

L'extension du système a été réalisée via la technologie USB4 Direct Connection. Cette solution permet de connecter plusieurs mini-PC directement entre eux, sans architecture serveur centralisée traditionnelle. En conséquence, sept nœuds (nodes) se combinent pour former un total de 896 GB de mémoire unifiée. Sur ce total, 672 GB sont directement alloués aux besoins du GPU, ce qui est suffisant pour faire tourner localement des modèles lourds comme DeepSeek-V3.1.

Le principal avantage de cette solution proposée par Bosgame réside dans son efficacité économique. Alors que des clusters de serveurs professionnels de puissance similaire peuvent coûter des dizaines de milliers de dollars, un système composé de mini-PC est plusieurs fois moins cher. De plus, un tel cluster se distingue par une consommation d'énergie nettement inférieure à celle des serveurs traditionnels.

Flexibilité et politique tarifaire

Les représentants de l'entreprise soulignent la commodité de cette approche pour les utilisateurs. Les clients peuvent commencer par acheter un seul mini-PC, puis ajouter de nouveaux nœuds en fonction de leurs besoins et de leurs moyens. Cela offre une grande flexibilité budgétaire aux startups et aux chercheurs travaillant dans le domaine de l'intelligence artificielle.

En ce qui concerne les prix, l'année dernière, la version la plus puissante de ce système était vendue environ 1700 dollars. Actuellement, le fabricant a fixé un prix de 2800 dollars par unité. Malgré cette augmentation, un cluster de sept appareils reste nettement moins cher que les systèmes basés sur des accélérateurs graphiques professionnels NVIDIA H100 ou A100.

En conclusion, l'expérience de Bosgame a prouvé que les mini-PC sont capables non seulement de gérer des tâches de bureau, mais aussi d'exécuter les tâches d'intelligence artificielle les plus complexes. De telles innovations contribueront sans aucun doute à la démocratisation et à la réduction des coûts des capacités de calcul de haute technologie à l'avenir.