Bosgame demonstriert, wie das DeepSeek-V3.1-Modell mit sieben Mini-PCs ausgeführt wird

In einer Zeit, in der sich KI-Technologien rasant weiterentwickeln, bleibt die Ausführung großer Sprachmodelle auf lokalen Geräten eine der drängendsten Herausforderungen. Das Unternehmen Bosgame hat mit seinen M5 AI Mini-PCs eine unerwartete und effiziente Lösung für dieses Problem präsentiert. Ingenieure des Unternehmens haben sieben Mini-PCs zu einem Cluster zusammengeschlossen und das DeepSeek-V3.1-Modell mit 671 Milliarden Parametern erfolgreich ausgeführt, wie Ixbt.com berichtet. meldet.

Als Basis für dieses Experiment wurde das im letzten Jahr vorgestellte M5 AI-Modell gewählt. Das Gerät ist mit einem Ryzen AI Max+ 395 Prozessor ausgestattet und verfügt in der höchsten Konfiguration über 128 GB RAM. Laut ixbt.com reicht die Leistung eines einzelnen Geräts zwar nicht aus, um solch große Modelle zu verarbeiten, doch die Skalierbarkeit des Systems ermöglicht es, es in ein leistungsstarkes Rechenzentrum zu verwandeln.

Vorteile der USB4 Direct Connection Technologie

Die Erweiterung des Systems erfolgte über die USB4 Direct Connection Technologie. Diese Lösung ermöglicht es, mehrere Mini-PCs ohne eine herkömmliche zentralisierte Serverarchitektur direkt miteinander zu verbinden. Das Ergebnis ist ein Verbund aus sieben Knoten (Nodes), die insgesamt 896 GB vereinheitlichten Speicher bereitstellen. Davon sind 672 GB direkt für die Anforderungen der GPU reserviert, was ausreicht, um schwere Modelle wie DeepSeek-V3.1 lokal auszuführen.

Der Hauptvorteil der von Bosgame vorgeschlagenen Lösung liegt in ihrer Wirtschaftlichkeit. Während professionelle Server-Cluster mit vergleichbarer Leistung zehntausende Dollar kosten können, ist ein System aus Mini-PCs um ein Vielfaches günstiger. Zudem zeichnet sich ein solcher Cluster durch einen deutlich geringeren Stromverbrauch im Vergleich zu herkömmlichen Servern aus.

Flexibilität und Preisgestaltung

Unternehmensvertreter betonen die Benutzerfreundlichkeit dieses Ansatzes. Käufer können zunächst einen einzelnen Mini-PC erwerben und später je nach Bedarf und Budget weitere Knoten hinzufügen. Dies bietet Startups und Forschern im Bereich der Künstlichen Intelligenz große Vorteile bei der Budgetplanung.

Was die Preisgestaltung betrifft, so wurde die leistungsstärkste Version dieses Systems im letzten Jahr für etwa 1.700 Dollar verkauft. Derzeit liegt der Preis des Herstellers bei 2.800 Dollar pro Gerät. Trotz der Preiserhöhung ist ein Cluster aus sieben Geräten immer noch deutlich günstiger als Systeme, die auf professionellen NVIDIA H100 oder A100 Grafikbeschleunigern basieren.

Zusammenfassend lässt sich sagen, dass das Experiment von Bosgame bewiesen hat, dass Mini-PCs nicht nur für Büroarbeiten, sondern auch für komplexeste KI-Aufgaben geeignet sind. Solche Innovationen werden zweifellos dazu beitragen, dass hochleistungsfähige Rechenkapazitäten in Zukunft noch populärer und erschwinglicher werden.