Bosgame, yedi mini-PC kullanarak DeepSeek-V3.1 modelini çalıştırma yöntemini sergiledi

Yapay zeka teknolojilerinin geliştiği bir dönemde, büyük dil modellerini yerel cihazlarda çalıştırmak güncel sorunlardan biri olmaya devam ediyor. Bosgame şirketi, M5 AI mini bilgisayarlarıyla bu soruna beklenmedik ve etkili bir çözüm sundu. Şirket mühendisleri, yedi adet mini-PC'yi tek bir kümede birleştirerek 671 milyar parametreli DeepSeek-V3.1 modelini başarıyla çalıştırdı. Bu konuda Ixbt.com haber veriyor.

Bu deneyin temeli olarak geçen yıl tanıtılan M5 AI modeli seçildi. Bu cihaz, Ryzen AI Max+ 395 işlemci ile donatılmış olup, en üst konfigürasyonu 128 GB RAM ile desteklenmektedir. ixbt.com'a göre, tek bir cihazın gücü bu kadar büyük modelleri işlemeye yetmese de, sistemin ölçeklenebilirlik özelliği onu güçlü bir hesaplama merkezine dönüştürmeyi mümkün kılıyor.

USB4 Direct Connection teknolojisinin avantajları

Sistemi genişletme işlemi USB4 Direct Connection teknolojisi ile gerçekleştirildi. Bu çözüm, birden fazla mini bilgisayarı geleneksel merkezi sunucu mimarisi olmadan doğrudan birbirine bağlamayı sağlar. Sonuç olarak, yedi düğüm (node) birleşerek toplamda 896 GB birleşik bellek oluşturur. Bunun 672 GB'lık kısmı doğrudan GPU ihtiyaçları için ayrılır; bu da DeepSeek-V3.1 gibi ağır modelleri yerel olarak çalıştırmak için yeterlidir.

Bosgame'in sunduğu bu çözümün temel avantajı ekonomik verimliliğidir. Benzer güce sahip profesyonel sunucu kümeleri on binlerce dolara mal olabilirken, mini-PC'lerden oluşan sistem birkaç kat daha ucuza gelmektedir. Ayrıca, böyle bir küme geleneksel sunuculara kıyasla çok daha az elektrik tüketmesiyle öne çıkmaktadır.

Esneklik ve fiyat politikası

Şirket temsilcileri, bu yaklaşımın kullanıcılar için kolaylığını özellikle vurguluyor. Müşteriler başlangıçta bir mini-PC satın alıp, daha sonra ihtiyaç ve imkanlarına göre yeni düğümler ekleyebilirler. Bu durum, yapay zeka ile çalışan startup'lar ve araştırmacılar için bütçe planlamasında büyük kolaylık sağlar.

Fiyat konusuna gelince, geçen yıl bu sistemin en güçlü versiyonu yaklaşık 1700 dolar civarında satılıyordu. Günümüzde üretici, tek bir cihaz için 2800 dolar fiyat belirlemiş durumda. Fiyat artışına rağmen, yedi cihazlı küme hala NVIDIA'nın profesyonel H100 veya A100 grafik hızlandırıcılarından oluşan sistemlerden önemli ölçüde daha ucuzdur.

Özetle, Bosgame'in deneyi, mini bilgisayarların sadece ofis işleri için değil, aynı zamanda en karmaşık yapay zeka görevlerini yerine getirmek için de yeterli olduğunu kanıtladı. Bu tür yeniliklerin gelecekte yüksek teknolojili hesaplama güçlerinin daha da yaygınlaşmasına ve ucuzlamasına hizmet edeceği şüphesizdir.