Sekiz yıl önce üretilen Nvidia Tesla V100 grafik hızlandırıcısı, yapay zeka modellerini yerel olarak çalıştırmada hala yüksek performans gösteriyor. Hardware Haven kanalı yazarının yaptığı testler, bu eski sunucu kartının RTX 3060 12 GB ve Radeon RX 7800 XT 16 GB gibi modern modellerden bile daha hızlı çalıştığını ortaya koydu. Bu konuda Ixbt.com haber veriyor.
İkinci el piyasasında yaklaşık 100 dolara bulunabilen Tesla V100'ü standart bir bilgisayara kurmak için SXM-to-PCIe adaptörü, harici bir güç kaynağı ve 3D yazıcıda basılmış bir soğutma sistemi gerekiyor. Tüm ek donanımlarla birlikte sistemin toplam maliyeti 235 dolar oldu.
Test sonuçlarına göre, GPT-oss 20B modelinde Tesla V100 saniyede 130 token üretti; bu, Radeon RX 7800 XT'nin (90 token/s) performansından önemli ölçüde yüksek. Ayrıca Gemma4:e4b modelinde de 108'e 76 token/s oranıyla RTX 3060 12 GB kartını geride bıraktı.
Bu kartın temel avantajı, HBM2 belleğinin yüksek bant genişliği ve hesaplama süreçlerine özel olarak optimize edilmiş olmasıdır. Kurulum süreci karmaşık olsa da, sunucu GPU'ları yapay zeka meraklıları için oldukça verimli ve uygun maliyetli bir çözüm olmaya devam ediyor.
Uzmanlar, 32 GB belleğe sahip Tesla V100 versiyonlarına da dikkat edilmesini öneriyor. 400–500 dolar civarında satılan bu modeller, ağır LLM modellerini yerel olarak çalıştırmak için pahalı modern RTX kartlarına iyi bir alternatif olabilir.
“Zamin”i Telegram'da okuyun!
