Elon Musk'a ait olan ve Grok yapay zekasını geliştiren xAI şirketi, hesaplama kapasitesini genişletme konusunda ciddi bir sorunla karşı karşıya. The Information'ın haberine göre şirket, Memphis ve Colossus kümelerinde yaklaşık 550 bin adet NVIDIA H100 ve H200 grafik hızlandırıcısı kurdu.
Konuyla ilgili bilgiyi Ixbt.com aktardı.
Ancak bu altyapının mevcut kullanım oranı sadece yüzde 11 seviyesinde kalıyor.
Bu durum, devasa hızlandırıcı parkından sadece 60 bin GPU eşdeğerinin verimli bir şekilde çalıştığı anlamına geliyor. Sorun cihaz eksikliğinden değil, böylesine devasa bir sistemi yönetmenin zorluğundan kaynaklanıyor.
Yüz binlerce grafik işlemci ölçeğinde, veri aktarımı ve senkronizasyon aşamaları arasındaki kesintiler hızla birikiyor.
Kaynağa göre, xAI'nin yazılım ve dağıtık mimarisi henüz yeterince gelişmiş değil. Bu nedenle GPU'lar, veri veya görev beklemek için çok fazla zaman harcıyor ve genel verimlilik düşüyor.
Kıyaslama yapmak gerekirse, Meta ve Google gibi büyük şirketler sırasıyla yüzde 43 ve yüzde 46'ya varan kullanım oranlarına ulaşıyor. xAI ise kullanım oranını yüzde 50'ye çıkarmayı hedefliyor.
“Zamin”i Telegram'da okuyun!
