Google, yapay zekânın en büyük donanım sorunlarından birine, yani belleğe odaklanan bir yöntem olan TurboQuant'ı tanıttı. Fikir, yalnızca daha büyük ve daha pahalı çiplere güvenmek yerine, büyük dil modellerinin metin üretirken bellekte tutmak zorunda olduğu veriyi küçültmek. Bu durum, hem yapay zekâ sistemleri kuran şirketler hem de bellek çipi pazarını izleyen yatırımcılar için önemli olabilir. Adlrocha.substack.com bildiriyor.
Büyük dil modelleri, her seferinde bir token tahmin ederek çalışır ve sürekli olarak önceki tokenlara geri döner. Bunu verimli biçimde yapmak için, önceki adımlardan gelen anahtar ve değer verilerini KV cache olarak bilinen yapıda depolarlar. Bu önbellek aynı hesaplamaların tekrarlanmasını önlemeye yardımcı olur, ancak her yeni tokenla birlikte büyür. Uzun sohbetlerde, kodlama oturumlarında veya belge analizi görevlerinde bellek ihtiyacı çok büyük hâle gelebilir.
TurboQuant bu KV cache'i hedef alıyor. Kaynak materyale göre teknik, depolanan vektörleri model doğruluğunda anlamlı bir kayba yol açmadan sıkıştırıyor. Basitçe söylemek gerekirse, GPU üzerinde daha az fiziksel bellek kullanırken büyük bir bellek havuzunun avantajlarını korumaya çalışıyor. Bu da inference verimliliğini artırabilir ve yüksek bant genişlikli bellek tedariki üzerindeki baskıyı azaltabilir.
Eğer bu tür yöntemler büyük ölçekte etkili olduğunu kanıtlarsa, yapay zekâ altyapısı etrafındaki tartışmayı bir miktar değiştirebilir. Gelişmiş belleğe olan talebin muhtemelen güçlü kalması beklenir, ancak daha akıllı sıkıştırma, donanım ihtiyaçlarının ne kadar hızlı büyüdüğünü azaltabilir. Sektör açısından bu, daha iyi yazılımların, birçok kişinin yalnızca donanımın çözmesini beklediği sorunun bir kısmını çözmeye başlayabileceği anlamına gelir.
“Zamin”i Telegram'da okuyun!
