Google, TurboQuant adlı yeni bir algoritma tanıttı; bu algoritma, büyük dil modellerinin bellek kullanımını altı kata kadar azaltabiliyor. Şirkete göre yöntem doğruluğu koruyor ve performansa gözle görülür bir zarar vermiyor; bu da AI sistemlerini daha ucuz ve çalıştırılması daha kolay hale getirebilir. Tech.onliner.by bildiriyor.
TurboQuant'ın ana hedefi, dil modellerinin konuşmalar sırasında dayandığı önbellektir. Bu önbellek, sistemin aynı hesaplamaları tekrar yapmak zorunda kalmaması için önemli verileri depolar. Ancak kullanıcının diyaloğu uzadıkça önbellek de büyür; bu da yanıtları yavaşlatabilir ve donanım gereksinimlerini artırabilir.
Google, TurboQuant'ın depolanan verileri sıkıştırıp bu süreçte ortaya çıkan hataları düzelterek birkaç aşamada çalıştığını söyledi. Algoritma, aynı anda hem bellek baskısını hem de hesaplama maliyetlerini azaltacak şekilde tasarlandı. Bir diğer önemli nokta ise ek eğitim gerektirmeden mevcut modellere uygulanabilmesidir.
Bu gelişme, özellikle akıllı telefonlarda ve kaynakları sınırlı diğer cihazlarda çalışan AI araçları için faydalı olabilir. Yaygın biçimde benimsenirse TurboQuant, AI hizmetlerinin işletme maliyetlerini düşürmeye yardımcı olabilirken gelişmiş modelleri daha küçük ve daha az güçlü donanımlarda daha kullanışlı hale getirebilir.
“Zamin”i Telegram'da okuyun!
