Google TurboQuant'ni taqdim etdi, bu usul sun'iy intellektning eng katta apparat muammolaridan biri — xotiraga qaratilgan. Faqat kattaroq va qimmatroq chiplargagina tayanish o'rniga, g'oya katta til modellariga matn yaratish paytida xotirada saqlashi kerak bo'ladigan ma'lumot hajmini qisqartirishdan iborat. Bu AI tizimlarini qurayotgan kompaniyalar va xotira chiplari bozorini kuzatayotgan investorlar uchun muhim bo'lishi mumkin. Bu haqda Adlrocha.substack.com xabar beradi.
Katta til modellari bir vaqtda bittadan tokenni bashorat qilish orqali ishlaydi va doim oldingi tokenlarga qayta murojaat qiladi. Buni samarali bajarish uchun ular avvalgi bosqichlardagi key va value ma'lumotlarini KV kesh deb ataladigan joyda saqlaydi. Bu kesh bir xil hisob-kitoblarni takrorlashning oldini oladi, ammo u har bir yangi token bilan kattalashib boradi. Uzoq chatlarda, kod yozish sessiyalarida yoki hujjatlarni tahlil qilish vazifalarida xotira talabi nihoyatda katta bo'lib ketishi mumkin.
TurboQuant aynan shu KV keshni nishonga oladi. Manba materialiga ko'ra, bu texnika saqlanayotgan vektorlarni model aniqligida sezilarli yo'qotish keltirib chiqarmasdan siqadi. Sodda qilib aytganda, u GPU dagi jismoniy xotirani kamroq ishlatgan holda katta xotira omborining afzalliklarini saqlab qolishga urinadi. Bu inference samaradorligini oshirishi va yuqori o'tkazuvchanlikka ega xotira ta'minotiga bosimni kamaytirishi mumkin.
Agar bunday usullar katta miqyosda samarali ekanini isbotlasa, ular AI infratuzilmasi haqidagi munozarani biroz o'zgartirishi mumkin. Ilg'or xotiraga talab ehtimol kuchli bo'lib qoladi, ammo aqlliroq siqish apparatga bo'lgan ehtiyoj qanchalik tez o'sishini kamaytirishi mumkin. Sanoat uchun bu shuni anglatadiki, yaxshiroq dasturiy ta'minot ko'pchilik faqat apparat hal qiladi deb kutgan muammoning bir qismini hal qila boshlashi mumkin.
“Zamin”ni Telegramʻda oʻqing!
