Google TurboQuant деп аталатын жаңа алгоритмді таныстырды, ол ірі тілдік модельдердің жад тұтынуын алты есеге дейін азайта алады. Компанияның айтуынша, бұл әдіс дәлдікті сақтайды және өнімділікке айтарлықтай зиян келтірмейді, соның арқасында AI жүйелерін арзанырақ әрі іске қосуды жеңілірек етуі мүмкін. Мұндай Tech.onliner.by хабарлайды.
TurboQuant-тың негізгі нысанасы — тілдік модельдер әңгімелесу кезінде сүйенетін кэш. Бұл кэш жүйе бірдей есептеулерді қайта-қайта жасамауы үшін маңызды деректерді сақтайды. Алайда пайдаланушының диалогы ұзарған сайын, кэш те ұлғаяды, бұл жауаптарды баяулатып, құрылғыға қойылатын талаптарды арттыруы мүмкін.
Google-дың айтуынша, TurboQuant бірнеше кезеңмен жұмыс істейді: ол сақталған деректерді қысып, сол үдеріс кезінде пайда болатын қателерді түзетеді. Алгоритм бір мезгілде жадқа түсетін жүктемені де, есептеу шығындарын да азайтуға арналған. Тағы бір маңызды тұсы — оны қолданыстағы модельдерге қосымша оқытусыз қолдануға болады.
Бұл әзірлеме әсіресе смартфондарда және ресурстары шектеулі басқа құрылғыларда жұмыс істейтін AI құралдары үшін өте пайдалы болуы мүмкін. Егер ол кеңінен енгізілсе, TurboQuant AI қызметтерінің пайдалану шығындарын төмендетуге көмектесіп, озық модельдерді шағындау және қуаты төменірек құрылғыларда анағұрлым практикалық ете алады.
“Zamin”-ді Telegram-нан оқыңыз!
