Атиги 10 долларлик микроконтроллерда сунъий интеллект ишга туширилди

Сунъий интеллект технологиялари шиддат билан ривожланиб бораётган бир даврда кўпчилик кучли график тезлатгичлар ва гигабайтлаб тезкор хотирага эга қимматбаҳо қурилмаларгагина таянади. Бироқ ixbt.com маълумотига кўра, украиналик дастурчи Слава С (слвДев) барча қолипларни бузиб, локал тил моделини нархи атиги 10 доллар атрофида бўлган ўта арзон микроконтроллерда муваффақиятли ишга туширди. Бу ҳақда Ixbt.com хабар беради.

ESP32-AI деб номланган ушбу лойиҳа доирасида бутун жараён интернетга уланмасдан ва булутли хизматлардан фойдаланмасдан, тўғридан-тўғри ESP32-S3 микроконтроллерида амалга оширилди. Мазкур ютуқ келгусида сунъий интеллект имкониятларини ҳатто энг оддий маиший техника ва ўрнатилган тизимларга ҳам олиб кириш мумкинлигини кўрсатиб берди.

Ресурслар чекланган шароитдаги техник ечим

Дастлабки қарашда бу вазифа деярли имконсиздек туюлиши аниқ эди. Гап шундаки, ESP32-S3 атиги 512 КБ ички тезкор хотира (СRAM), 8 МБ ПСRAM ва 16 МБ флеш-память билан жиҳозланган. Одатда бундай чекланган ресурслар ҳатто энг ихчам тил моделлари учун ҳам етарли эмас деб ҳисобланади.

Ушбу жиддий чекловни четлаб ўтиш учун дастурчи Google Гемма оиласидаги моделларда қўлланиладиган Пер-Лаер Эмбеддингс меъморий ёндашувидан фойдаланди. Моделни 4 битгача квантлаш жараёнидан ўтказилгач, унинг ҳажмини 14,9 МБ гача қисқартиришга эришилди.

Локал интеллектнинг келажаги ва истиқболлари

Тахминан 25 миллион параметрни ўз ичига олган энг ҳажмли жадвал флеш-памятьга жойлаштирилди, СRAM хотираси эса фақатгина ҳисоб-китоблар учун ишлатилди. Натижада тезкор хотирага қўйиладиган талаблар кескин камайтирилди ва тизим барқарор ишлаши таъминланди.

Лойиҳада қўлланилган модел 28,9 миллион параметрни ўз ичига олиб, ТинйСториес маълумотлар базасида ўқитилган. У фақат қисқа бадиий матнларни генерация қилишга қодир бўлиб, мулоқот қилиш, код ёзиш ёки фактларни излашга мўлжалланмаган. Шу боис лойиҳа йирик тил моделларининг тўлақонли ўрнини босишдан кўра, замонавий меъморлик имкониятларини яққол намойиш этади.

Муаллифнинг фикрича, бундай ёндашув маълумотларни локал тарзда қайта ишлаш муҳим бўлган автоном қурилмалар учун жуда қўл келади. Хусусан, маиший техника, саноат контроллерлари ва турли ўрнатилган тизимлар доимий интернет алоқасига муҳтож бўлмаган ҳолда сунъий интеллектдан фойдаланиши мумкин бўлади.