Гарвард университетінің теориялық физиктер тобы заманауи нейрондық желілердің табыстылығының математикалық табиғатын түсіндіретін ғылыми жұмысты жариялады. Зерттеуге сәйкес, жасанды интеллекттің тиімділігі кездейсоқ факторларға емес, қатаң физикалық заңдылықтарға бағынады. Ғалымдар нейрондық желілерді оқыту процесін күрделі физикалық жүйелермен салыстырып, машиналық оқытудағы «масштабтау заңдарының» (scaling laws) іргелі статистикалық механика қағидаттарына негізделгенін дәлелдеді. Бұл туралы Ixbt.com хабарлайды.
Зерттеудің орталық бөлігі кванттық өріс теориясынан алынған «ренормализация» түсінігіне сүйенеді. Физиктер деректердегі статистикалық шудың модель параметрлерін элементар бөлшектер физикасындағы кванттық флуктуациялар сияқты өзгертетінін анықтады. Бұл процесс модельдің тұрақтылығын қамтамасыз етеді және параметрлер саны оқу деректерінен көп болған жағдайда да жүйенің дұрыс жұмыс істеуіне мүмкіндік береді.
Ғалымдар «S-трансформация» деп аталатын математикалық әдіс арқылы оқыту қатесі мен тест қатесі арасындағы байланысты анықтайтын теңдеулерді шығарды. Бұл жаңалық қымбат тест процестерінсіз, тек оқу деректеріне сүйене отырып, нейрондық желінің сапасын алдын ала бағалауға мүмкіндік береді. Сондай-ақ, зерттеу нейрондық желілердің жұмысында төрт түрлі режим бар екенін көрсетіп, инженерлерге модель жасауды болжамды өндірістік процеске айналдыруға көмектеседі.
Ең маңызды практикалық нәтижелердің бірі «инициализация кедергісін» анықтау болды. Физиктер нейрондық желі көлемін шексіз арттыру әрқашан тиімді емес екенін дәлелдеді. Белгілі бір жағдайларда бастапқы параметрлердің кездейсоқтығы пайдалы сигналды «жұтып қояды», бұл модельді одан әрі үлкейтуді мағынасыз етеді. Мұндай жағдайларда дәлдікті арттыру үшін нейрондық желілерді біріктіру сияқты баламалы тәсілдер қажет.
Зерттеу машиналық оқытудағы «қос түсу» (double descent) феноменіне де жарық түсірді. Ғалымдар бұл құбылыстың аномалия емес, заңды физикалық сингулярлық екенін көрсетті. Деректер көлемі артқан сайын модельдің «тиімді параметрі» өзгереді, бұл жүйеге күрделіліктер ішінен ең қарапайым және дәл шешімдерді табуға мүмкіндік береді.
“Zamin”-ді Telegram-нан оқыңыз!
