Microsoft бағдарламашыларға арналған жасанды интеллектті сынақтан өткізетін ASSERT құралын ұсынды

Жасанды интеллект (AI) зерттеушілері мен зертханалары модельдерді қауіпсіздік, сәйкестік және бейімделу тұрғысынан бағалауда үлкен жетістіктерге жетуде. Алайда, компаниялар мен бағдарламашылар өз өнімдері үшін арнайы әзірленген AI жүйелерінің күтілгендей жұмыс істеуін қамтамасыз етуде жаңа қиындықтарға тап болуда. Осы процесті жеңілдету мақсатында Microsoft компаниясы ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) деп аталатын жаңа ашық кодты фреймворкты жариялады. Бұл туралы Techcrunch.com хабарлайды.

ASSERT жүйесі қарапайым тілде жазылған сипаттамалар негізінде AI модельдерінің мінез-құлқын бағалауға мүмкіндік береді. Фреймворк жоғары деңгейлі мақсаттарды, саясаттарды немесе күтілетін мінез-құлықты талдап, оларды жүйелі тесттерге айналдырады. Бұл бағдарламашыларға өз қосымшаларына тән күрделі сценарийлерді автоматты түрде тексеруге және нәтижелерді ұпайлар негізінде бағалауға мүмкіндік береді.

Бұл құрал AI жүйесі жүріп өткен жолдарды, соның ішінде аралық әрекеттер мен сыртқы құралдарға жүгінуді де жазып алады. Бұл қателіктердің қай жерде орын алып жатқанын нақты көруге көмектеседі. Мысалы, құжаттармен жұмыс істейтін AI агенті компаниядан тыс тұлғаларға электронды пошта жібермеуі немесе құпия ақпаратты тек басшыларға көрсетуі керек болса, ASSERT бұл ережелердің сақталуын үнемі тексеріп отырады.

Microsoft өкілі Сара Бёрд бағалау процесі дұрыс шешімдер қабылдау үшін өте маңызды екенін атап өтті. Егер жүйенің мінез-құлқы толық түсінілмесе, оның ұйым талаптарына жауап беретінін білу қиын болады. ASSERT жүйесі тек әзірлеу процесінде ғана емес, сонымен қатар ол іске қосылғаннан кейін де тұрақты мониторинг үшін пайдалы құрал болып табылады.

Бұл жаңалық AI индустриясындағы кең ауқымды өзгерістер аясында орын алуда. Модельдер қуаттырақ болып бара жатқан тұста, зерттеушілер Stanford-тың HELM немесе MLCommons-тың AILuminate сияқты жобалары арқылы модельдерді әртүрлі жағдайларда қайталау сынағынан өткізуге көбірек көңіл бөлуде.