Nvidia назоратдан чиққан AI-агентларни тўхтатиш тизимини яратди

Сунъий интеллект энди нафақат саволларга жавоб беради, балки мустақил равишда қарор қабул қилиб, турли дастур ва тизимлар билан ишлай олади. Аммо айнан шу имконият янги хавфни ҳам юзага чиқармоқда: AI-агент берилган вазифани бажариш жараёнида белгиланган чегарадан чиқиб кетса, уни ким тўхтатади?

Nvidia бу муаммога жавоб сифатида AI-агентларни реал вақт режимида назорат қилиш ва улар рухсат этилмаган ҳаракатларга ўтса, уларни чеклашга мўлжалланган янги Open Agent Safety Platform платформасини тақдим этди.

AI-агент «чегарадан чиқса», нима бўлади?

Замонавий AI-агентлар оддий чат-ботлардан фарқ қилади. Улар фойдаланувчи топшириғи асосида маълумот излаши, дастурлардан фойдаланиши, код ишлатиши ва ташқи тизимларда ҳаракатларни амалга ошириши мумкин.

Шунинг учун агентга берилган рухсатлар қанчалик кенг бўлса, унинг хатоси ёки нотўғри ҳаракати оқибати ҳам шунчалик жиддий бўлиши мумкин.

Nvidia тақдим этган янги ёндашувда хавфсизлик назорати AI моделининг ўзигагина ишониб қолмайди. Компания назорат механизмларини агент ишлайдиган инфратузилманинг қуйи қатламларига жойлаштиришни таклиф қилмоқда.

Янги тизим қандай ишлайди?

Nvidia маълумотларига кўра, Open Agent Safety Platform таркибида иккита асосий технология бор: OpenShell дастурий таъминот қатлами ва NVIDIA Sentry референс тизим дизайни.

OpenShell AI-агент учун хавфсиз иш муҳитини яратиш, унинг идентификацияси, рухсатлари, тармоққа кириши ва амалларини назорат қилишга хизмат қилади.

Бунда агентнинг ҳар бир муҳим ҳаракати белгиланган сиёсат ва хавфсизлик қоидаларига мос келиши керак. Рухсат этилмаган ҳаракат аниқланса, тизим агентнинг имкониятларини чеклаши ёки уни ажратиб қўйиши мумкин.

NVIDIA Sentry эса назоратни инфратузилманинг янада чуқурроқ қатламига олиб чиқиш учун мўлжалланган. Компания ушбу ёндашувни дастурий таъминотдан тортиб аппарат ва ҳисоблаш инфратузилмасигача бўлган кенг қамровли хавфсизлик тизими сифатида тақдим этмоқда.

Бу тизим нима учун ҳозир пайдо бўлди?

Янги технология тақдимоти AI-агентлар билан боғлиқ хавфсизлик муаммолари кучайиб бораётган бир пайтга тўғри келди.

Reuters хабар беришича, OpenAI ва Anthropic каби компаниялар AI-агентлар билан боғлиқ бир қатор ҳолатларни ўрганмоқда. Bloomberg эса Nvidia янги тизими яқиндаги Hugging Face билан боғлиқ юқори профилли бузилишнинг олдини олиши мумкин эди, деган компания баёнотини келтирган.

Бу ерда асосий масала AI «ўз хоҳиши билан» ҳаракат қилиши эмас. Гап агентга берилган вазифани бажариш жараёнида хавфсизлик чегараларини бузиши ёки кутилмаган йўлдан фойдаланиши эҳтимоли ҳақида кетмоқда.

NVIDIA: хавфсизлик агентнинг ўзига ишониб топширилмаслиги керак

Nvidia ўзининг техник материалларида муҳим тамойилни илгари сурмоқда: юқори қатламда ишлайдиган AI агентнинг ўзи тўлиқ ишончли субъект сифатида қабул қилинмаслиги, рухсат ва хавфсизлик қарорлари эса унинг ташқарисидаги назорат механизмлари томонидан мажбуран ижро этилиши керак.

Бундай ёндашувда агент:

• нималардан фойдалана олишини;

• қайси тизимларга уланишини;

• қандай маълумотлар билан ишлашини;

• қандай ҳаракатларни амалга оширишини;

• қайси ҳолатларда қўшимча текширув талаб этилишини

аниқ белгиланган қоидалар асосида бажаради.

Бу, айниқса, AI агентлар корхона тизимлари, маълумотлар базалари ёки бошқа муҳим инфратузилмалар билан ишлай бошлаганда муҳим аҳамият касб этади.

AI келажагида энг катта савол — унинг имконияти эмас

Сунъий интеллект қанчалик кучли бўлиб борса, унга берилган ваколатлар масаласи ҳам шунчалик муҳимлашади.

Оддий чат-бот хато жавоб берса, оқибат кўпинча нотўғри маълумот билан чекланиши мумкин. Автоном AI-агент эса ташқи тизимларда амалларни мустақил бажариши мумкин. Шу сабабли унинг хатосини фақат кейин аниқлаш эмас, балки ҳаракат содир бўлаётган пайтда назорат қилиш муҳим бўлиб бормоқда.

Nvidia янги платформаси айнан шу вазифани ҳал қилишга қаратилган: агентга эркинлик бериш, аммо унинг ваколатларини техник жиҳатдан белгиланган чегарада ушлаб туриш.

Компания янги Open Agent Safety Platform'ни очиқ дастурий платформа ва референс тизим дизайни сифатида тақдим этди. NVIDIA маълумотларига кўра, лойиҳа AI-агентларни тест босқичидан ишлаб чиқариш муҳитигача хавфсизроқ бошқаришга мўлжалланган.

Шу тариқа, сунъий интеллект ривожида янги босқич бошланмоқда: энди масала фақат AI'ни янада ақлли қилиш эмас, балки унга берилган ваколатни қаерда ва қандай тўхтатиш мумкинлигини таъминлашдан иборат.