Nvidia nazoratdan chiqqan AI-agentlarni to‘xtatish tizimini yaratdi

Sun’iy intellekt endi nafaqat savollarga javob beradi, balki mustaqil ravishda qaror qabul qilib, turli dastur va tizimlar bilan ishlay oladi. Ammo aynan shu imkoniyat yangi xavfni ham yuzaga chiqarmoqda: AI-agent berilgan vazifani bajarish jarayonida belgilangan chegaradan chiqib ketsa, uni kim to‘xtatadi?

Nvidia bu muammoga javob sifatida AI-agentlarni real vaqt rejimida nazorat qilish va ular ruxsat etilmagan harakatlarga o‘tsa, ularni cheklashga mo‘ljallangan yangi Open Agent Safety Platform platformasini taqdim etdi.

AI-agent «chegaradan chiqsa», nima bo‘ladi?

Zamonaviy AI-agentlar oddiy chat-botlardan farq qiladi. Ular foydalanuvchi topshirig‘i asosida ma’lumot izlashi, dasturlardan foydalanishi, kod ishlatishi va tashqi tizimlarda harakatlarni amalga oshirishi mumkin.

Shuning uchun agentga berilgan ruxsatlar qanchalik keng bo‘lsa, uning xatosi yoki noto‘g‘ri harakati oqibati ham shunchalik jiddiy bo‘lishi mumkin.

Nvidia taqdim etgan yangi yondashuvda xavfsizlik nazorati AI modelining o‘zigagina ishonib qolmaydi. Kompaniya nazorat mexanizmlarini agent ishlaydigan infratuzilmaning quyi qatlamlariga joylashtirishni taklif qilmoqda.

Yangi tizim qanday ishlaydi?

Nvidia ma’lumotlariga ko‘ra, Open Agent Safety Platform tarkibida ikkita asosiy texnologiya bor: OpenShell dasturiy ta’minot qatlami va NVIDIA Sentry referens tizim dizayni.

OpenShell AI-agent uchun xavfsiz ish muhitini yaratish, uning identifikatsiyasi, ruxsatlari, tarmoqqa kirishi va amallarini nazorat qilishga xizmat qiladi.

Bunda agentning har bir muhim harakati belgilangan siyosat va xavfsizlik qoidalariga mos kelishi kerak. Ruxsat etilmagan harakat aniqlansa, tizim agentning imkoniyatlarini cheklashi yoki uni ajratib qo‘yishi mumkin.

NVIDIA Sentry esa nazoratni infratuzilmaning yanada chuqurroq qatlamiga olib chiqish uchun mo‘ljallangan. Kompaniya ushbu yondashuvni dasturiy ta’minotdan tortib apparat va hisoblash infratuzilmasigacha bo‘lgan keng qamrovli xavfsizlik tizimi sifatida taqdim etmoqda.

Bu tizim nima uchun hozir paydo bo‘ldi?

Yangi texnologiya taqdimoti AI-agentlar bilan bog‘liq xavfsizlik muammolari kuchayib borayotgan bir paytga to‘g‘ri keldi.

Reuters xabar berishicha, OpenAI va Anthropic kabi kompaniyalar AI-agentlar bilan bog‘liq bir qator holatlarni o‘rganmoqda. Bloomberg esa Nvidia yangi tizimi yaqindagi Hugging Face bilan bog‘liq yuqori profilli buzilishning oldini olishi mumkin edi, degan kompaniya bayonotini keltirgan.

Bu yerda asosiy masala AI «o‘z xohishi bilan» harakat qilishi emas. Gap agentga berilgan vazifani bajarish jarayonida xavfsizlik chegaralarini buzishi yoki kutilmagan yo‘ldan foydalanishi ehtimoli haqida ketmoqda.

NVIDIA: xavfsizlik agentning o‘ziga ishonib topshirilmasligi kerak

Nvidia o‘zining texnik materiallarida muhim tamoyilni ilgari surmoqda: yuqori qatlamda ishlaydigan AI agentning o‘zi to‘liq ishonchli subyekt sifatida qabul qilinmasligi, ruxsat va xavfsizlik qarorlari esa uning tashqarisidagi nazorat mexanizmlari tomonidan majburan ijro etilishi kerak.

Bunday yondashuvda agent:

• nimalardan foydalana olishini;

• qaysi tizimlarga ulanishini;

• qanday ma’lumotlar bilan ishlashini;

• qanday harakatlarni amalga oshirishini;

• qaysi holatlarda qo‘shimcha tekshiruv talab etilishini

aniq belgilangan qoidalar asosida bajaradi.

Bu, ayniqsa, AI agentlar korxona tizimlari, ma’lumotlar bazalari yoki boshqa muhim infratuzilmalar bilan ishlay boshlaganda muhim ahamiyat kasb etadi.

AI kelajagida eng katta savol — uning imkoniyati emas

Sun’iy intellekt qanchalik kuchli bo‘lib borsa, unga berilgan vakolatlar masalasi ham shunchalik muhimlashadi.

Oddiy chat-bot xato javob bersa, oqibat ko‘pincha noto‘g‘ri ma’lumot bilan cheklanishi mumkin. Avtonom AI-agent esa tashqi tizimlarda amallarni mustaqil bajarishi mumkin. Shu sababli uning xatosini faqat keyin aniqlash emas, balki harakat sodir bo‘layotgan paytda nazorat qilish muhim bo‘lib bormoqda.

Nvidia yangi platformasi aynan shu vazifani hal qilishga qaratilgan: agentga erkinlik berish, ammo uning vakolatlarini texnik jihatdan belgilangan chegarada ushlab turish.

Kompaniya yangi Open Agent Safety Platform'ni ochiq dasturiy platforma va referens tizim dizayni sifatida taqdim etdi. NVIDIA ma’lumotlariga ko‘ra, loyiha AI-agentlarni test bosqichidan ishlab chiqarish muhitigacha xavfsizroq boshqarishga mo‘ljallangan.

Shu tariqa, sun’iy intellekt rivojida yangi bosqich boshlanmoqda: endi masala faqat AI'ni yanada aqlli qilish emas, balki unga berilgan vakolatni qayerda va qanday to‘xtatish mumkinligini ta’minlashdan iborat.