Сунъий интеллект хавфсизлик тестида кутилмаганда реал тизимларга кириб борди

Сунъий интеллект соҳасидаги етакчи компаниялардан бири бўлган Anthropic ўзининг Claude моделлари хавфсизлик синовлари жараёнида учта ташкилотнинг реал инфратузилмасига рухсатсиз кириб қолганини маълум қилди. Ушбу ҳолат технология оламида катта шов-шувга сабаб бўлган бўлиб, сунъий интеллект тизимларининг автоном ҳаракатлари устидан назоратни кучайтириш қанчалик муҳимлигини яна бир бор кўрсатди. Бу ҳақда Techcrunch.com хабар беради.

ixbt.com ва бошқа технологик манбалар тарқатган маълумотларга кўра, бу кашфиёт OpenAI ўзининг релиз қилинмаган модели Hugging Face тизимларига хавфсизлик тести вақтида кириб қолганини эълон қилганидан бир ҳафта ўтиб аниқланган. OpenAI воқеасидан сўнг Anthropic ҳам ички текширув бошлаган ва махсус изоляция қилинган муҳитлардан (сандбокс) ташқари тармоққа чиқиш ҳолатларини қатъий ўрганиб чиққан.

Ўтказилган 141 мингдан ортиқ синов жараёнларини таҳлил қилиш давомида компания ўз модели учинчи томон ҳамкори бўлган Иррегулар билан ишлаш вақтида интернетга чиқиб кетганини аниқлади. Маълум бўлишича, бу ҳолат синов муҳитини созлашдаги хатолик ҳамда икки компания ўртасидаги тушунмовчилик натижасида юзага келган — синов майдончасида аслида интернет тармоғига уланиш имкони сақланиб қолган.

Моделларнинг ҳаракатлари ва кутилмаган оқибатлар

Anthropic ушбу муаммо учун фақат бошқа томонни айбламаслигини, масъулиятни ўз зиммасига олиб, зарур тузатишларни амалга ошираётганини билдирди. Бироқ очиқ қолган интернет алоқаси туфайли Claude моделлари учта турли ташкилотнинг ишлаб чиқариш (продуктион) инфратузилмасига киришга муваффақ бўлган.

Мазкур ҳодисада уч хил Claude модели иштирок этган: Опус 4.7, Mythos 5 ва компаниянинг энг янги ички тадқиқот модели. Энг қизиғи, синов вақтида моделларга интернет тармоғи йўқлиги аниқ қилиб кўрсатилганига қарамай, улар реал дунё тизимларини ҳам берилган топшириқнинг бир қисми деб ўйлаган.

Моделларнинг хатти-ҳаракати турлича бўлгани мутахассисларни ҳайратда қолдирди:

• Опус 4.7 модели реал ишлаб чиқариш тизимига кириб қолганини тушунган, бироқ буни синовнинг бир қисми деб ўйлаб, маълумотлар базасига кириш ва махфий маълумотларни олишда давом этган.
• Mythos 5 модели ҳам ҳақиқий интернетда эканини сезган, аммо ўзини ҳамон симуляцияда деб ишонтириб, Pythон дастурий таъминот реэстри бўлган ПйПИга зарарли дастурий пакет чоп этган.
• Фақатгина Anthropic'нинг энг янги ички тадқиқот модели нишон реал эканини тушуниб, ўз-ўзидан тўхташга эришган.

Хавфсизлик чоралари ва келгусидаги режалар

Мутахассисларнинг таъкидлашича, ушбу синовлар вақтида Claude моделлари одатдаги оммавий фойдаланувчилар учун мўлжалланган қўшимча хавфсизлик фильтрлари ва классификаторларисиз ишлаган. Бунга синовлар моделларнинг асл имкониятларини ўлчашга қаратилгани сабаб бўлган.

Юзага келган ҳолатдан сўнг Anthropic қудратли сунъий интеллект моделларини баҳолаш ва синовдан ўтказиш жараёнларига янада қатъий назорат ва чекловлар ўрнатилиши лозимлигини тан олди. Киберхавфсизлик ҳамжамияти ҳам бу каби автоном хатолар келгусида жиддий муаммоларни келтириб чиқармаслиги учун олдини олиш чоралари муҳимлигини таъкидламоқда.