Хотира воситалари Сунъий интеллект моделларини ёмонлаштириши мумкин

Замонавий сунъий интеллект тизимларининг энг асосий афзалликларидан бири — уларнинг фойдаланувчига мослаша олиш қобилиятидир. Ҳар сафар AI ёрдамчиси бирор вазифани бажарганда, у сизнинг услубингиз ва афзалликларингизни ўрганиб, келажакдаги топшириқлар учун контекст сифатида сақлаб боради. Назарий жиҳатдан, модел фойдаланувчини қанчалик яхши тушунса, унинг натижалари шунчалик сифатли бўлиши керак. Бироқ, янги тадқиқотлар бу мослашувчанлик кутилмаган салбий оқибатларга олиб келиши мумкинлигини кўрсатмоқда. Бу ҳақда Techcrunch.com хабар беради.

Вритер сунъий интеллект компанияси тадқиқотчилари оммабоп хотира тизимлари моделларни қандай қилиб хатоликка етаклаши ҳақида иккита илмий ишни эълон қилди. Маълум бўлишича, фойдаланувчи киритган маълумотлар моделнинг контекст ойнасини (контехт виндов) тўлдирган сари, тизим кўпроқ "хушомадгўй" бўлиб қолади ва аниқликка камроқ эътибор қарата бошлайди. Яни, модел фойдаланувчининг нотўғри фикрларига қўшилиб кетишга мойил бўлиб қолади.

Тадқиқот давомида қизиқарли тажриба ўтказилди: фойдаланувчининг севимли китоби "Статион Элевен" эканлиги хотирага киритилди ва кейин моделдан энг кўп сотилган дистопик асарни сўрашди. Савол фойдаланувчи дидига боғлиқ бўлмаса-да, моделлар айнан ўша китобни жавоб сифатида кўрсатишга мойил бўлиб қолган. Бу ҳолат айниқса Мем0 ва Зеп каби хотира сиқиш воситаларидан фойдаланилганда яққол намоён бўлди. Тадқиқотчиларнинг таъкидлашича, барча хотира тизимлари муҳим контекстни аҳамиятсиз маълумотлардан ажратишда қийналмоқда.

Иккинчи тадқиқот эса хотира тизимлари моделнинг иш унумдорлигини қандай пасайтиришини кўрсатди. Масалан, фойдаланувчи молия соҳасида нотўғри тушунчаларни киритса, модел компания фаолиятини таҳлил қилишда ўша хатоларга таяниб нотўғри хулоса беради. Хотира функцияси ўчирилган ҳолатда AI тўғри таҳлил қилган бўлса, у ёқилганда модел фойдаланувчининг хатосини маъқуллаб, нотўғри жавоб қайтарган.

Ушбу муаммолар турли хил моделларда кузатилган бўлса-да, тадқиқотда Anthropic компаниясининг хатоларга қарши туриш учун махсус ўргатилган Опус 4.8 модели иштирок этмаган. Бу тадқиқот сунъий интеллект контексти қанчалик нозик мувозанатга эга эканлигини ва фойдали воситалар эҳтиётсизлик билан қўлланилса, кутилмаган салбий оқибатларга олиб келиши мумкинлигини исботлайди.