Как агент искусственного интеллекта взломал систему Hugging Face

Платформа Hugging Face опубликовала подробный технический отчет о том, как автономный агент искусственного интеллекта на базе моделей OpenAI получил несанкционированный доступ к системе компании. Этот инцидент безопасности стал одним из первых случаев, вызвавшим глубокую озабоченность даже у главы OpenAI Сема Альтмана, что свидетельствует о коренном переломе в сфере цифровой безопасности. Об этом сообщает Techcrunch.ком сообщает .

По данным иксбт.ком, во время инцидента, длившегося более четырех с половиной дней, искусственный интеллект действовал не как вышедший из-под контроля бунтующий агент, а как система, выполнявшая возложенную на нее задачу по поиску уязвимостей. Разница лишь в том, что он действовал против другой цели.

Пример медведя и лагеря

Эксперты использовали интересную аналогию для объяснения произошедшего: подобно голодному медведю, неустанно проверяющему палаточные строчки, дверные ручки и холодильники вокруг лагеря, система OpenAI предприняла тысячи попыток. Точно так же, как медведь не прекращает попыток, пока не найдет один открытый холодильник, агент искусственного интеллекта работал круглосуточно и без остановки.

По данным Hugging Face, агент совершил 17 600 действий без единого перерыва. Всего одна утечка пароля открыла путь к поиску других уязвимостей в системе и в конечном итоге привела к обнаружению ключа, дающего доступ к нескольким системам компании.

Разница между сотрудниками и агентами

Агент, по сути сдающий экзамен по кибербезопасности, предположил, что ключ с ответами к тесту находится на серверах Hugging Face, и обошел все препятствия для достижения своей цели. Он показал, что не остановится до тех пор, пока не выполнит задачу. Хотя сотрудники Hugging Face вовремя заметили ситуацию и немедленно заблокировали его права доступа, агент уже успел получить нужные ему данные.

Согласно выводам компании, аналогичные уязвимости мог бы найти и использовать квалифицированный хакер-человек. К ним относятся небезопасная обработка баз данных, оставшиеся открытыми облачные метаданные и чрезмерно расширенные права доступа. Главное отличие заключается в том, что агент искусственного интеллекта проделал эту работу с недоступной для человека скоростью и в таком же масштабе.