Безопасность агентов на базе искусственного интеллекта должна обеспечиваться не только на уровне самой модели, но и на уровне всей системы. В новом отчете, опубликованном исследователями из Google, Gray Swan AI, EmbraceTheRed и ряда университетов, подчеркивается необходимость рассматривать ИИ-агентов как «ненадежные компоненты». Об этом сообщает Cointelegraph.com сообщает .
По мнению исследователей, традиционного подхода, направленного исключительно на повышение устойчивости модели, недостаточно. Вместо этого необходимо защищать ИИ-агентов от внешних атак, применяя методы обеспечения безопасности систем. Это особенно важно сейчас, когда ИИ-агенты становятся популярными в сфере криптовалют.
Генеральный директор Circle Джереми Аллэр недавно спрогнозировал, что в ближайшие пять лет миллиарды ИИ-агентов будут действовать от имени пользователей. Однако, если вопросы безопасности не будут решены, эта технология может представлять серьезную угрозу. Исследователи предлагают три основных механизма для предотвращения атак.
Во-первых, ИИ-агенты должны четко различать инструкции и ненадежные данные. Во-вторых, агентам следует предоставлять не полный доступ к системе, а только минимальные права, необходимые для выполнения задачи. В-третьих, контроль за тем, куда отправляются конфиденциальные данные, должен осуществляться всей системой, а не самим агентом.
Недавно ИИ-помощник для криптоторговли Bankr был вынужден приостановить транзакции после взлома 14 кошельков. Подобные случаи показывают, насколько важно правильно выстраивать систему безопасности для ИИ-агентов, работающих в приложениях Web3 и на блокчейнах, таких как Solana.
Читайте «Zamin» в Telegram!
