Nvidia создала систему остановки вышедших из-под контроля ИИ-агентов

Искусственный интеллект теперь не только отвечает на вопросы, но и может самостоятельно принимать решения, работая с различными программами и системами. Но именно эта возможность порождает новую угрозу: если ИИ-агент в процессе выполнения поставленной задачи выйдет за установленные рамки, кто его остановит?

В ответ на эту проблему компания Nvidia представила новую платформу Опен Агент Сафетй Платформ, предназначенную для мониторинга ИИ-агентов в реальном времени и ограничения их действий в случае перехода ими дозволенных границ.

Что происходит, если ИИ-агент «переходит границы»?

Современные ИИ-агенты отличаются от простых чат-ботов. На основе пользовательских поручений они могут искать информацию, использовать программы, запускать код и совершать действия во внешних системах.

Поэтому чем шире полномочия, предоставленные агенту, тем серьезнее могут быть последствия его ошибок или неверных действий.

В новом подходе, предложенном Nvidia, контроль безопасности возлагается не только на саму ИИ-модель. Компания предлагает внедрять механизмы контроля на нижние уровни инфраструктуры, в которой работает агент.

Как работает новая система?

По данным Nvidia, платформа Опен Агент Сафетй Платформ включает в себя две основные технологии: программный слой ОпенШелл и референсный дизайн системы NVIDIA Сентрй.

ОпенШелл служит для создания безопасной рабочей среды для ИИ-агента, контроля его идентификации, прав доступа, сетевых подключений и операций.

При этом каждое ключевое действие агента должно соответствовать установленной политике и правилам безопасности. При обнаружении несанкционированного действия система может ограничить возможности агента или изолировать его.

В свою очередь, NVIDIA Сентрй предназначена для переноса контроля на более глубокий уровень инфраструктуры. Компания представляет этот подход как комплексную систему безопасности — от программного обеспечения до аппаратной и вычислительной инфраструктуры.

Почему эта система появилась именно сейчас?

Презентация новой технологии совпала по времени с обострением проблем безопасности, связанных с ИИ-агентами.

Как сообщает Reuters, такие компании, как OpenAI и Anthropic, изучают ряд инцидентов, связанных с ИИ-агентами. А Bloomberg приводит заявление компании о том, что новая система Nvidia могла бы предотвратить недавний громкий инцидент с утечкой данных, связанный с Hugging Face.

Главный вопрос здесь заключается вовсе не в том, что ИИ действует «по собственной воле». Речь идет о вероятности того, что в процессе выполнения задачи агент нарушит границы безопасности или воспользуется непредвиденным путем.

NVIDIA: безопасность не должна доверяться самому агенту

В своих технических материалах Nvidia выдвигает важный принцип: работающий на верхнем уровне ИИ-агент сам по себе не должен приниматься в качестве полностью надежного субъекта, а решения о доступе и безопасности должны принудительно исполняться внешними по отношению к нему механизмами контроля.

При таком подходе агент:

• определяет, чем он может пользоваться;

• к каким системам подключаться;

• с какими данными работать;

• какие действия совершать;

• в каких случаях требуется дополнительная проверка

на основе четко заданных правил.

Это приобретает особую важность, когда ИИ-агенты начинают работать с корпоративными системами, базами данных или другой критической инфраструктурой.

Главный вопрос будущего ИИ — вовсе не его возможности

Чем мощнее становится искусственный интеллект, тем актуальнее становится вопрос о делегируемых ему полномочиях.

Если простой чат-бот выдает ошибочный ответ, последствия зачастую ограничиваются неверной информацией. Автономный же ИИ-агент может самостоятельно выполнять операции во внешних системах. В связи с этим все более важным становится не выявление его ошибок постфактум, а контроль в момент совершения действия.

Новая платформа от Nvidia направлена на решение именно этой задачи: предоставление агенту свободы при сохранении его полномочий в технически установленных рамках.

Компания представила новую платформу Опен Агент Сафетй Платформ как открытую программную платформу и референсный дизайн системы. По информации NVIDIA, проект призван обеспечить более безопасное управление ИИ-агентами — от этапа тестирования до рабочей среды.

Таким образом, в развитии искусственного интеллекта начинается новый этап: теперь задача заключается не только в том, чтобы сделать ИИ еще умнее, но и в том, чтобы обеспечить возможность вовремя и эффективно остановить его полномочия, когда это необходимо.