Microsoft представила новый способ контроля агентов искусственного интеллекта

По мере расширения возможностей агентов искусственного интеллекта предприятия сталкиваются с новой проблемой при их внедрении в рабочие процессы и продукты. Основная задача — обеспечить выполнение агентом строго заданных функций в различных средах. Microsoft анонсировала новый стандарт с открытым исходным кодом под названием Агент Контрол Спекификатион (АКС) для решения этой проблемы. Этот стандарт позволяет разработчикам более последовательно и точно контролировать поведение АИ-агентов. Об этом сообщает Techcrunch.ком сообщает .

Спецификация АКС позволяет разработчикам, а также группам по комплаенсу и безопасности устанавливать персональные политики, которым должны следовать агенты. Эти правила определяют, что агент может делать, что запрещено, когда требуется подтверждение человека и какие доказательства должны быть записаны для последующего аудита. При выполнении задачи агент проверяется в нескольких «точках перехвата», чтобы гарантировать, что он не выходит за установленные рамки.

В настоящее время разработчики используют системные промпты (сйстем промпт), специальные проверки в коде приложений или классификаторы для контроля поведения AI. Однако эти подходы часто создают разрозненные системы контроля, что затрудняет их аудит и повторное использование на разных платформах. АКС стремится объединить эти механизмы контроля в единый уровень управления.

По данным Microsoft, эта спецификация позволяет проверять безопасность на нескольких этапах рабочего процесса агента: перед получением данных, до и после вызова инструментов, а также перед отправкой окончательного ответа пользователю. Поскольку файлы политик оформлены как отдельные документы, их можно упаковывать вместе с агентом, обеспечивая соблюдение единых правил безопасности в различных фреймворках и средах.

Новый стандарт АКС в настоящее время предоставляется в виде SDK с плагинами для таких популярных платформ, как LangChain, OpenAI Агентс SDK, Anthropic Агентс SDK, АутоГен, КревАИ и Семантик Кернел. Это позволяет разработчикам легко добавлять уровень управления и безопасности высокого уровня в свои существующие АИ-проекты.