Microsoft представила инструмент АССЭРТ для тестирования искусственного интеллекта

Исследователи и лаборатории ИИ добиваются значительных успехов в оценке моделей на предмет безопасности, соответствия и адаптивности. Однако компании и разработчики сталкиваются с новыми трудностями при обеспечении корректной работы специализированных ИИ-систем. Чтобы упростить этот процесс, Microsoft анонсировала новый опен-сурке фреймворк под названием АССЭРТ (Адаптиве Спек-дривен Скоринг фор Эвалуатион анд Регрессион Тестинг). Об этом сообщает Techcrunch.ком сообщает .

Система АССЭРТ позволяет оценивать поведение ИИ-моделей на основе описаний, написанных на естественном языке. Фреймворк анализирует высокоуровневые цели, политики или ожидаемое поведение и преобразует их в систематические тесты. Это дает разработчикам возможность автоматически проверять сложные сценарии, специфичные для их приложений, и оценивать результаты на основе баллов.

Этот инструмент также записывает пути, пройденные ИИ-системой, включая промежуточные действия и обращения к внешним инструментам. Это помогает точно определить, где возникают ошибки. Например, если ИИ-агент, работающий с документами, не должен отправлять электронные письма лицам вне компании или должен показывать конфиденциальные данные только руководителям, АССЭРТ будет постоянно проверять соблюдение этих правил.

Представитель Microsoft Сара Бёрд отметила, что процесс оценки критически важен для принятия правильных решений. Если поведение системы не до конца понятно, сложно судить о её соответствии требованиям организации. АССЭРТ является полезным инструментом не только в процессе разработки, но и для постоянного мониторинга после запуска.

Эта новость появилась на фоне более широких изменений в индустрии ИИ. В то время как модели становятся мощнее, исследователи уделяют больше внимания их повторному тестированию в различных условиях с помощью таких проектов, как ХЭЛМ от Станфорд или АИЛуминате от МЛКоммонс.