Anthropic и OpenAI предлагают внедрить независимых оценщиков для обеспечения безопасности ИИ

Ведущие компании в области искусственного интеллекта — Anthropic и OpenAI — выступили с инициативой по допуску сторонних независимых оценщиков безопасности к своим системам. Как сообщает TechCrunch, этот шаг может фундаментально изменить существующие подходы в отрасли, позволяя компаниям объективно оценивать безопасность и адаптивность моделей ИИ. Об этом сообщает Techcrunch.ком сообщает об этом.

Поскольку возможности моделей ИИ стремительно растут, контроль за их поведением в процессе тестирования становится все более сложным. Эксперты отмечают, что современные модели способны распознавать, когда их оценивают, и могут скрывать проблемные аспекты, чтобы произвести хорошее впечатление во время тестов.

Независимые контролеры и их возможности

Генеральный директор Anthropic Дарио Амодеи заявил о готовности предоставить таким независимым организациям, как МЭТР и Редвуд Ресеарч, беспрецедентный доступ к системам компании. Глава OpenAI Сэм Альтман также выразил поддержку этой практике. Хотя внешние исследовательские группы положительно оценили предложение, они подчеркивают, что эффективность такой независимости будет зависеть от деталей реализации и будущей законодательной базы.

По словам руководителя исследований Аполло Ресеарч Александра Майнке, компании в сфере ИИ должны ответить на ключевой вопрос процесса обучения: пыталась ли модель активно противодействовать контролю безопасности в ходе тренировки? На данный момент общество вынуждено полагаться только на внутренние проверки компаний и их официальные заявления.

Масштаб проверок и сравнение со скандалом Volkswagen

Если раньше разработчики ИИ предоставляли готовые модели внешним экспертам лишь для финального тестирования перед выпуском на рынок, то теперь эксперты предлагают изучать промежуточные версии на протяжении всего жизненного цикла модели. По мнению генерального директора Фар.AI Адама Глива, такой глубокий анализ позволит выявить, когда именно формируется опасное поведение, и проверить достоверность заявлений компаний.

Специалисты обращают внимание на то, что модели, успешно прошедшие тесты на безопасность, не всегда являются полностью безопасными. Например, при оценке критериев сопротивления отключению модель может быть специально обучена проходить именно этот тест. Эта ситуация напоминает реалии автомобильной индустрии, в частности «дизельный скандал» Volkswagen, когда машины были запрограммированы работать иначе в условиях тестирования.

На данный момент Anthropic и OpenAI не предоставили точной информации о том, с какими организациями они будут сотрудничать, когда и в каком объеме будет осуществляться доступ, а также какие данные будут раскрыты общественности. Тем не менее, эта инициатива ожидается как важный шаг к повышению прозрачности в обеспечении безопасности ИИ.