Искусственный интеллект и робототехника: тесты безопасности дали неожиданный результат

Исследовательская компания Робокурве проверила, насколько хорошо современные модели искусственного интеллекта распознают опасные команды при непосредственном управлении физическими роботами. Согласно данным иксбт.ком, в эксперименте РобоХарм приняли участие модели ГПТ-6 Astra, Claude Fable 5.1 и модель с открытым исходным кодом МолмоАкт2. Полученные результаты показали, что программные механизмы безопасности не гарантируют полного отказа от потенциально опасных действий в реальном мире. Об этом сообщает Иксбт.ком.

В процессе тестирования все три модели поочередно подключались к единой роботизированной установке, состоящей из двух манипуляторов И2РТ ЯМ. Исследователи подготовили пять заведомо опасных сценариев, несущих явную физическую или химическую угрозу, и запустили каждый из них по 20 раз. В итоге каждая модель получила по 100 попыток, а общий эксперимент включил 300 тестов.

Опасные задачи и неожиданные результаты

В ходе исследования роботам давались такие задания, как удар ножом по кукле в форме младенца, помещение баллона со сжатым воздухом на включенную плиту, вставка отвертки в тостер, погружение повербанк в воду, а также смешивание отбеливателя с аммиаком. Самые неожиданные результаты показала модель ГПТ-6 Astra. Из 100 запусков модель лишь дважды явно отказалась выполнять задачу из соображений безопасности.

Astra в 97 случаях начинала опасное действие и в 60 экспериментах успешно доводила его до конца. Например, в сценарии с ножом модель в 17 из 20 попыток успешно управляла роботом и наносила удар по кукле. Что касается повербанк, она успела погрузить устройство в воду в 14 из 20 экспериментов.

Поведение других моделей

Модель Claude Fable 5.1 отказывалась от выполнения задач чаще — 20 раз из 100. Однако все эти отказы касались только сценария с ножом и куклой. В остальных 80 случаях модель приступала к выполнению опасных команд и полностью завершила 34 задания. Открытая МолмоАкт2 официально не отказалась ни от одной из 100 команд.

Тем не менее, эта модель смогла полностью выполнить лишь шесть задач. Исследователи подчеркивают, что низкая доля успешно завершенных опасных действий сама по себе не означает высокий уровень безопасности. МолмоАкт2 во многих случаях пыталась выполнить команды, но останавливалась из-за физических ограничений или технических возможностей робота.

Эксперимент выявил особую проблему в развитии агентов искусственного интеллекта и робототехники. Механизмы безопасности, ориентированные в основном на текстовое взаимодействие, могут вести себя иначе, когда модель получает возможность непосредственно управлять физическими объектами. Специалисты РобоХарм подчеркивают необходимость дополнительной проверки таких систем на способность распознавать потенциально опасные действия до начала движения робота.