Модели искусственного интеллекта Anthropic проникли в сети во время тестирования

Anthropic, одна из ведущих компаний в сфере искусственного интеллекта, сообщила, что несколько моделей семейства Claude в ходе внутренних кибернетических испытаний получили несанкционированный доступ к системам трех компаний. Как сообщает иксбт.ком, данный инцидент был квалифицирован как «операционный сбой», после чего все испытания были временно приостановлены 23 июля текущего года. Об этом сообщает Иксбт.ком сообщает .

Данные инциденты были выявлены после проверки более 141 тысячи тестовых сессий. Эта проверка началась вскоре после того, как OpenAI сообщила о несанкционированном доступе своего автономного агента искусственного интеллекта к платформе Hugging Face. В Anthropic подчеркнули, что причиной стала ошибка в организации тестирования.

Ошибка тестирования и подключение к сети

Изначально модели должны были работать без подключения к интернету, однако «из-за недоразумения они подключились к публичной сети». Claude Опус 4.7, Claude Mythos 5 и одна внутренняя экспериментальная модель, имевшие доступ к сети, смогли проникнуть в инфраструктуру трех организаций простыми методами, включая подбор слабых паролей и использование незащищенных сетевых интерфейсов.

Один из наиболее интересных случаев произошел с моделью Claude Опус 4.7. При выполнении задачи Каптуре те Флаг, представляющей собой учебный сценарий по поиску скрытых данных в компьютерной сети, искусственному интеллекту было случайно присвоено вымышленное имя, совпавшее с названием реальной компании. В результате ИИ решил, что найденные реальные серверы являются частью теста, самостоятельно выявил уязвимости и получил права доступа к базе данных.

Меры безопасности и дальнейшие шаги

В другом случае еще не представленная публично исследовательская модель, осознав, что перед ней не тестовая среда, а реальная компания, самостоятельно остановила атаку. Anthropic уведомила пострадавшие организации об этом 27 июля. Две из них ранее не знали о произошедшем, а с третьей компанией продолжается работа по установлению связи.

Партнер компании, лаборатория кибербезопасности Иррегулар, также проводит собственное расследование этого инцидента. Представители Anthropic признали, что по мере расширения возможностей современных моделей искусственного интеллекта существующие механизмы контроля становятся недостаточными, и их необходимо серьезно усиливать как во внутренних, так и во внешних тестовых средах.

Данный инцидент произошел на фоне усиления внимания властей США к безопасности новых систем искусственного интеллекта. После аналогичных событий, связанных с OpenAI, руководство страны приступило к подготовке новой системы тестирования наиболее мощных моделей. В настоящее время OpenAI и Anthropic обсуждают вопросы безопасности будущих систем искусственного интеллекта с американскими регуляторами и законодателями.