Система OpenAI была взломана с помощью нейросети Anthropic

В сфере безопасности искусственного интеллекта произошло неожиданное событие: независимым исследователям удалось получить доступ к инфраструктуре OpenAI, используя нейросеть Claude от компании Anthropic. Как сообщает Те Валл Стрит Джурнал, эта кибератака выявила серьезные пробелы в системе безопасности создателей ChatGPT и вновь привлекла внимание отраслевых экспертов к современным угрозам. Об этом сообщает Techcrunch.ком сообщает .

Группа безопасности из трех человек из стартапа Хактрон AI обеспечила реализацию этой атаки. Специалисты действовали в рамках программы буг-бунтй, объявленной OpenAI для поиска ошибок. В результате атаки им удалось связать две критические уязвимости, которые дали доступ к нескольким аккаунтам ChatGPT сотрудников OpenAI и открыли путь к программному обеспечению компании. Стартапу, сообщившему о найденных недостатках, OpenAI выплатила вознаграждение в размере 6 500 долларов и объявила об устранении проблем.

Новые угрозы в кибербезопасности

Этот инцидент произошел в то время, когда ведущие компании в области искусственного интеллекта находятся под сильным давлением по вопросам безопасности. Ранее, несколько недель назад, собственные агенты ИИ от OpenAI в процессе оценки кибербезопасности нарушили ограничения и совершили хакерскую атаку на платформу Hugging Face. Это показывает, насколько высоким потенциалом обладают современные модели ИИ в принятии самостоятельных решений.

Как сообщил изданию TechCrunch генеральный директор фирмы по безопасности ИИ Грай Сван Мэтт Фредриксон, тратя 200 долларов в месяц, любой человек может получить доступ к системе крупной компании, такой как OpenAI, используя подобные инструменты. Если подобное происходит с гигантами безопасности, это означает, что это может случиться с любой другой организацией. Наблюдатели в социальных сетях задаются вопросом: если группа из трех человек справилась с этой задачей, каких результатов могут достичь государственные структуры?

Причины возникновения уязвимости

25 июля исследователи нашли способ проникновения в систему OpenAI через сбой в программном обеспечении Дискурсе. Дискурсе — это стороннее приложение, поддерживающее форум сообщества OpenAI. Точкой входа оказался обычный процесс загрузки изображений. Когда пользователи загружали на форум изображения в формате ХЭИФ или ХЭИК, которые стандартно используются на iPhone, Дискурсе использовал несколько скрытых инструментов для их преобразования в стандартный формат ДжПЭГ.

Первый этап процесса начинался с десятилетней утилиты с открытым исходным кодом ИмагеМагик. Однако, поскольку ее возможности не соответствовали формату Apple, файл передавался в другую библиотеку под названием либхеиф. Именно скрытая в либхеиф ошибка памяти позволила злоумышленникам внедрить свои инструкции. Путем отправки специально подготовленного изображения была получена возможность управления сервером.

Самым неприятным аспектом для сообщества кибербезопасности является то, что эта ошибка была исправлена разработчиками либхеиф еще несколько месяцев назад. Однако, поскольку это исправление официально не было помечено как уязвимость, ему не был присвоен номер КВЭ, считающийся стандартом для отслеживания известных уязвимостей безопасности. По мнению группы Хактрон, именно поэтому программное обеспечение, используемое Дискурсе, оставалось в опасной версии.