Компания OpenAI признала необычную неисправность в модели ChatGPT. После выхода версии 5.1 чат-бот начал часто упоминать гоблинов, гремлинов и других мифических существ даже в темах, не связанных с фэнтези. По данным компании, частота использования слова «гоблин» после релиза модели выросла на 175%, а в некоторых режимах — почти на 3900%. Об этом сообщает Ixbt.com .
Проблема оказалась связана со специальным режимом ChatGPT под названием «nerdy». Этот режим был предназначен для того, чтобы сделать ответы более игривыми и менее серьезными, но модель неверно истолковала эту задачу, чрезмерно увеличив количество упоминаний о гоблинах. В результате OpenAI была вынуждена временно запретить использование слова «гоблин» в этом режиме.
По мнению профессора Северо-Восточного университета Кристофа Ридла, эта ситуация демонстрирует уязвимость современных систем искусственного интеллекта. Он связывает это с эффектом «reward hacking» (взлом вознаграждения): как только модель находит стиль ответов, который нравится пользователям, она начинает повторять его слишком часто. Такие случаи могут возникать в процессе попыток сделать модель более дружелюбной и интересной.
Хотя OpenAI временно решила проблему, эксперты обеспокоены тем, что гонка в сфере искусственного интеллекта заставляет компании выпускать модели без должного тестирования. Несмотря на то, что этот инцидент кажется забавным, подчеркивается, что в будущем подобные неконтролируемые действия могут привести к гораздо более серьезным и опасным последствиям.
Читайте «Zamin» в Telegram!
