ГПТ 5.4 стал лидером в сфере AI

В мире искусственного интеллекта зафиксировано очередное достижение. Модель ГПТ 5.4 завоевала абсолютное лидерство в тестах Вибе Коде Бенч в1.1 с результатом 67,42 процента. Этот показатель на 5,7 процента выше, чем у предыдущего рекордсмена — модели ГПТ 5.3 Кодекс. Третье место заняла модель Claude Опус 4.6 с результатом 57,57 процента. Об этом сообщает хабр.ком.

Этот тест, в отличие от простого написания кода или исправления ошибок, оценивает способность модели создавать полноценное веб-приложение с нуля. Программа должна самостоятельно пройти путь от пустой папки до готового сервиса. В ходе тестирования на искусственный интеллект возлагаются сложные задачи, такие как аутентификация, базы данных и платежные системы. На каждый проект выделяется до пяти часов, а конечный результат проверяется специальным агентом.

Анализ показывает, что высокая точность не всегда означает экономическую эффективность. Например, модель Claude Опус 4.6 достигает почти равных результатов, потребляя меньше ресурсов, чем ГПТ 5.4. Это является важным фактором для разработчиков при оптимизации затрат. Тем не менее, темпы развития искусственного интеллекта поразительны: всего за полгода лучшие показатели выросли вдвое.

На сегодняшний день ГПТ 5.4 все еще допускает ошибки в некоторых задачах. Примерно треть созданных моделью приложений работают не полностью. Несмотря на это, ожидается, что технология в будущем кардинально изменит процесс программирования и значительно облегчит человеческий труд.