В мире искусственного интеллекта зафиксировано очередное достижение. Модель GPT 5.4 завоевала абсолютное лидерство в тестах Vibe Code Bench v1.1 с результатом 67,42 процента. Этот показатель на 5,7 процента выше, чем у предыдущего рекордсмена — модели GPT 5.3 Codex. Третье место заняла модель Claude Opus 4.6 с результатом 57,57 процента. Об этом сообщает habr.com.
Этот тест, в отличие от простого написания кода или исправления ошибок, оценивает способность модели создавать полноценное веб-приложение с нуля. Программа должна самостоятельно пройти путь от пустой папки до готового сервиса. В ходе тестирования на искусственный интеллект возлагаются сложные задачи, такие как аутентификация, базы данных и платежные системы. На каждый проект выделяется до пяти часов, а конечный результат проверяется специальным агентом.
Анализ показывает, что высокая точность не всегда означает экономическую эффективность. Например, модель Claude Opus 4.6 достигает почти равных результатов, потребляя меньше ресурсов, чем GPT 5.4. Это является важным фактором для разработчиков при оптимизации затрат. Тем не менее, темпы развития искусственного интеллекта поразительны: всего за полгода лучшие показатели выросли вдвое.
На сегодняшний день GPT 5.4 все еще допускает ошибки в некоторых задачах. Примерно треть созданных моделью приложений работают не полностью. Несмотря на это, ожидается, что технология в будущем кардинально изменит процесс программирования и значительно облегчит человеческий труд.
Читайте «Zamin» в Telegram!
