Революция в сфере ИИ: система ВКАЭ увеличила производительность GPU до 23 раз

В то время как в индустрии искусственного интеллекта (AI) продолжается гонка за вычислительными ресурсами, основное внимание уделяется не столько созданию новых моделей, сколько повышению эффективности существующей инфраструктуры. Система ускорения инференса ВКАЭ, представленная компанией Видрафт, совершила огромный скачок в этом направлении. Разработчики утверждают, что новая технология позволяет увеличить производительность существующих GPU (графических процессоров) в некоторых сценариях до 23 раз без изменения аппаратной части. Об этом сообщает Иксбт.ком сообщает .

Интерес к этой технологии связан с экономикой современных АИ-сервисов. Хотя обучение большой языковой модели происходит один раз, процесс её инференса — то есть этап генерации ответов на запросы пользователей — продолжается постоянно. Именно затраты на инференс определяют основные эксплуатационные расходы облачных сервисов и корпоративных платформ искусственного интеллекта. Система ВКАЭ выступает в качестве своеобразного «программного расширения» для существующих ускорителей.

Оптимизация нового поколения

В то время как производители микросхем фокусируются на создании GPU нового поколения, такие системы, как ВКАЭ, стремятся максимально использовать имеющийся потенциал за счет оптимизации низкоуровневого программного обеспечения. Этот процесс включает в себя пересмотр механизмов работы вычислительных ядер и планирования задач. По данным иксбт.ком, тесты проводились на графическом ускорителе NVIDIA Б200, и результаты оказались даже выше ожидаемых.

В ходе испытаний была зафиксирована скорость, в несколько раз превышающая показатели базовых систем для ряда моделей. Самое важное, что разработчики особо подчеркивают отсутствие снижения качества ответов или ухудшения точности моделей во время замеров. Это позволяет резко сократить расходы при сохранении надежности АИ-систем.

Один из самых впечатляющих результатов был зафиксирован при демонстрации модели Qwen3.5-35Б-А3Б. При высокой параллельной нагрузке система показала производительность генерации более 10 тысяч токенов (единиц текста) в секунду. Однако в реальных условиях для различных типов запросов этот показатель составил около 455 токенов в секунду. Это означает, что показатель эффективности напрямую зависит от характера нагрузки.

Интеграция и открытость

Ключевыми особенностями системы ВКАЭ являются:

• высокая пропускная способность на современных ускорителях, таких как NVIDIA Б200;
• полная совместимость с интерфейсами OpenAI API;
• возможность интеграции в существующую инфраструктуру практически без изменений;
• воспроизводимость и прозрачность результатов.

По мнению авторов проекта, возможность независимой проверки результатов должна быть основным критерием доверия к таким технологиям. Поэтому разработчики предоставили специальный контейнер, включающий веса моделей и оптимизированную среду. Пока точный механизм работы системы ВКАЭ держится в секрете, но ожидается, что подробная научная статья о технологии будет опубликована в ближайшее время.

Для регионов, где АИ-технологии только развиваются, такие решения крайне важны. Это позволяет запускать мощные АИ-сервисы, используя существующую техническую базу, без необходимости покупки дорогостоящих новых серверов. В свою очередь, это снижает технологические барьеры для местных стартапов и ИТ-компаний.