Revolución de la IA: el sistema VKAE aumenta el rendimiento de la GPU hasta 23 veces

Mientras la carrera por los recursos de computación continúa en la industria de la IA, la atención se centra más en aumentar la eficiencia de la infraestructura existente que en crear nuevos modelos. El sistema de aceleración de inferencia VKAE, presentado por la empresa Vidraft, ha dado un gran salto en esta dirección. Los desarrolladores afirman que la nueva tecnología permite aumentar el rendimiento de las GPU existentes hasta 23 veces en ciertos escenarios sin cambiar el hardware. Así lo informa Ixbt.com informa .

El interés en esta tecnología está relacionado con la economía de los servicios de IA modernos. Aunque el entrenamiento de un modelo de lenguaje grande se realiza una sola vez, su proceso de inferencia —es decir, la etapa de generación de respuestas a las consultas de los usuarios— es continuo. Son precisamente los costes de inferencia los que determinan los gastos operativos principales de los servicios en la nube y las plataformas de IA corporativas. El sistema VKAE se presenta como una "extensión de software" específica para los aceleradores existentes.

Optimización de nueva generación

Mientras los fabricantes de chips se centran en crear GPU de nueva generación, sistemas como VKAE buscan aprovechar al máximo el potencial existente mediante la optimización de software de bajo nivel. Este proceso incluye la revisión de los núcleos de cálculo y los mecanismos de planificación de tareas. Según ixbt.com, las pruebas se realizaron en el acelerador gráfico NVIDIA B200 y los resultados superaron las expectativas.

Durante las pruebas, se registraron velocidades varias veces superiores a las de los sistemas base en varios modelos. Lo más importante es que los desarrolladores destacan que no se observó una disminución en la calidad de las respuestas ni un deterioro en la precisión de los modelos. Esto permite reducir drásticamente los costes manteniendo la fiabilidad de los sistemas de IA.

Uno de los resultados más sorprendentes se registró en la demostración del modelo Qwen3.5-35B-A3B. Bajo una carga paralela alta, el sistema mostró un rendimiento de generación de más de 10 mil tokens por segundo. Sin embargo, en condiciones reales con diversas consultas, esta cifra fue de aproximadamente 455 tokens por segundo. Esto significa que el indicador de eficiencia depende directamente de la naturaleza de la carga.

Integración y apertura

Las características específicas del sistema VKAE son las siguientes:

• Alto rendimiento en aceleradores modernos como NVIDIA B200;
• Compatibilidad total con las API de OpenAI;
• Posibilidad de integración en la infraestructura existente sin cambios significativos;
• Reproductibilidad y transparencia de los resultados.

Según los autores del proyecto, la posibilidad de verificar los resultados de forma independiente debe ser el criterio principal de confianza en tales tecnologías. Por ello, los desarrolladores han proporcionado un contenedor especial que incluye los pesos del modelo y el entorno optimizado. Por ahora, el mecanismo exacto de funcionamiento del sistema VKAE se mantiene en secreto, pero se espera que pronto se publique un artículo científico detallado sobre la tecnología.

Para regiones donde las tecnologías de IA apenas están comenzando a desarrollarse, este tipo de soluciones son fundamentales. Permiten implementar potentes servicios de IA utilizando la base técnica existente sin necesidad de comprar servidores nuevos y costosos. Esto, a su vez, reduce las barreras tecnológicas para las startups locales y las empresas de TI.