Google ha presentado un nuevo algoritmo llamado TurboQuant que puede reducir hasta seis veces el uso de memoria de los grandes modelos de lenguaje. Según la empresa, el método mantiene la precisión y no perjudica de forma apreciable el rendimiento, lo que podría hacer que los sistemas de IA sean más baratos y más fáciles de ejecutar. Al respecto Tech.onliner.by informa.
El principal objetivo de TurboQuant es la caché en la que se apoyan los modelos de lenguaje durante las conversaciones. Esta caché almacena datos importantes para que el sistema no tenga que repetir los mismos cálculos. Pero a medida que el diálogo de un usuario se hace más largo, la caché también crece, lo que puede ralentizar las respuestas y aumentar las exigencias de hardware.
Google afirmó que TurboQuant funciona en varias etapas mediante la compresión de los datos almacenados y la corrección de los errores introducidos durante ese proceso. El algoritmo está diseñado para reducir al mismo tiempo la presión sobre la memoria y los costes de computación. Otro punto clave es que puede aplicarse a los modelos existentes sin entrenamiento adicional.
Este desarrollo podría ser especialmente útil para las herramientas de IA que funcionan en smartphones y otros dispositivos con recursos limitados. Si se adopta de forma generalizada, TurboQuant puede ayudar a reducir los costes operativos de los servicios de IA y, al mismo tiempo, hacer que los modelos avanzados sean más prácticos en hardware más pequeño y menos potente.
¡Lee “Zamin” en Telegram!
