La demanda de potencia de cómputo para ejecutar modelos de IA está aumentando drásticamente. Las empresas del sector enfrentan dos obstáculos principales: conseguir los chips necesarios e instalarlos en centros de datos rentables. General Compute, una nueva startup de «neocloud» enfocada en inferencia, ofrece una solución única. La compañía recaudó 15 millones de dólares en una ronda de inversión liderada por FUSE VC, valorándose en 60 millones de dólares, según TechCrunch. informa.
Aunque la demanda de chips GPU es alta, los expertos señalan que no son la mejor solución para ejecutar (inferencia) modelos de IA preentrenados. Junto a gigantes como Nvidia, Groq y Cerebras, General Compute se ha centrado en los chips SambaNova, respaldados por Intel. Estos chips especializados son significativamente más rápidos que las GPU, capaces de generar entre 600 y 700 tokens por segundo.
General Compute ya ha encargado 300 millones de dólares en chips SN50 y anunció que será el primer proveedor de neocloud en implementarlos. La ventaja de estos chips es que se refrigeran por aire en lugar de por agua y consumen menos energía. Esto permite instalarlos en centros de datos existentes sin necesidad de nueva infraestructura, incluso en instalaciones utilizadas anteriormente para la minería de criptomonedas.
La empresa lanzó su servicio en la nube la semana pasada y afirma demostrar la mayor velocidad para ejecutar el modelo de código abierto MiniMax 2.7. Los inversores comparan la asociación entre SambaNova y General Compute con la exitosa relación entre Nvidia y CoreWeave.
¡Lee “Zamin” en Telegram!
