La demande en puissance de calcul pour faire fonctionner les modèles d'IA explose. Les entreprises du secteur font face à deux obstacles majeurs : trouver les puces nécessaires et les déployer dans des centres de données rentables. General Compute, une nouvelle startup de « néo-cloud » axée sur l'inférence, propose une solution unique. L'entreprise a levé 15 millions de dollars lors d'un tour de table mené par FUSE VC, atteignant une valorisation de 60 millions de dollars, selon TechCrunch. rapporte.
Bien que la demande pour les GPU soit forte, les experts soulignent qu'ils ne sont pas la solution optimale pour l'exécution (inférence) de modèles d'IA pré-entraînés. Aux côtés de géants comme Nvidia, Groq et Cerebras, General Compute s'est concentré sur les puces SambaNova, soutenues par Intel. Ces puces spécialisées sont nettement plus rapides que les GPU, capables de générer 600 à 700 jetons par seconde.
General Compute a déjà commandé pour 300 millions de dollars de puces SN50 et a annoncé qu'il serait le premier fournisseur de néo-cloud à les déployer. L'avantage de ces puces est qu'elles sont refroidies par air plutôt que par eau et consomment moins d'énergie. Cela permet de les installer dans des centres de données existants sans nouvelle infrastructure, ou même dans des locaux ayant servi au minage de cryptomonnaies.
L'entreprise a lancé son service cloud la semaine dernière et affirme afficher la vitesse la plus élevée pour l'exécution du modèle open-source MiniMax 2.7. Les investisseurs comparent le partenariat entre SambaNova et General Compute à la relation fructueuse entre Nvidia et CoreWeave.
Lisez “Zamin” sur Telegram !
