Die Nachfrage nach Rechenleistung für den Betrieb von KI-Modellen steigt sprunghaft an. Unternehmen in diesem Sektor stehen vor zwei Haupthindernissen: die Beschaffung der benötigten Chips und deren Bereitstellung in profitablen Rechenzentren. General Compute, ein neues auf Inferenz spezialisiertes Neoclaud-Startup, bietet eine einzigartige Lösung. Das Unternehmen sammelte in einer von FUSE VC geleiteten Finanzierungsrunde 15 Millionen Dollar ein und wurde mit 60 Millionen Dollar bewertet, wie TechCrunch berichtet.
Obwohl die Nachfrage nach GPU-Chips hoch ist, betonen Experten, dass diese nicht die effizienteste Lösung für die Ausführung (Inferenz) vortrainierter KI-Modelle sind. Neben Giganten wie Nvidia, Groq und Cerebras konzentriert sich General Compute auf die von Intel unterstützten SambaNova-Chips. Diese spezialisierten Chips sind deutlich schneller als GPUs und können 600-700 Token pro Sekunde generieren.
General Compute hat bereits SN50-Chips im Wert von 300 Millionen Dollar bestellt und angekündigt, der erste Neoclaud-Anbieter zu sein, der diese einsetzt. Der Vorteil dieser Chips liegt darin, dass sie luftgekühlt statt wassergekühlt sind und weniger Energie verbrauchen. Dies ermöglicht die Installation in bestehenden Rechenzentren ohne neue Infrastruktur oder sogar in ehemaligen Krypto-Mining-Anlagen.
Das Unternehmen startete letzte Woche seinen Cloud-Dienst und behauptet, die höchste Geschwindigkeit beim Betrieb des Open-Source-Modells MiniMax 2.7 zu erreichen. Investoren vergleichen die Partnerschaft zwischen SambaNova und General Compute mit der erfolgreichen Zusammenarbeit zwischen Nvidia und CoreWeave.
Lesen Sie „Zamin“ auf Telegram!
