Das Unternehmen xAI, das Elon Musk gehört und die Künstliche Intelligenz Grok entwickelt, steht vor erheblichen Problemen bei der Erweiterung seiner Rechenkapazitäten. Laut einem Bericht von The Information hat das Unternehmen rund 550.000 Grafikbeschleuniger der Typen NVIDIA H100 und H200 in den Clustern Memphis und Colossus installiert.
Dies berichtet Ixbt.com hier.
Die tatsächliche Auslastung dieser Infrastruktur liegt jedoch bei lediglich 11 Prozent.
Dies bedeutet, dass von dem riesigen Bestand an Beschleunigern nur das Äquivalent von 60.000 GPUs effizient arbeitet. Das Problem liegt nicht an einem Mangel an Geräten, sondern an der Schwierigkeit, ein derart massives System zu verwalten.
Bei einer Größenordnung von Hunderttausenden Grafikprozessoren summieren sich Verzögerungen bei der Datenübertragung und Synchronisation zwischen den einzelnen Stufen schnell auf.
Dem Bericht zufolge ist die Software- und verteilte Architektur von xAI noch nicht ausgereift genug. Infolgedessen verbringen die GPUs zu viel Zeit damit, auf Daten oder Aufgaben zu warten, was die Gesamteffizienz mindert.
Zum Vergleich: Großunternehmen wie Meta und Google erreichen Auslastungsraten von 43 beziehungsweise 46 Prozent. xAI hat sich zum Ziel gesetzt, die Auslastung auf 50 Prozent zu steigern.
Lesen Sie „Zamin“ auf Telegram!
