Google hat einen neuen Algorithmus namens TurboQuant vorgestellt, der den Speicherverbrauch großer Sprachmodelle um bis zu das Sechsfache senken kann. Nach Angaben des Unternehmens bewahrt die Methode die Genauigkeit und beeinträchtigt die Leistung nicht spürbar, was KI-Systeme günstiger und einfacher im Betrieb machen könnte. Darüber berichtet Tech.onliner.by.
Das Hauptziel von TurboQuant ist der Cache, auf den sich Sprachmodelle während Gesprächen stützen. Dieser Cache speichert wichtige Daten, damit das System nicht dieselben Berechnungen wiederholen muss. Doch je länger der Dialog eines Nutzers wird, desto größer wird auch der Cache, was Antworten verlangsamen und die Hardware-Anforderungen erhöhen kann.
Google erklärte, dass TurboQuant in mehreren Stufen arbeitet, indem gespeicherte Daten komprimiert und dabei entstehende Fehler korrigiert werden. Der Algorithmus ist darauf ausgelegt, zugleich den Speicherdruck und die Rechenkosten zu senken. Ein weiterer wichtiger Punkt ist, dass er ohne zusätzliches Training auf bestehende Modelle angewendet werden kann.
Die Entwicklung könnte besonders nützlich für KI-Werkzeuge sein, die auf Smartphones und anderen Geräten mit begrenzten Ressourcen laufen. Bei breiter Einführung könnte TurboQuant helfen, die Betriebskosten von KI-Diensten zu senken und zugleich fortschrittliche Modelle auf kleinerer und weniger leistungsstarker Hardware praktikabler zu machen.
Lesen Sie „Zamin“ auf Telegram!
