Fish Audio sichert sich 50 Millionen US-Dollar an Investitionen für KI-Sprachmodelle

Das in Palo Alto ansässige Startup Fish Audio hat in einer frühen Finanzierungsrunde 50 Millionen USD eingesammelt, um KI-gestützte Sprachmodelle zu entwickeln. Laut ixbt.com wurde diese Finanzierungsrunde von Coreline Ventures und Capital Today angeführt, wobei sich auch eine Reihe weiterer Venture-Capital-Fonds beteiligten. Dies berichtet Techcrunch.com berichtet .

Der Markt für KI-generierte Sprachmodelle entwickelt sich rasant. Während Kreativschaffende eine möglichst expressive Stimmwiedergabe fordern, suchen Unternehmen, die Kundenservice und Vertriebsprozesse automatisieren wollen, nach Möglichkeiten zur einfachen Steuerung. Fish Audio zielt darauf ab, all diese Anforderungen mit einer Bibliothek zu erfüllen, die über 15.000 Steuermechanismen für natürliche Sprachen umfasst.

Der rasante Erfolg des Startups

Seit dem Start im vergangenen Jahr hat die Zahl der Nutzer der Open-Source- und Hosting-Versionen des Startups die Marke von 8 Millionen überschritten. Das Unternehmen erzielt derzeit einen stabilen Jahresumsatz von 21 Millionen USD. Die eingeworbenen 50 Millionen USD an Investitionen sollen verwendet werden, um diese Kennzahlen weiter zu verbessern und die Infrastruktur zu skalieren.

Das Projekt Fish Audio wurde vom ehemaligen NVIDIA-Forscher Shijia Liao als kleine Initiative ins Leben gerufen. Unzufrieden mit der mangelnden Expressivität synthetischer Stimmen auf dem Markt, entwickelte der Experte ein neues Sprachgenerierungsmodell, das auf einer einzigen GPU läuft, und veröffentlichte es im Open-Source-Format. Das Fish-Speech-Repository auf der Plattform GitHub zählt derzeit über 31.000 Sterne und wird aktiv von unabhängigen Entwicklern, Videospieldesignern und Content Creators genutzt.

Modellpalette und Unternehmenslösungen

Im vergangenen Jahr hat das Unternehmen fünf neue Modelle auf den Markt gebracht, darunter vier Modelle zur Sprachgenerierung und eines zur Spracherkennung (Speech-to-Text). Während der Quellcode von drei dieser Modelle öffentlich zugänglich gemacht wurde, ist das neueste Modell S2.1 Pro nur über eine kostenpflichtige API erhältlich. Das Unternehmen bietet monatliche kostenpflichtige Tarife für Kreative und Teams an, die ein bestimmtes Minutenlimit sowie Funktionen zum Klonen von Stimmen beinhalten.

Zudem gibt es eine Enterprise-API-Plattform für Organisationen, deren Dienste bereits von bekannten Unternehmen wie HeyGen, Sanas und Plaud genutzt werden. Während HeyGen diese Technologie einsetzt, um KI-Avataren eine realistische Stimme zu verleihen, benötigen Spielestudios expressive Stimmen für ihre Charaktere.

Urheberrecht und automatisierte Lösungen

Um seine Sprachbibliothek zu erweitern, hatte das Startup Nutzer gebeten, ihre eigenen Sprachproben zur Verfügung zu stellen, und diese im Falle einer Nutzung kompensiert. Vor einigen Monaten hatten sich jedoch einige Kreative darüber beschwert, dass ihre Stimmen ohne Zustimmung hochgeladen worden waren. Um dieses Problem zu lösen, haben die Leiter von Fish Audio den Prozess der Content-Entfernung vollständig automatisiert.

Mittlerweile können Autoren durch die Bereitstellung einer kurzen Sprachprobe oder eines Vertrags erwirken, dass ihre Stimme innerhalb von weniger als 3 Minuten von der Plattform gelöscht wird. Dennoch bleibt die Tatsache problematisch, dass es weiterhin möglich ist, die Stimme eines anderen Künstlers ohne Benachrichtigung hochzuladen, und diese so lange auf der Plattform verwendet wird, bis sich der rechtmäßige Eigentümer beschwert.