Künstliche Intelligenz auf einem Mikrocontroller für nur 10 Dollar gestartet

In einer Zeit, in der sich Technologien der künstlichen Intelligenz rasant entwickeln, verlassen sich viele nur auf teure Geräte mit leistungsstarken Grafikbeschleunigern und gigabyteweisem RAM. Laut ixbt.com hat der ukrainische Entwickler Slava S (slvDev) jedoch alle Konventionen gebrochen und ein lokales Sprachmodell erfolgreich auf einem extrem günstigen Mikrocontroller für nur etwa 10 Dollar ausgeführt. Dies berichtet Ixbt.com berichtet .

Im Rahmen dieses Projekts namens ESP32-AI wurde der gesamte Prozess direkt auf dem ESP32-S3-Mikrocontroller durchgeführt, ohne Internetverbindung oder Nutzung von Cloud-Diensten. Dieser Erfolg zeigte, dass KI-Fähigkeiten künftig selbst in einfachste Haushaltsgeräte und eingebettete Systeme integriert werden können.

Eine technische Lösung unter Ressourcenbeschränkungen

Auf den ersten Blick schien diese Aufgabe schier unmöglich. Fakt ist, dass der ESP32-S3 nur mit 512 KB internem RAM, 8 MB PSRAM und 16 MB Flash-Speicher ausgestattet ist. Normalerweise gelten solche begrenzten Ressourcen selbst für die kompaktesten Sprachmodelle als unzureichend.

Um diese schwerwiegende Einschränkung zu umgehen, nutzte der Entwickler den architektonischen Ansatz der Per-Layer Embeddings, wie er bei Modellen der Google Gemma-Familie angewendet wird. Nach einer Quantisierung des Modells auf bis zu 4 Bit gelang es, seine Größe auf 14,9 MB zu reduzieren.

Die Zukunft und Perspektiven lokaler Intelligenz

Die größte Tabelle mit rund 25 Millionen Parametern wurde im Flash-Speicher abgelegt, während der SRAM ausschließlich für Berechnungen genutzt wurde. Dadurch wurden die Anforderungen an den Arbeitsspeicher drastisch gesenkt und ein stabiler Systembetrieb sichergestellt.

Das im Projekt verwendete Modell umfasst 28,9 Millionen Parameter und wurde anhand des TinyStories-Datensatzes trainiert. Es ist lediglich in der Lage, kurze fiktionale Texte zu generieren, und ist nicht für Unterhaltungen, Programmieren oder Faktenrecherchen gedacht. Daher demonstriert das Projekt eher die Möglichkeiten moderner Architektur, als große Sprachmöglichkeiten vollständig zu ersetzen.

Ansicht des Autors nach ist dieser Ansatz sehr nützlich für autonome Geräte, bei denen eine lokale Datenverarbeitung wichtig ist. Insbesondere Haushaltsgeräte, Industriesteuerungen und verschiedene eingebettete Systeme können künstliche Intelligenz nutzen, ohne eine permanente Internetverbindung zu benötigen.