Intelligence artificielle exécutée sur un microcontrôleur à seulement 10 dollars

À une époque où les technologies d'intelligence artificielle se développent à un rythme fulgurant, beaucoup ne jurent que par des accélérateurs graphiques puissants et des appareils coûteux dotés de gigaoctets de mémoire vive. Cependant, selon Ixbt.com, le développeur ukrainien Slava S (slvDev) a brisé tous les stéréotypes en réussissant à exécuter un modèle de langage local sur un microcontrôleur ultra-bon marché coûtant seulement 10 dollars environ. C'est ce que rapporte Ixbt.com rapporte .

Dans le cadre de ce projet nommé ESP32-AI, tout le processus a été réalisé directement sur le microcontrôleur ESP32-S3, sans connexion Internet ni recours à des services cloud. Cette réalisation a démontré qu'à l'avenir, les capacités de l'intelligence artificielle pourront être intégrées même dans les appareils électroménagers et les systèmes embarqués les plus simples.

Une solution technique face à des ressources limitées

À première vue, cette tâche semblait presque impossible. En effet, l'ESP32-S3 n'est équipé que de 512 KB de mémoire SRAM interne, de 8 MB de PSRAM et de 16 MB de mémoire flash. Habituellement, de telles ressources limitées sont considérées comme insuffisantes, même pour les modèles de langage les plus compacts.

Pour contourner cette contrainte majeure, le développeur a eu recours à l'approche architecturale Per-Layer Embeddings, utilisée dans les modèles de la famille Google Gemma. Après avoir soumis le modèle à un processus de quantification jusqu'à 4 bits, il a été possible de réduire sa taille à 14,9 MB.

L'avenir et les perspectives de l'intelligence artificielle locale

Le tableau le plus volumineux, contenant environ 25 millions de paramètres, a été placé dans la mémoire flash, tandis que la mémoire SRAM a été utilisée exclusivement pour les calculs. Par conséquent, les exigences en matière de mémoire vive ont été considérablement réduites et le fonctionnement stable du système a été garanti.

Le modèle utilisé dans le projet comprend 28,9 millions de paramètres et a été entraîné sur la base de données TinyStories. Il est uniquement capable de générer de courts textes narratifs et n'est pas conçu pour dialoguer, coder ou rechercher des faits. Par conséquent, plutôt que de remplacer pleinement les grands modèles de langage, ce projet démontre clairement les possibilités offertes par l'architecture moderne.

Selon l'auteur, une telle approche sera très utile pour les appareils autonomes où le traitement local des données est crucial. En particulier, les appareils électroménagers, les contrôleurs industriels et divers systèmes embarqués pourront utiliser l'intelligence artificielle sans avoir besoin d'une connexion Internet permanente.