Inteligencia artificial ejecutada en un microcontrolador de tan solo 10 dólares

En una época en la que las tecnologías de inteligencia artificial se desarrollan a un ritmo vertiginoso, muchos dependen únicamente de aceleradores gráficos potentes y dispositivos costosos con gigabytes de memoria RAM. Sin embargo, según Ixbt.com, el desarrollador ucraniano Slava S (slvDev) rompió todos los esquemas al lograr ejecutar con éxito un modelo de lenguaje local en un microcontrolador ultraeconómico que cuesta alrededor de solo 10 dólares. Así lo informa Ixbt.com informa .

En el marco de este proyecto llamado ESP32-AI, todo el proceso se llevó a cabo directamente en el microcontrolador ESP32-S3, sin conexión a Internet y sin utilizar servicios en la nube. Este logro demostró que en el futuro las capacidades de la inteligencia artificial se podrán llevar incluso a los electrodomésticos y sistemas embedded más sencillos.

Una solución técnica en condiciones de recursos limitados

A primera vista, esta tarea parecía casi imposible. El caso es que el ESP32-S3 está equipado con tan solo 512 KB de SRAM interna, 8 MB de PSRAM y 16 MB de memoria flash. Por lo general, se considera que recursos tan limitados no son suficientes ni siquiera para los modelos de lenguaje más compactos.

Para sortear esta grave limitación, el desarrollador utilizó el enfoque arquitectónico Per-Layer Embeddings utilizado en los modelos de la familia Google Gemma. Tras someter el modelo a un proceso de cuantización de hasta 4 bits, se logró reducir su tamaño a 14,9 MB.

El futuro y las perspectivas de la inteligencia artificial local

La tabla más voluminosa, que contiene unos 25 millones de parámetros, se colocó en la memoria flash, mientras que la memoria SRAM se utilizó únicamente para los cálculos. Como resultado, los requisitos de memoria RAM se redujeron drásticamente y se garantizó un funcionamiento estable del sistema.

El modelo utilizado en el proyecto incluye 28,9 millones de parámetros y fue entrenado en la base de datos TinyStories. Es capaz únicamente de generar textos de ficción cortos y no está diseñado para chatear, escribir código o buscar datos. Por lo tanto, en lugar de reemplazar por completo a los grandes modelos de lenguaje, el proyecto demuestra claramente las capacidades de la arquitectura moderna.

Según el autor, este enfoque es muy útil para dispositivos autónomos donde el procesamiento local de datos es fundamental. En particular, los electrodomésticos, los controladores industriales y diversos sistemas embebidos podrán utilizar la inteligencia artificial sin necesidad de una conexión constante a Internet.