Искусственный интеллект запустили на микроконтроллере стоимостью всего 10 долларов

В эпоху стремительного развития технологий искусственного интеллекта многие полагаются исключительно на дорогие устройства с мощными графическими ускорителями и гигабайтами RAM. Однако, как сообщает иксбт.ком, украинский разработчик Слава С (слвДев) сломал все стереотипы, успешно запустив локальную языковую модель на сверхдешевом микроконтроллере стоимостью всего около 10 долларов. Об этом сообщает Иксбт.ком .

В рамках проекта под названием ЭСП32-АИ весь процесс был реализован непосредственно на микроконтроллере ЭСП32-С3 без подключения к интернету и использования облачных сервисов. Данное достижение показало, что в будущем возможности искусственного интеллекта можно будет внедрить даже в самую простую бытовую технику и встраиваемые системы.

Техническое решение в условиях ограниченных ресурсов

На первый взгляд эта задача казалась практически невыполнимой. Дело в том, что ЭСП32-С3 оснащен всего лишь 512 КБ внутренней RAM, 8 МБ ПСРАМ и 16 МБ флеш-памяти. Обычно считается, что столь ограниченных ресурсов недостаточно даже для самых компактных языковых моделей.

Чтобы обойти это серьезное ограничение, разработчик использовал архитектурный подход Пер-Лаер Эмбеддингс, применяемый в моделях семейства Google Гемма. После прохождения процесса квантования модели до 4 бит удалось уменьшить ее размер до 14,9 МБ.

Будущее и перспективы локального интеллекта

Самая объемная таблица, содержащая около 25 миллионов параметров, была размещена во флеш-памяти, в то время как память СРАМ использовалась исключительно для вычислений. В результате требования к RAM были резко снижена, а стабильная работа системы — обеспечена.

Модель, использованная в проекте, содержит 28,9 миллиона параметров и обучена на базе данных ТинйСториес. Она способна генерировать лишь короткие художественные тексты и не предназначена для общения, написания кода или поиска фактов. Поэтому данный проект скорее ярко демонстрирует возможности современной архитектуры, чем заменяет полноценные большие языковые модели.

По мнению автора, такой подход отлично подойдет для автономных устройств, где важна локальная обработка данных. В частности, бытовая техника, промышленные контроллеры и различные встраиваемые системы смогут использовать AI без необходимости постоянного подключения к интернету.