Sadece 10 Dolarlık Bir Mikrokontrolcüde Yapay Zeka Çalıştırıldı

Yapay zeka teknolojilerinin hızla geliştiği bir dönemde çoğu kişi, güçlü grafik hızlandırıcılarına ve gigabaytlarca belleğe sahip pahalı cihazlara güveniyor. Ancak ixbt.com'un haberine göre, Ukraynalı yazılımcı Slava S (slvDev) tüm kalıpları yıkarak yerel bir dil modelini fiyatı sadece 10 dolar civarında olan son derece ucuz bir mikrokontrolcüde başarıyla çalıştırdı. Bu konuda Ixbt.com haber veriyor.

ESP32-AI adı verilen bu proje kapsamında tüm süreç, internete bağlanmadan ve bulut hizmetleri kullanılmadan doğrudan ESP32-S3 mikrokontrolcüsü üzerinde gerçekleştirildi. Bu başarı, gelecekte yapay zeka yeteneklerinin en basit ev aletlerine ve gömülü sistemlere bile taşınabileceğini gösterdi.

Kaynakların Kısıtlı Olduğu Durumlarda Teknik Çözüm

İlk bakışta bu görevin neredeyse imkansız olduğu açıktı. Mesele şu ki, ESP32-S3 yalnızca 512 KB dahili RAM, 8 MB PSRAM ve 16 MB flash bellek ile donatılmıştır. Genellikle bu kadar kısıtlı kaynakların en kompakt dil modelleri için bile yeterli olmadığı düşünülmektedir.

Bu ciddi kısıtlamayı aşmak için yazılımcı, Google Gemma ailesindeki modellerde kullanılan Per-Layer Embeddings mimari yaklaşımından yararlandı. Model 4 bite kadar kuantizasyon sürecinden geçirildikten sonra boyutu 14,9 MB'a kadar küçültüldü.

Yerel Zekanın Geleceği ve Beklentileri

Yaklaşık 25 milyon parametre içeren en hacimli tablo flash belleğe yerleştirildi, SRAM belleği ise yalnızca hesaplamalar için kullanıldı. Sonuç olarak belleğe yönelik gereksinimler keskin bir şekilde azaltıldı ve sistemin kararlı çalışması sağlandı.

Projede kullanılan model 28,9 milyon parametre içermekte olup TinyStories veri tabanı üzerinde eğitilmiştir. Yalnızca kısa kurgusal metinler üretme kapasitesine sahip olup sohbet etmeye, kod yazmaya veya gerçekleri aramaya yönelik değildir. Bu nedenle proje, büyük dil modellerinin tam anlamıyla yerini almaktan ziyade modern mimarinin sunduğu imkanları açıkça gözler önüne sermektedir.

Yazara göre bu yaklaşım, verilerin yerel olarak işlenmesinin önemli olduğu otonom cihazlar için oldukça kullanışlıdır. Özellikle ev aletleri, endüstriyel kontrolcüler ve çeşitli gömülü sistemler sürekli internet bağlantısına ihtiyaç duymadan yapay zekadan yararlanabilecektir.