Altro che datacenter: un modello AI da 28,9 mln di parametri su una scheda ESP32

I modelli linguistici di grandi dimensioni sono normalmente associati a server dotati di GPU avanzate e decine, se non centinaia, di gigabyte di memoria. Eppure uno sviluppatore e appassionato indipendente è riuscito in un’impresa che potrebbe sembrare quasi impossibile: eseguire un algoritmo AI da ben 28,9 milioni di parametri su una semplice scheda basata su ESP32-S3 dal costo di pochi spiccioli. Chiaramente i risultati non sono paragonabili a quelli che raggiungono i datacenter (anche perché, ricordiamo, il numero di parametri è solo uno dei tanti aspetti da considerare per valutare le prestazioni di un LLM), ma è un traguardo tecnico tutt’altro che trascurabile.

ESP32-S3 è un microcontroller molto noto soprattutto tra gli appassionati di elettronica e smart home fai-da-te: le risorse hardware sono estremamente limitate - parliamo di appena 512 KB di SRAM, 8 MB di PSRAM e 16 MB di memoria flash. Nonostante queste risorse molto contenute, il sistema riesce a generare testo localmente e a visualizzarlo su un piccolo display collegato alla scheda, raggiungendo una velocità di circa 9,5 token al secondo. La vera abilità dell’autore è stata proprio aggirare dei limiti così severi.

Tutto passa da una tecnica che Google ha impiegato nei suoi modelli Gemma, nota con il nome di Per-Layer Embeddings. Invece di caricare l’intera rete neurale nella memoria più veloce, circa 25 milioni di parametri rimangono archiviati nella più lenta flash sotto forma di tabella. Durante l’elaborazione vengono letti soltanto i dati strettamente necessari per il token in corso di generazione, riducendo drasticamente il consumo di memoria. Grazie anche alla quantizzazione a 4 bit, l’intero modello occupa appena 14,9 MB, dato ampiamente (si fa per dire) al di sotto delle specifiche del chip NAND a bordo della scheda.

CLICCA QUI PER CONTINUARE A LEGGERE