Il responsabile tecnico della rivista Elettronica In, Boris Landoni, ha intervistato Henrik Flodell di Alif Semiconductor per approfondire il tema dell’intelligenza artificiale generativa sui microcontrollori. L’occasione nasce dal recente annuncio del supporto nativo di PyTorch ExecuTorch sulle MCU della serie Ensemble E4/E6/E8, un passo importante verso l’integrazione di modelli AI complessi su dispositivi a bassissimo consumo.
Boris:
Alif Semiconductor ha recentemente annunciato il supporto nativo per il runtime PyTorch ExecuTorch sui suoi microcontrollori Ensemble E4/E6/E8. Perché questo è significativo per l’industria? In altre parole, cosa rende possibile l’abilitazione del popolare framework PyTorch (tramite ExecuTorch) su MCU con risorse limitate, che prima non era possibile su dispositivi edge a così basso consumo energetico?
Henrik:
Avere accesso al runtime ExecuTorch sui dispositivi Ensemble è significativo perché semplifica in modo sostanziale la distribuzione dei modelli PyTorch su questi microcontrollori e processori ibridi. In precedenza, il processo di distribuzione dei modelli PyTorch prevedeva la loro conversione in altri framework (come TensorFlow Lite) e talvolta persino la necessità di reimplementare il codice del modello in linguaggi di basso livello come C/C++, un processo complesso e dispendioso in termini di tempo che rischiava di introdurre bug e problemi di prestazioni.
ExecuTorch abilita un flusso di lavoro basato su Python che consente agli sviluppatori di creare, ottimizzare e distribuire modelli PyTorch in modo fluido, senza passaggi di conversione intermedi, aumentando la produttività e accelerando il time-to-market, sfruttando al contempo appieno le capacità di accelerazione hardware delle NPU Ethos integrate di Alif.
Boris:
Le Ensemble E4, E6 ed E8 sono descritte come le prime MCU del settore con accelerazione hardware per modelli di intelligenza artificiale basati su transformer, grazie all’integrazione della NPU Arm Ethos-U85. Come è riuscita Alif a offrire una capacità AI così avanzata – in grado di eseguire reti transformer e altri modelli di AI generativa – su una piattaforma a microcontrollore, mantenendo comunque un basso consumo energetico? Quali innovazioni tecniche nella vostra architettura (core, NPU, memoria, gestione energetica, ecc.) rendono tutto ciò possibile?
Henrik:
In Alif Semiconductor ci siamo posti l’obiettivo di ridefinire ciò che è possibile all’intersezione tra intelligenza artificiale e sistemi embedded a bassissimo consumo. Le famiglie Ensemble E4, E6 ed E8 raggiungono questo traguardo combinando un’architettura multicore scalabile con la NPU Arm Ethos-U85, la prima NPU embedded in grado di eseguire in modo efficiente modelli transformer e di AI generativa su una piattaforma di classe microcontrollore.
Diverse innovazioni architetturali chiave rendono tutto ciò possibile:
Prestazioni scalabili: ogni dispositivo Ensemble integra fino a due CPU Arm Cortex-M55 — i core M-class più avanzati e ottimizzati per l’AI — insieme a fino a due NPU Ethos-U55 per l’elaborazione neurale on-chip. Le nuove serie Ensemble E4, E6 ed E8 spingono ulteriormente avanti questa architettura grazie all’aggiunta della NPU Ethos-U85, che consente l’esecuzione di reti transformer e abilita funzionalità di AI generativa su una piattaforma a microcontrollore.
AI accelerata in hardware: con l’aggiunta della Ethos-U85, la nuova serie Ensemble abilitata alla Gen-AI fornisce fino a 450 GOPs di prestazioni AI, supportando modelli transformer, convoluzionali e generativi con efficienza eccezionale. Ciò riduce al minimo il movimento dei dati e la latenza, consentendo inferenze sostenute a basso consumo energetico.
Gestione intelligente dell’energia: la tecnologia proprietaria aiPM® (autonomous intelligent power management) di Alif regola dinamicamente la tensione e la frequenza tra core, NPU e memoria in tempo reale. In questo modo, si alimenta automaticamente solo ciò che serve, quando serve, offrendo una durata della batteria senza precedenti.
Insieme, queste innovazioni consentono alle MCU Ensemble di offrire prestazioni AI di livello edge — inclusi carichi di lavoro transformer e generativi — all’interno dei limiti di potenza e costo dei microcontrollori tradizionali. È questa fusione di IP Arm avanzato, calcolo scalabile e progettazione intelligente della potenza che rende Ensemble la prima vera piattaforma MCU abilitata all’AI/ML del settore.
Boris:
ExecuTorch è un runtime nativo di PyTorch ottimizzato per i dispositivi edge, che fornisce strumenti come compressione e quantizzazione del modello per una distribuzione efficiente. In che modo il supporto di Alif per ExecuTorch migliora l’esperienza degli sviluppatori nella distribuzione di modelli AI sulle vostre MCU? Per gli sviluppatori abituati ad addestrare in PyTorch, come appare ora il flusso di lavoro per passare da un modello PyTorch alla sua esecuzione su una MCU Ensemble?
Henrik:
ExecuTorch facilita un percorso di migrazione molto semplice dalla distribuzione di modelli basata su cloud alla distribuzione direttamente su dispositivi embedded, senza la necessità di passaggi intermedi complessi di conversione. Ciò consente agli sviluppatori di creare e addestrare modelli nell’ambiente familiare di PyTorch e poi distribuirli su hardware con risorse limitate, aiutandoli a superare i limiti di memoria, mantenere sotto controllo il consumo energetico e preservare la velocità di elaborazione e l’accuratezza del modello.
Il flusso di lavoro per ExecuTorch può essere suddiviso in tre fasi principali: esportazione del modello, compilazione e ottimizzazione ahead-of-time (AOT) ed esecuzione sul dispositivo. Una guida dettagliata di questo processo è pubblicata qui.
Boris:
Alla recente conferenza PyTorch, abbiamo visto dimostrazioni impressionanti della tecnologia di Alif in azione — tra cui un piccolo modello linguistico in esecuzione sull’Ensemble E8 in grado di generare storie per bambini a partire da prompt visivi, e una trascrizione vocale in tempo reale su un prototipo di smart glasses indossabili. Questi sono compiti tipicamente associati a potenti server cloud o PC. Puoi dirci di più su queste dimostrazioni? Cosa mostrano riguardo alle capacità delle vostre MCU e cosa è stato necessario per far funzionare completamente on-device queste applicazioni di AI generativa (narrazione e trascrizione in tempo reale)?
Henrik:
Uno dei punti di forza di Alif fin dal primo giorno è stato quello di offrire caratteristiche a basso consumo, non solo quando il dispositivo è nello stato di sospensione, ma anche quando le applicazioni sono in esecuzione, i dati vengono raccolti e i carichi di lavoro computazionali vengono elaborati.
Alif ha sviluppato un’architettura di sistema unica che consente alle applicazioni di funzionare in un dominio “High-Efficiency” per la parte always-on del proprio ciclo di lavoro e in modalità “High-Performance” quando è necessario eseguire operazioni computazionalmente intensive.
Gli acceleratori hardware per vari compiti — incluse operazioni di intelligenza artificiale, grafica ed elaborazione di immagini — sono disponibili per entrambe le modalità operative, consentendo alle applicazioni di completare rapidamente le attività necessarie e di trascorrere più tempo in stati a basso consumo.
Alif fornisce NPU integrate basate su Ethos nei propri dispositivi, in grado di offrire accelerazione hardware per reti convoluzionali, ricorrenti e basate su transformer, il che consente ai modelli ExecuTorch di essere distribuiti su qualsiasi dispositivo delle famiglie Balletto e Ensemble.
Boris:
Nel vostro annuncio, il presidente di Alif, Reza Kazerounian, ha osservato che il supporto a ExecuTorch “amplierà notevolmente i casi d’uso” per l’intelligenza artificiale on-device. Quali sono alcune delle nuove applicazioni o settori che immaginate trarranno i maggiori benefici dall’avere capacità di AI generativa in esecuzione localmente sui microcontrollori? Ad esempio, i materiali stampa menzionano possibilità come smart glasses per sottotitoli in tempo reale, giocattoli interattivi che generano storie, dispositivi sanitari o diagnostici, elettrodomestici intelligenti, infrastrutture urbane, ecc. Perché è così importante che questi dispositivi eseguano l’AI localmente (all’edge) invece di fare affidamento sull’inferenza nel cloud?
Henrik:
Stiamo già assistendo al passaggio dell’intelligenza artificiale generativa dai laboratori di ricerca ai prodotti reali in diversi settori, e uno degli esempi più entusiasmanti e accessibili è quello dei giocattoli interattivi per bambini.
Le MCU Alif Ensemble E4/6/8 e i processori Fusion sono i primi prodotti della loro categoria sul mercato a incorporare l’accelerazione hardware per operatori transformer, consentendo l’utilizzo di tali reti in dispositivi edge ed endpoint alimentati a batteria.
Le reti transformer sono un tipo di architettura di rete neurale che consente all’AI di creare nuovi contenuti — testi, immagini e suoni — elaborando e comprendendo grandi set di dati. L’architettura “transformer” utilizza un meccanismo di “self-attention” per valutare l’importanza delle diverse parole in una sequenza, permettendole di comprendere contesto e relazioni, una capacità cruciale per compiti come la generazione di testi simili a quelli umani.
Ad esempio, un giocattolo abilitato all’intelligenza artificiale può riconoscere oggetti, rispondere in modo conversazionale e persino generare storie originali basate sull’ambiente, sulle interazioni precedenti o sugli stati emotivi del bambino.
Invece di basarsi su frasi preregistrate o script statici, il giocattolo utilizza un piccolo modello linguistico (SLM) in esecuzione localmente per creare narrazioni uniche in tempo reale, adattando personaggi, tono e trama alle preferenze di ciascun bambino. Questo genera un coinvolgimento più profondo e favorisce creatività, immaginazione e apprendimento attraverso il gioco.
Ugualmente importanti sono sicurezza e privacy, soprattutto per i dispositivi connessi destinati ai bambini. I prodotti che dipendono dalla connettività cloud per l’inferenza espongono gli utenti a potenziali violazioni dei dati o intrusioni di rete.
Abilitando l’inferenza AI direttamente sul dispositivo, questi giocattoli possono funzionare con poca o nessuna connessione di rete, riducendo significativamente i rischi pur mantenendo un’esperienza reattiva e personalizzata.
Man mano che l’hardware e il software di Alif continueranno a progredire in termini di efficienza e ottimizzazione energetica, ci aspettiamo di vedere l’AI generativa espandersi in molte nuove categorie di dispositivi consumer e industriali: dalla diagnostica sanitaria agli elettrodomestici intelligenti, dalle infrastrutture urbane agli assistenti indossabili.
Eseguire l’AI localmente all’edge è ciò che renderà queste esperienze più veloci, più sicure e molto più pratiche nella vita quotidiana.
Boris:
Questo risultato ha richiesto una collaborazione estesa all’interno dell’ecosistema — ad esempio lavorando con il team PyTorch di Meta su ExecuTorch e con Arm per sfruttare la NPU Ethos-U85. Come sono nate queste partnership e quale ruolo hanno avuto nel rendere possibile l’AI generativa su una MCU? Più in generale, quanto è importante un ecosistema aperto e unificato (framework AI standard e hardware come le NPU di Arm) per accelerare l’innovazione nell’AI all’edge?
Henrik:
L’Ethos-U85 è la più recente generazione di NPU Ethos di Arm, e le MCU e i processori Fusion E4/6/8 di Alif sono i primi dispositivi a portare questa tecnologia sul mercato in silicio di uso generale. L’Ethos-U85 include la capacità di accelerare in hardware le reti transformer, che sono necessarie per supportare i carichi di lavoro di AI generativa.
ExecuTorch può essere utilizzato anche per distribuire reti convoluzionali e ricorrenti, e il porting di ExecuTorch realizzato da Alif può essere implementato sia sulle NPU Ethos-U55 che sulle Ethos-U85 disponibili nelle famiglie di prodotti Balletto ed Ensemble.
In Alif crediamo che l’apertura stimoli l’innovazione. Così come gli sviluppatori evitano sempre più CPU con set di istruzioni proprietarie, che li vincolano a ecosistemi chiusi e limitano l’accesso a strumenti maturi, vediamo lo stesso principio applicarsi alle NPU.
Adottando architetture NPU ampiamente supportate e non proprietarie, stiamo creando una base che offre agli sviluppatori maggiore libertà, più supporto dall’ecosistema e un percorso di distribuzione più rapido.
Un’architettura aperta e con licenza incoraggia i partner dell’ecosistema AI a investire in strumenti, framework e ottimizzazioni che portano benefici a tutti, poiché il loro lavoro può raggiungere un pubblico molto più vasto.
Ogni prodotto Alif è progettato con questa filosofia: completamente scalabile, compatibile a livello software e pin-to-pin, in modo che gli sviluppatori possano migrare senza problemi verso dispositivi a prestazioni superiori senza dover riprogettare l’hardware o riscrivere il codice.
Boris:
Il mercato dei microcontrollori sta rapidamente diventando affollato di offerte con capacità AI da parte di molti produttori, ma Alif ha avuto un vantaggio iniziale: le vostre prime MCU Ensemble AI di prima generazione sono state lanciate nel 2021, e ora le E4/E6/E8 di seconda generazione sono già disponibili mentre altri stanno solo introducendo le loro prime MCU AI nel 2025. Come intende Alif mantenere il proprio vantaggio competitivo in futuro? Cosa distingue il vostro approccio rispetto ai concorrenti più grandi e tradizionali che stanno ora aggiungendo NPUs ai loro chip?
Henrik:
La profonda esperienza di Alif, come prima azienda ad aver portato sul mercato MCU e processori Fusion con la NPU Arm Ethos-U55 oltre quattro anni fa, ci ha fornito una base unica per la nostra prossima generazione di prodotti basati su Ethos-U85.
Questa leadership anticipata ci ha permesso di perfezionare ogni livello della nostra architettura — progettazione, software e gestione energetica — per offrire una soluzione matura e pronta per la produzione, ben prima dei concorrenti che stanno solo ora entrando nello spazio Ethos-U85.
A differenza dei fornitori che si limitano ad aggiungere una NPU a un design esistente, Alif ha progettato l’intera architettura di sistema attorno alle esigenze dell’AI edge.
I nostri più recenti dispositivi Ensemble impiegano fino a tre NPU, distribuendo in modo intelligente i carichi di lavoro sulla risorsa di calcolo più efficiente al momento, che si tratti di un’inferenza leggera o dell’esecuzione di un modello generativo complesso.
Ogni MCU è costruita con un dominio always-on a basso consumo, che include memoria dedicata e interfacce per la raccolta continua di dati (visione, voce, movimento, vibrazione, ecc.).
Questa sezione può eseguire un’elaborazione sostanziale sul Cortex-M55 e sulla NPU per classificare gli input localmente, prima di attivare in modo selettivo le regioni del chip ad alte prestazioni.
Tali regioni, dotate di ulteriori coppie CPU/NPU, possono gestire carichi di lavoro ML più impegnativi — ora ancora più velocemente grazie alla Ethos-U85 — per poi tornare in stati di deep-sleep al fine di preservare energia.
In queste regioni ad alte prestazioni, Alif ha applicato un’ampia esperienza derivata da casi d’uso reali, includendo le caratteristiche esatte richieste dalle moderne applicazioni AI:
-
grande memoria on-chip (leader nella sua categoria),
-
accesso a memoria esterna su più livelli,
-
elaborazione di immagini e audio ad alta larghezza di banda,
-
accelerazione per display e grafica,
-
I/O ad alta velocità e front-end analogici avanzati.
Tutto questo opera sotto il controllo del framework aiPM®, una gestione energetica granulare che regola dinamicamente quali sottosistemi sono attivi in base al carico di lavoro istantaneo.
Fondamentale è che queste innovazioni non sono limitate a un singolo prodotto. Alif le ha estese a un’intera famiglia di dispositivi Ensemble compatibili a livello software e hardware, garantendo un percorso di aggiornamento senza interruzioni.
Gli sviluppatori possono riutilizzare il software esistente dei 19 dispositivi basati su Ethos-U55 e, in molti casi, ottenere persino compatibilità diretta del footprint con otto prodotti precedenti in package BGA194, consentendo una transizione immediata alle prestazioni Ethos-U85 senza riprogettare l’hardware.
Combinando efficienza energetica a lungo termine, scalabilità architetturale e retrocompatibilità, Alif continua a fissare il punto di riferimento per portare le prestazioni AI di classe transformer sulle piattaforme a microcontrollore — una posizione resa possibile dalla nostra leadership pionieristica e dall’innovazione continua nel design dell’AI all’edge.
Boris:
Infine, cosa ci riserva il futuro per Alif e per l’industria nel suo complesso nel campo dell’intelligenza artificiale all’edge? Ora che possiamo eseguire modelli di AI generativa sofisticati su dispositivi alimentati a batteria, come vedi evolversi questa tecnologia nei prossimi anni (ad esempio modelli ancora più grandi, nuove funzionalità, maggiore standardizzazione)? E per gli sviluppatori o i progettisti di prodotto che sono entusiasti di iniziare ora, qual è il modo migliore per approcciarsi alla piattaforma Alif? Le schede di sviluppo (come la DK-E8) e gli strumenti software sono già disponibili per sperimentare? Hai qualche consiglio per chi desidera portare la potenza dei modelli AI basati su PyTorch nel proprio prossimo progetto embedded?
Henrik:
Guardando al futuro, la prossima grande frontiera per Alif — e per l’industria nel suo insieme — va oltre le prestazioni di calcolo e riguarda l’evoluzione delle architetture di memoria per tenere il passo con la crescente complessità dell’AI all’edge.
Mentre le nuove architetture di calcolo continueranno a offrire prestazioni più elevate per ciclo con maggiore efficienza energetica, la vera opportunità risiede nel ripensare il modo in cui i dati si muovono e vengono archiviati. Tradizionalmente, le MCU hanno fatto affidamento su implementazioni di memoria simili per molti anni, concentrate principalmente sul supporto dei core CPU. Ma l’introduzione di NPU integrate per carichi di lavoro AI e ML ha modificato radicalmente questi requisiti: ora i dati devono muoversi più velocemente, in modo più efficiente e attraverso percorsi più ampi, sia all’interno che all’esterno del chip.
Alif ha già compiuto passi significativi in questa direzione con i nostri più recenti dispositivi abilitati all’AI/ML, progettando bus di dati più larghi e più veloci che supportano una mobilità efficiente dei dati tra gli elementi di calcolo e la memoria esterna.
Guardando avanti, stiamo sviluppando nuove architetture che offriranno agli sviluppatori il giusto equilibrio tra memoria volatile e non volatile, per supportare modelli ML e SLM sempre più densi — il tutto minimizzando il consumo energetico, mantenendo una sicurezza robusta e preservando un ingombro fisico compatto.
In definitiva, la capacità di combinare un’elevata densità di calcolo, architetture di memoria efficienti e lunga durata della batteria definirà la prossima generazione dell’AI all’edge.
Questi progressi sono ciò che renderà possibili dispositivi indossabili e portatili realmente utili e pratici, alimentati da AI/ML — sistemi in grado di eseguire localmente, in modo sicuro ed efficiente, modelli di AI generativa sofisticati per lunghi periodi di tempo.
La scheda di sviluppo DK-E8 è disponibile per l’acquisto direttamente da Alif.
È possibile contattare il nostro team commerciale per ordinarla qui: https://alifsemi.com/support/sales-support/.
Conclusione
L’intervista con Henrik Flodell di Alif Semiconductor mette in luce una rivoluzione ormai in atto: l’intelligenza artificiale generativa non è più confinata ai server o al cloud, ma può vivere direttamente all’interno dei microcontrollori.
Grazie a soluzioni come ExecuTorch e all’integrazione delle NPU Arm Ethos-U85 nella famiglia Ensemble, Alif dimostra che è possibile combinare potenza di calcolo, efficienza energetica e sicurezza, aprendo la strada a una nuova generazione di dispositivi intelligenti capaci di apprendere, creare e interagire localmente.
Un passo decisivo verso un futuro in cui l’AI diventa davvero pervasiva, sostenibile e alla portata di tutti.
