Giugno 5, 2023

Conca Ternana Oggi

Ultime notizie e rapporti economici sull'Italia.

Imparare al limite | notizie del MIT

Imparare al limite |  notizie del MIT

I microcontrollori, computer in miniatura in grado di eseguire semplici comandi, sono la base per miliardi di dispositivi connessi, dai dispositivi Internet of Things (IoT) ai sensori delle automobili. Ma i microcontrollori economici e a bassa potenza hanno una memoria molto limitata e nessun sistema operativo, il che rende difficile addestrare modelli di intelligenza artificiale su “hardware di fascia alta” che opera indipendentemente dalle risorse di elaborazione centrale.

Il training di un modello di machine learning su un dispositivo smart edge gli consente di adattarsi ai nuovi dati e fare previsioni migliori. Ad esempio, l’addestramento di un modello su una tastiera intelligente può consentire alla tastiera di apprendere continuamente dalla digitazione dell’utente. Tuttavia, il processo di addestramento richiede così tanta memoria che di solito viene eseguito utilizzando potenti computer nel data center, prima che il modello venga distribuito sulla macchina. Questo è più costoso e solleva problemi di privacy poiché i dati degli utenti devono essere inviati a un server centrale.

Per affrontare questo problema, i ricercatori del MIT e del MIT-IBM Watson AI Lab hanno sviluppato una nuova tecnologia che consente l’addestramento delle macchine utilizzando meno di un quarto di megabyte di memoria. Altre soluzioni di formazione progettate per dispositivi connessi possono utilizzare più di 500 MB di memoria, che supera di gran lunga la capacità di 256 KB della maggior parte dei microcontrollori (ci sono 1024 KB in un megabyte).

Gli algoritmi intelligenti e un framework sviluppato dai ricercatori riducono la quantità di calcolo necessaria per addestrare un modello, rendendo il processo più veloce e più efficiente in termini di memoria. Il loro metodo può essere utilizzato per addestrare un modello di apprendimento automatico su un microcontrollore in pochi minuti.

Questa tecnologia mantiene anche la privacy conservando i dati sul dispositivo, che possono essere particolarmente utili quando i dati sono sensibili, come nelle applicazioni mediche. Può anche consentire la personalizzazione di un modulo in base alle esigenze degli utenti. Inoltre, il framework mantiene o migliora l’accuratezza del modello rispetto ad altri metodi di formazione.

READ  Guarda l'E3 2021 Xbox-Bethesda Game Show qui

“Il nostro studio sui dispositivi IoT consente non solo di eseguire inferenze, ma anche di aggiornare continuamente i modelli di intelligenza artificiale per i dati appena raccolti, aprendo la strada all’apprendimento permanente sul dispositivo”, afferma Song Han, assistente professore presso il Dipartimento di ingegneria elettrica e informatica (EECS), membro del Massachusetts Institute of Technology (MIT): – IBM Watson AI Lab e autore senior la carta descrivere questa innovazione.

Insieme a Han nel documento ci sono i coautori e gli studenti di dottorato EECS Ji Lin e Ligeng Zhu, così come i ricercatori post-dottorato del MIT Wei-Ming Chen e Wei-Chen Wang, e Chuang Gan, un membro del team di ricerca principale del MIT-IBM Watson, laboratorio di intelligenza artificiale. La ricerca sarà presentata alla conferenza sui sistemi di elaborazione delle informazioni neurali.

Han e il suo team si sono rivolti in precedenza Memoria e colli di bottiglia computazionali che esistono quando si tenta di eseguire modelli di apprendimento automatico su piccole macchine di fascia alta, come parte di Iniziativa TinyML.

allenamento leggero

Un tipo comune di modello di apprendimento automatico è noto come rete neurale. Questi modelli sono vagamente basati sul cervello umano e contengono strati di gangli o neuroni interconnessi che elaborano i dati per completare un’attività, come riconoscere le persone nelle immagini. Il modello deve essere prima addestrato, il che implica mostrargli milioni di esempi in modo che possa apprendere il compito. Man mano che apprende, il modello aumenta o diminuisce la forza delle connessioni tra i neuroni, note come pesi.

Il modello può subire centinaia di aggiornamenti man mano che apprende e le attivazioni intermedie devono essere memorizzate durante ogni round. In una rete neurale, l’attivazione è il risultato intermedio dello strato intermedio. Han spiega che potrebbero esserci milioni di pesi e attivazioni, l’allenamento di un modello richiede molta più memoria rispetto all’esecuzione di un modello precedentemente addestrato.

Han e i suoi collaboratori hanno utilizzato due soluzioni algoritmiche per rendere il processo di addestramento più efficiente e meno dispendioso in termini di memoria. Il primo, noto come refresh sparso, utilizza un algoritmo che determina i pesi più importanti che devono essere aggiornati in ogni round di allenamento. L’algoritmo inizia a congelare i pesi uno per uno finché non vede la precisione scendere a un certo limite, quindi si ferma. I pesi rimanenti vengono aggiornati, mentre le attivazioni corrispondenti ai pesi congelati non necessitano di essere memorizzate.

READ  RG Nano è un clone di Game Boy delle dimensioni di un pacchetto di gomme da masticare

“Aggiornare l’intero modello è molto costoso perché ci sono molte attivazioni, quindi le persone tendono ad aggiornare solo l’ultimo livello, ma come puoi immaginare, questo danneggia la precisione. Per il nostro metodo, aggiorniamo questi pesi importanti in modo selettivo e ci assicuriamo che l’accuratezza è costantemente mantenuta. Completa”, afferma Han.

La loro seconda soluzione prevede l’allenamento quantitativo e la semplificazione dei pesi, che di solito sono a 32 bit. L’algoritmo ruota i pesi in modo che siano solo otto bit, attraverso un processo noto come quantizzazione, che riduce la quantità di memoria sia per l’allenamento che per l’inferenza. L’inferenza è il processo di applicazione di un modello a un set di dati e la creazione di una previsione. L’algoritmo applica quindi una tecnica chiamata Quantum Perceived Scale (QAS), che funge da moltiplicatore per regolare il rapporto tra peso e gradiente, per evitare qualsiasi calo di precisione che potrebbe derivare dall’allenamento quantitativo.

I ricercatori hanno sviluppato un sistema, chiamato Micro Training Engine, in grado di eseguire queste innovazioni algoritmiche su un semplice microcontrollore privo di un sistema operativo. Questo sistema modifica l’ordine delle fasi del processo di addestramento in modo che venga completato più lavoro nella fase di assemblaggio, prima che il modello venga distribuito sul dispositivo perimetrale.

“Spingiamo molta aritmetica, come la differenziazione automatica e l’ottimizzazione dei grafici, per raccogliere il tempo. Riduciamo anche in modo aggressivo gli operatori ridondanti per supportare gli aggiornamenti sporadici. Una volta che il tempo di attività, abbiamo molto meno carico di lavoro da fare sul dispositivo”, spiega Hahn.

accelerazione riuscita

L’ottimizzazione richiedeva solo 157 KB di memoria per addestrare un modello di apprendimento automatico su un microcontrollore, mentre altre tecnologie progettate per l’addestramento leggero avrebbero comunque bisogno tra 300 e 600 MB.

READ  High On Life ha battuto più record di biglietti per giochi Xbox, incluso il più grande lancio del 2022

Hanno testato la loro struttura addestrando un modello di visione artificiale per rilevare le persone nelle immagini. Dopo soli 10 minuti di formazione, ho imparato a completare con successo l’attività. Il loro metodo è stato in grado di addestrare un modello più di 20 volte più velocemente di altri metodi.

Ora che hanno dimostrato il successo di queste tecniche per i modelli di visione artificiale, i ricercatori vogliono applicarle a modelli linguistici e diversi tipi di dati, come i dati delle serie temporali. Allo stesso tempo, vogliono utilizzare ciò che hanno imparato per ridimensionare modelli più grandi senza sacrificare l’accuratezza, il che potrebbe aiutare a ridurre l’impronta di carbonio della formazione di modelli di machine learning su larga scala.

“Adattare/addestrare un modello di intelligenza artificiale su un dispositivo, in particolare su controller incorporati, è una sfida aperta. Questa ricerca del MIT non solo ha dimostrato con successo le capacità, ma ha anche aperto nuove possibilità per la personalizzazione del dispositivo che mantiene la privacy in tempo reale”, ha affermato dice Nilesh Jain, l’ingegnere capo di Intel che non è stato coinvolto in questo lavoro. “Le innovazioni nella pubblicazione hanno un’applicabilità più ampia e avvieranno la ricerca di co-design per il nuovo algoritmo di sistema”.

“L’apprendimento sul dispositivo è il prossimo grande progresso su cui stiamo lavorando per lo smart edge connesso. Il gruppo del professor Song Han ha mostrato progressi significativi nel dimostrare l’efficacia dell’hardware all’avanguardia per la formazione”, aggiunge Jilly Hu, vicepresidente e capo di Ricerca sull’intelligenza artificiale presso Qualcomm. “Qualcomm ha assegnato al suo team l’Innovation Fellowship per ulteriori innovazioni e progressi in questo campo”.

Questo lavoro è finanziato dalla National Science Foundation, MIT-IBM Watson AI Lab, MIT AI Hardware Program, Amazon, Intel, Qualcomm, Ford Motor Company e Google.