Sistemul MIT aduce AI de Deep Learning la dispozitivele Internet of Things

Cercetătorii MIT au dezvoltat un sistem, numit MCUNet, care aduce învățarea automată la microcontrolere. Plata în avans poate îmbunătăți funcționalitatea și securitatea dispozitivelor conectate la Internet of Things (IoT). Credit: MIT

Avansul poate permite inteligența artificială la aparatele de uz casnic prin creșterea securității datelor și a eficienței energetice.

Învățarea profundă este peste tot. Această ramură a inteligenței artificiale vă vindecă rețelele sociale și vă servește rezultatele căutării pe Google. În curând, învățarea aprofundată poate controla vitalitatea sau vă poate seta termostatul. cu Cercetătorii au dezvoltat un sistem care poate aduce rețelele neuronale de învățare profundă în locuri noi – și altele mult mai mici – cum ar fi cipurile de computer mici din dispozitivele medicale purtabile, aparatele electrocasnice și celelalte 250 de miliarde de obiecte care alcătuiesc „Internetul obiectelor” (IoT)

Sistemul, numit MCUNet, proiectează rețele neuronale compacte care oferă viteze fără precedent și precizie pentru a învăța adânc în dispozitivele IoT, în ciuda memoriei și puterii de procesare limitate. Tehnologia poate facilita extinderea universului IoT, economisind în același timp energie și îmbunătățind securitatea datelor.

Cercetarea va fi prezentată la Conferința de luna viitoare privind sistemele de procesare a informațiilor neuronale. Autorul principal este Ji Lin, un doctorand în laboratorul Song Han la Departamentul de Inginerie Electrică și Știința Calculatoarelor al MIT. Printre co-autori se numără Han și Yujun Lin, MIT Wei-Ming Chen și Taiwan National University și MIT-IBM John Cohn și Chuang Gan de la Watson AI Lab.

internetul Lucrurilor

IoT s-a născut la începutul anilor 1980. Studenții absolvenți de la Universitatea Carnegie Mellon, inclusiv Mike Kazar ’78, au conectat o mașină Cola-Cola la Internet. Motivația grupului a fost simplă: lenea. Au vrut să-și folosească computerele pentru a confirma că utilajele au fost echipate înainte de a părăsi biroul pentru a face o achiziție. A fost primul dispozitiv din lume conectat la Internet. „A fost destul de mult tratată ca o glumă”, spune Kazar, acum inginer Microsoft. „Nimeni nu se aștepta la miliarde de dispozitive online”.

De la acea mașină de cocs, obiectele de zi cu zi au devenit din ce în ce mai mult conectate în rețea în IoT în creștere. Aceasta include totul, de la monitoare de inimă uzate la frigidere inteligente care vă spun când aveți puțin lapte. Dispozitivele IoT funcționează adesea pe microcontrolere – cipuri simple de computer fără sistem de operare, putere minimă de procesare și mai puțin de o miime din memoria unui smartphone tipic. Sarcinile de recunoaștere a modelelor, cum ar fi învățarea aprofundată, sunt dificil de executat pe site-ul de pe dispozitivele IoT. Pentru analize complexe, datele colectate de IoT sunt adesea trimise în cloud, făcându-le vulnerabile la piraterie.

„Cum putem plasa rețelele neuronale direct pe aceste dispozitive mici?” „Este o nouă zonă de cercetare care se încălzește foarte tare”, spune Han. „Companii precum Google și ARM lucrează toate în această direcție.” Și Han este.

Cu MCUNet, grupul lui Han a codificat două componente necesare pentru „învățarea profundă mică” – funcționarea rețelelor neuronale în microcontrolere. O componentă este TinyEngine, un motor concludent care rulează gestionarea resurselor, similar cu un sistem de operare. TinyEngine este optimizat pentru a executa o structură de rețea neuronală specifică, care este selectată de cealaltă componentă a MCUNet: TinyNAS, un algoritm de căutare a arhitecturii neuronale.

Înregistrarea codurilor sistem-algoritm

Proiectarea unei rețele profunde pentru microcontrolere nu este ușoară. Tehnicile existente de căutare a arhitecturii neuronale încep cu un set mare de structuri de rețea posibile bazate pe un model predeterminat, apoi le găsesc treptat cu precizie ridicată și costuri reduse. În timp ce metoda funcționează, nu mai este eficientă. „Poate funcționa destul de bine pentru GPU sau smartphone”, spune Lin. “Dar a fost dificil să aplicăm aceste tehnici direct pe microcontrolere mici, deoarece acestea sunt prea mici.”

Deci, Lin a dezvoltat TinyNAS, o metodă de căutare a arhitecturii neuronale care creează rețele de dimensiuni personalizate. „Avem o mulțime de microcontrolere care vin cu capacități de putere diferite și dimensiuni de memorie diferite”, spune Lin. „Așa că am dezvoltat algoritmul [TinyNAS] pentru a optimiza spațiul de căutare pentru diferite microcontrolere. Natura personalizată a TinyNAS înseamnă că poate genera rețele neuronale compacte cu cea mai bună performanță posibilă pentru un anumit microcontroler – fără parametri inutili. „Apoi livrăm modelul final și eficient microcontrolerului”, spune Lin.

Pentru a rula acea mică rețea neuronală, un microcontroler are nevoie și de un motor de inferență slab. Un motor tipic concludent are o greutate moartă – instrucțiuni pentru sarcini care rareori pot funcționa. Codul suplimentar nu este o problemă pentru un laptop sau smartphone, dar poate suprasolicita cu ușurință un microcontroler. „Nu există memorie în afara cipului și nici un disc”, spune Han. „Totul combinat este doar un megabyte de flash, așa că trebuie să gestionăm cu grijă o resursă atât de mică.” Cue TinyEngine.

Cercetătorii și-au dezvoltat motorul de inferență împreună cu TinyNAS. TinyEngine generează codul esențial necesar pentru a rula rețeaua neuronală personalizată TinyNAS. Orice cod de greutate moartă este eliminat, ceea ce scurtează timpul de compilare. „Păstrăm doar ceea ce avem nevoie”, spune Han. „Și din moment ce am creat rețeaua neuronală, știm exact de ce avem nevoie. Acesta este avantajul algoritmului de cod al sistemului. În testele de grup TinyEngine, dimensiunea codului binar compilat a fost între 1,9 și cinci ori mai mică decât motoarele comparabile ale concluziei microcontrolerului de la Google și ARM. TinyEngine oferă, de asemenea, inovații care reduc timpul de execuție, inclusiv convoluția în loc de adâncime, ceea ce reduce utilizarea vârfului de memorie cu aproape jumătate. După codificarea TinyNAS și TinyEngine, echipa Han a pus MCUNet la încercare.

Prima provocare a MCUNet a fost clasificarea imaginilor. Cercetătorii au folosit baza de date ImageNet pentru a instrui sistemul cu imagini etichetate, apoi pentru a testa capacitatea acestuia de a clasifica altele noi. Într-un microcontroler comercial pe care l-au testat, MCUNet a clasificat cu succes 70,7% din noile imagini – rețeaua anterioară a celei mai noi tehnologii și combinația de motoare de inferență a fost de doar 54%. „Chiar și o îmbunătățire cu 1% este considerată semnificativă”, spune Lin. “Deci, acesta este un pas important pentru setările microcontrolerului.”

Echipa a găsit rezultate similare în testele ImageNet ale celorlalte trei microcontrolere. Și atât în ​​viteză, cât și în acuratețe, MCUNet a depășit concurența pentru sarcinile audio și vizuale de „trezire”, în care un utilizator inițiază o interacțiune cu un computer folosind vocale (gândiți-vă: „Hei, Siria”) sau pur și simplu prin a intrat într-o cameră. Experimentele evidențiază adecvarea MCUNet pentru multe aplicații.

„Mare potențial”

Rezultatele promițătoare ale testelor dau speranței lui Hani că va deveni noul standard industrial pentru microcontrolere. „Are un mare potențial”, spune el.

Descoperirea „extinde granița proiectării rețelei neuronale profunde și mai mult în domeniul calculelor microcontrolerelor eficiente din punct de vedere energetic”, a declarat Kurt Keutzer, un om de știință în domeniul computerelor de la Universitatea din California din Berkeley, care nu a fost implicat în lucrare. El adaugă că MCUNet poate „aduce capacități inteligente de viziune pe computer chiar și celor mai simple aparate de bucătărie sau poate permite senzori de mișcare mai inteligenți”.

MCUNet poate, de asemenea, face dispozitivele IoT mai sigure. „Un avantaj cheie este menținerea confidențialității”, spune Han. „Nu este nevoie să transmiteți datele în cloud.”

Analiza datelor la nivel local reduce riscul furtului de informații cu caracter personal – inclusiv datele personale de sănătate. Han oferă ceasuri inteligente cu MCUN care nu numai că simt bătăile inimii, tensiunea arterială și nivelurile de oxigen, dar le analizează și le ajută să înțeleagă aceste informații. MCUNet poate aduce, de asemenea, instrucțiuni detaliate despre dispozitivele IoT vehiculelor și zonelor rurale cu acces limitat la internet.

În plus, amprenta subțire a computerului MCUNet se traduce printr-o amprentă subțire de carbon. „Marele nostru vis este pentru AI verde”, spune Han, adăugând că antrenarea unei rețele neuronale mari ar putea arde echivalentul de carbon cu emisiile pe viață ale a cinci mașini. MCUNet într-un microcontroler ar necesita o mică parte din această energie. „Obiectivul nostru final este de a permite o AI eficientă, mică, cu mai puține resurse de calcul, mai puține resurse umane și mai puține date”, spune Han.

Referință: „MCUNet: Tiny Deep Learning on IoT Devices” de Ji Lin, Wei-Ming Chen, Yujun Lin, John Cohn, Chuang Gan și Song Han, 20 iulie 2020, Informatică> Model de recunoaștere a viziunii și modelelor.
arXiv: 2007.10319

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Modelul demonstrează similitudini în modul în care studiază oamenii și insectele

Modelul de calcul demonstrează similaritatea în cunoașterea împrejurimilor oamenilor și insectelor. Potrivit unui nou studiu de la Universitatea din Sussex, care arată cum oamenii pot...

Cum am creat „furtuna perfectă” pentru evoluția și transmiterea bolilor infecțioase, cum ar fi COVID-19

Potrivit unui cercetător de la Universitatea din Anglia de Est, în majoritatea modurilor noastre, „furtuna perfectă” a fost creată pentru evoluția și transmiterea bolilor...

„Adezivul molecular” crește eficiența și face ca celulele solare perovskite să devină mult mai fiabile în timp

Cercetătorii au folosit „adeziv molecular” auto-asamblat monostrat pentru a consolida interfețele din celulele solare perovskite pentru a le face mai eficiente, stabile și fiabile....

Pastele plate sunt atât de avansate încât se formează în morfuri atunci când sunt fierte

Laboratorul CMU gestionează producția de paste, care își schimbă forma pe măsură ce gătește. Credit: Universitatea Carnegie Mellon Pastele plate ambalate creează ambalare, transport...

Oamenii de știință ai undelor gravitaționale Excelentă nouă metodă de rafinare a constantei Hubble – expansiunea și vârsta universului

O ilustrare a artistului unei perechi unificate de stele neutronice. Credit: Carl Knox, Universitatea OzGrav-Swinburne O echipă de oameni de știință internaționali, condusă de...

Newsletter

Subscribe to stay updated.