Codul de optimizare crește performanța de 5 ori

Tehnologia dezvoltată printr-o colaborare condusă de KAUST cu Intel, Microsoft și Universitatea din Washington poate crește dramatic viteza de învățare automată în sistemele de calcul paralele. Credit: © 2021 KAUST; Anastasia Serin

Optimizarea comunicării în rețea accelerează instruirea pe modele mari de învățare automată.

Implementarea unui cod ușor de optimizat pe echipamentele de rețea de mare viteză a permis unei colaborări conduse de KAUST să crească de cinci ori viteza de învățare automată în sistemele de calcul paralele.

Această tehnologie de “agregare a rețelei”, dezvoltată împreună cu cercetătorii de sisteme și arhitecții de la Intel, Microsoft și Universitatea din Washington, poate oferi îmbunătățiri dramatice ale vitezei utilizând hardware-ul de rețea programabil disponibil.

Beneficiul fundamental al inteligenței artificiale (AI) care îi conferă atât de multă putere de a „înțelege” și de a interacționa cu lumea este pasul de învățare automată, în care modelul este instruit folosind seturi mari de date de formare etichetate. Cu cât mai multe date sunt instruite cu AI, cu atât este mai bine să realizeze modelul atunci când este expus la noi intrări.

Explozia recentă a aplicațiilor AI se datorează în principal învățării automate mai bune și utilizării unor modele mai mari și a unor seturi de date mai diverse. Cu toate acestea, efectuarea de calcule de învățare automată este o sarcină extrem de impozabilă, care se bazează tot mai mult pe matrice mari de computere care rulează algoritmul de învățare în paralel.

„Cum să instruiți modele de învățare aprofundată la scară largă este o problemă foarte provocatoare”, spune Marco Canini de la echipa de cercetare KAUST. „Modelele AI pot consta în miliarde de parametri și putem folosi sute de procesoare care trebuie să funcționeze eficient în paralel. În astfel de sisteme, comunicarea între procesoare în timpul actualizărilor incrementale a modelului devine cu ușurință o constrângere majoră de performanță. “

Echipa a găsit o posibilă soluție la noua tehnologie de rețea dezvoltată de Barefoot Networks, o divizie Intel.

„Folosim noul hardware programabil de rețea pentru avioane Barefoot Networks pentru a descărca o parte din munca efectuată în timpul instruirii de livrare a învățării automate”, explică Amedeo Sapio, un student KAUST care de atunci s-a alăturat echipei. Barefoot Networks la Intel. „Folosirea acestui nou hardware de rețea programabil, mai degrabă decât a rețelei, pentru a muta datele înseamnă că putem efectua calcule de-a lungul căilor de rețea.”

Principala inovație a platformei SwitchML a echipei este de a permite hardware-ului de rețea să îndeplinească sarcina de colectare a datelor la fiecare pas de sincronizare în timpul fazei de actualizare a modelului procesului de învățare automată. Această descărcare nu numai că face parte din sarcina de calcul, dar reduce și semnificativ cantitatea de transmitere a datelor.

„Deși programul de separare a datelor poate efectua operațiuni foarte repede, operațiunile pe care le poate efectua sunt limitate”, spune Canini. „Așadar, soluția noastră trebuia să fie suficient de simplă pentru hardware și totuși suficient de flexibilă pentru a rezolva provocări precum capacitatea limitată a memoriei la bord. SwitchML abordează această provocare prin co-proiectarea rețelei de comunicații și a algoritmului de instruire distribuită, realizând o accelerare de până la 5,5 ori în comparație cu cea mai recentă abordare. ”

Referință: „Scattering of Distributed Machine Learning with Network Collection” de Amedeo Sapio, Marco Canini, Chen-Yu Ho, Jacob Nelson, Panos Kalnis, Changhoon Kim, Arvind Krishnamurthy, Masoud Moshref, Dan Ports și Peter Richtarik, 20 aprilie Al 18-lea Simpozion USENIX privind proiectarea și implementarea sistemelor de rețea (NSDI ’21).
legătură

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Zirconii antici datează începutul tectonicii plăcilor în urmă cu 3,6 miliarde de ani – un eveniment critic pentru a face pământul ospitalier pentru viață

Zirconii examinați de echipa de cercetare, fotografiați cu catodoluminiscență, tehnică cu care echipa a putut vizualiza interiorul cristalelor cu un microscop electronic cu scanare...

Putem face opioidele mai puțin dependente? [Video]

În 2017, milioane de oameni din întreaga lume erau dependenți de opioide și 115.000 au murit din cauza unui supradozaj. Opioidele sunt cele mai puternice...

Măsurile neconvenționale împotriva pandemiei și apărării nucleare pot proteja omenirea de catastrofe catastrofale

Lansarea mânerului SM-3 Block IB de la un crucișător cu rachete ghidate USS Lake Erie (CG 70). Credit: Marina SUA În curând viața pe...

Situl de legare a anticorpilor conservat în variantele de virus COVID-19 – impact mare pentru vaccinurile viitoare

O echipă de cercetare Penn State a descoperit că proteinele N din barza-covi-2 sunt stocate în toate coronavirusurile epidemice legate de îngrășăminte (sus, stânga:...

Mișcări ale electronilor de ceas în interiorul unui atom: viteza obturatorului de o milionime dintr-o miliardime de secundă

Reprezentarea artistică a experimentului. Întârzierea inerentă între emisia celor două tipuri de electroni duce la o elipsă caracteristică în datele analizate. În...

Newsletter

Subscribe to stay updated.