Cum să antrenezi un robot (folosind inteligența artificială și supercomputerele)

Exemple de nori de puncte 3D sintetizați de rețeaua progresivă condiționată de generare a opoziției (PCGAN) pentru o varietate de clase de obiecte. PCGAN generează atât geometrie cât și culoare pentru norii de puncte, nesupravegheați, printr-un proces de reglare completă până la reglare fină. Credit: William Beksi, UT Arlington

Informaticienii UT Arlington folosesc sisteme TACC pentru a genera obiecte sintetice pentru antrenarea roboților.

Înainte de a se alătura Universității Texas din Arlington ca profesor asistent în cadrul Departamentului de Informatică și Inginerie și de a înființa acolo Laboratorul de Viziune Robotică, William Becks a internat la iRobot, cel mai mare producător mondial de roboți de consum (în principal prin vidul robotului său Roomba ).

Pentru a naviga în mediile construite, roboții trebuie să poată înțelege și să ia decizii cu privire la modul de interacțiune cu locația lor. Cercetătorii companiei au fost interesați să folosească mașina și să învețe profund pentru a-și instrui roboții să învețe despre obiecte, dar pentru a face acest lucru este nevoie de un set mare de imagini. În timp ce există milioane de fotografii și videoclipuri ale camerelor, niciuna nu a fost filmată din punctul de vedere al vidului robotizat. Încercările de a instrui utilizarea imaginilor de perspectivă centrate pe om au eșuat.

Cercetările lui Becks se concentrează pe robotică, viziune computerizată și sisteme cibernetice. „În special, sunt interesat să dezvolt algoritmi care să permită mașinilor să învețe din interacțiunile lor cu lumea fizică și să câștige autonom abilitățile necesare pentru a executa sarcini la nivel înalt”, a spus el.

Ani mai târziu, acum cu un grup de cercetare format din șase studenți în informatică doctoranzi, Becks a reamintit problema de formare Roomba și a început să exploreze soluții. O abordare manuală, utilizată de unii, implică utilizarea unei camere scumpe de 360 ​​de grade pentru a captura medii (inclusiv case de închiriat Airbnb) și software personalizat pentru a îmbina imaginile într-un întreg. Dar Becks credea că metoda de captare manuală va fi prea lentă pentru a reuși.

Nori cu puncte 3D sintetizate de o rețea de contorizare a generației de condiționare progresivă

Exemple de nori de puncte 3D sintetizați de o rețea adversară progresivă generatoare condiționată (PCGAN). Credite: William Beksi, Mohammad Samiul Arshad, UT Arlington

În schimb, el s-a uitat la o formă de învățare profundă cunoscută sub numele de rețele generatoare opuse sau GAN-uri, în care două rețele neuronale concurează între ele într-un joc, în timp ce „generatorul” de noi date poate păcăli un „discriminator”. Odată antrenată, o astfel de rețea ar permite crearea unui număr infinit de camere sau medii exterioare posibile, cu diferite tipuri de scaune sau mese sau vehicule cu forme ușor diferite, dar totuși – pentru o persoană și un robot. – obiecte identificabile cu elemente cunoscute dimensiuni și caracteristici.

“Puteți descompune aceste obiecte, le puteți muta în poziții noi, puteți folosi lumini, culori și texturi diferite și le puteți oferi o imagine de antrenament care poate fi utilizată în baza de date”, a explicat el. „Această abordare ar putea furniza date nelimitate pentru a antrena un robot.”

„Proiectarea manuală a acestor facilități ar necesita o cantitate uriașă de resurse și ore de muncă umană, în timp ce, dacă sunt instruite corespunzător, rețelele de generare le pot face în câteva secunde”, a declarat Mohammad Samiul Arshad, un student absolvent din grupul Beksi.

Generarea de obiecte pentru scene sintetice

După câteva eforturi inițiale, Becks și-a dat seama că visul său de a crea scene fotorealiste complete a fost în prezent exclus. „Am făcut un pas înapoi și am analizat cercetările actuale pentru a determina cum să începem la o scară mai mică – prin generarea de obiecte simple în medii”.

Becks și Arshad au introdus PCGAN, prima rețea care generează adversare condiționate pentru a genera puncte colorate dense într-o manieră supravegheată, în Conferința internațională privind viziunea 3D (3DV) în noiembrie 2020. Lucrarea lor, „O rețea progresivă opusă condiționată de generare pentru generarea de nori 3D densi și colorați”, arată că rețeaua lor este capabilă să învețe de la un grup de instruire (derivat din ShapeNetCore, un model de bază de date CAD) și să imite un 3D împrăștiați date pentru a produce nori punctați de culoare cu detalii fine în rezoluții multiple.

“Au existat unele lucrări care ar putea genera obiecte sintetice din aceste seturi de date model CAD”, a spus el. „Dar nimeni nu se poate ocupa încă de culoare”.

Pentru a-și testa metoda într-o varietate de forme, echipa Becks a selectat scaune, mese, canapele, avioane și motociclete pentru experimentul lor. Instrumentul permite cercetătorilor să acceseze un număr aproape infinit de versiuni posibile ale setului de obiecte generate de sistemul de învățare profundă.

„Modelul nostru învață mai întâi structura de bază a unui obiect cu rezoluție mică și se dezvoltă treptat către detalii de nivel înalt”, a explicat el. „Relația dintre părțile obiectului și culorile lor – de exemplu, picioarele scaunului / mesei sunt de aceeași culoare în timp ce scaunul / partea de sus sunt în contrast – se învață și din grilă. Începem mici, lucrăm cu obiecte și construim o ierarhie pentru a crea întreaga generație a scenei sintetice care ar fi extrem de utilă pentru robotică. “

Au generat 5.000 de probe aleatorii pentru fiecare clasă și au efectuat o evaluare folosind o serie de metode diferite. Ei au evaluat atât geometria norilor de puncte, cât și culoarea, folosind o varietate de metrici comune de câmp. Rezultatele lor au arătat că PCGAN este capabil să sintetizeze nori de înaltă calitate pentru un set diferit de clase de obiecte.

Sim2Real

O altă problemă la care lucrează Becks este cunoscută în mod colocvial ca „sim2real”. „Aveți date de antrenament reale și date de antrenament sintetice și pot exista schimbări subtile în modul în care un sistem AI sau un robot învață de la ei”, a spus el. „„ Sim2real ”analizează modul de cuantificare a acestor modificări și de a face simulările mai realiste prin captarea fizicii acelei scene – frecare, coliziune, gravitație – și folosind urmărirea fasciculului sau a fotonilor.”

Următorul pas pentru echipa Becks este de a implementa software-ul pe un robot și de a vedea cum funcționează în raport cu diferența de domeniu sim-to-real.

Formarea modelului PCGAN a fost posibilă prin resursa de învățare aprofundată a TACC, Maverick 2, pe care Becks și studenții săi au putut să o acceseze prin intermediul programului de cercetare cibernetică (UTRC) de la Universitatea din Texas, care oferă resurse computerizate pentru cercetătorii din oricare dintre UT Sistem 14 instituții.

“Dacă doriți să măriți rezoluția pentru a include mai multe puncte și mai multe detalii, această creștere vine cu o creștere a costului de calcul”, a menționat el. „Nu avem aceste resurse hardware în laboratorul meu, așa că a fost esențial să folosim TACC pentru a face acest lucru.”

În plus față de nevoile de calcul, Becks a căutat un spațiu amplu de cercetare. „Aceste seturi de date sunt mari, în special nori de puncte 3D”, a spus el. „Generăm sute de megaocteți de date pe secundă; fiecare nor de puncte este de aproximativ 1 milion de puncte. Pentru aceasta aveți nevoie de o cantitate mare de spațiu de stocare. “

În timp ce Becks spune că domeniul este încă departe de a avea roboți foarte buni, care pot fi autonomi pentru perioade lungi de timp, acest lucru ar aduce beneficii multor domenii, inclusiv asistență medicală, producție și agricultură.

„Publicația este doar un mic pas către obiectivul final de a genera scene de interior sintetice pentru avansarea capabilităților de percepție robotică”, a spus el.

Referință: „O rețea de opoziție condiționată progresivă, generatoare condiționate pentru generarea de nori 3D densi și colorați” de Mohammad Samiul Arshad și William J. Beksi, 12 octombrie 202, Cunoașterea viziunii și a modelului computerizat.
arXiv: 2010.05391
PDF

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Nanofibrele centrifugale multifuncționale pun un nou efect asupra măștilor COVID-19

Figura (A) Ilustrația schematică a procesului de producție a nanofibrelor polimerului centrifug polimer multispinning. (B) Nanofibrele polimerice sunt rotite de sistem. O...

Arheologii găsesc dovezi din monumentele de câini domestici din Peninsula Arabică Antică

Situat în regiunea tărâmurilor Alula, în nord-vestul Arabiei Saudite, acest cimitir este acum rar construit pe pământ pentru Arabia Neolitică-Calcolitică și este un ajutor...

Pe măsură ce straturile de gheață s-au topit, nivelul mării a crescut până la 18 metri

Se știe că creșterea nivelului mării datorită schimbărilor climatice este o amenințare majoră. Noile cercetări au arătat că evenimentele anterioare de pierdere a...

Oamenii de știință identifică genele umane care luptă împotriva infecției cu SARS-CoV-2

Vedere microscopică a coronavirusului. Credit: Yeti punctat Cercetările indică controlul genelor care stimulează interferonul SARS-CoV-2 Copie Oamenii de știință de la Sanford Burnham Prebis au...

Noua tehnică „Mașina timpului” dezvăluită pentru măsurarea celulei

Celulele dendritice (roșii / verzi co-colorate) într-un folicul limfoid (fragment de peyer) drenează intestinul (albastru). Credit: Wang Cao și Shengbo Zhang, WEHI Utilizând o...

Newsletter

Subscribe to stay updated.