Inginerii folosesc AI pentru a învăța roboții să facă expresii faciale umane reactive adecvate

Robotul zâmbește din nou: Eva imită expresiile faciale umane în timp real de la o cameră video în direct. Întregul sistem este predat fără etichete umane. Eva învață două abilități esențiale: 1) prezicerea a ceea ce ar arăta dacă ar face o expresie facială observatoare, cunoscută sub numele de imagine de sine; 2) atrage-i fața imaginară către acțiuni fizice. Credit: Columbia Creative Machinery / Laboratorul de inginerie

În timp ce expresiile noastre faciale joacă un rol important în consolidarea încrederii, majoritatea roboților au încă un aspect inactiv și static al unui jucător profesionist de poker. Odată cu utilizarea tot mai mare a roboților în locuri în care roboții și oamenii trebuie să lucreze strâns, de la case de îngrijire medicală la depozite și fabrici, nevoia unui robot mai receptiv, în mod realist în față, crește mai urgent.

Interesați mult timp de interacțiunile dintre roboți și oameni, cercetătorii de la Laboratorul de mașini creative de la Columbia Engineering au lucrat timp de cinci ani pentru a crea EVA, un nou robot autonom cu o față moale și expresivă, care răspunde la expresiile umane din apropiere. Cercetarea va fi prezentată la conferința ICRA din 30 mai 2021, iar planurile robotului sunt open source pe Hardware-X (aprilie 2021).

„Ideea pentru EVA s-a format în urmă cu câțiva ani, când eu și studenții mei am început să observăm că roboții din laboratorul nostru se holbau la noi prin ochi de plastic, googly”, au declarat Hod Lipson, James și Sally Scapa, profesor de inovație (inginerie) . Mecanică) și directorul Laboratorului de mașini creative.

Eva practică expresii faciale ocazionale

Proces de colectare a datelor: Eva practică expresii faciale aleatorii, înregistrând cum arată de la camera frontală. Credit: Columbia Creative Machinery / Laboratorul de inginerie

Lipson a observat o tendință similară în magazinul alimentar, unde a întâlnit roboți umpluți cu etichete de nume și, odată, a fost împodobit cu un capac confortabil, tricotat manual. “Oamenii păreau să-și umanizeze omologii robotici dându-le ochi, o identitate sau un nume”, a spus el. „Ne-a făcut să ne întrebăm, dacă ochii și îmbrăcămintea funcționează, de ce să nu facem un robot care să aibă o față umană super-expresivă și responsabilă?”

Deși acest lucru sună simplu, crearea unei fețe robotice convingătoare a fost o provocare majoră pentru robotică. Timp de zeci de ani, părțile corpului robotizate au fost realizate din metal sau plastic solid, materiale care erau prea rigide pentru a curge și a se mișca ca și țesutul uman. Hardware-ul robotizat a fost la fel de grosolan și dificil de lucrat – circuitele, senzorii și motoarele sunt grele, consumatoare de energie și grele.

Prima fază a proiectului a început în laboratorul Lipson în urmă cu câțiva ani, când studentul universitar Zanwar Faraj a condus o echipă de studenți în construirea „utilajului” fizic al robotului. Ei au construit EVA ca un bust fără corp, care are o asemănare puternică cu interpreții silențioși, dar animați, ai Blue Man Group. EVA poate exprima cele șase emoții de bază ale furiei, dezgustului, fricii, bucuriei, tristeții și surprize, precum și o serie de emoții mai nuanțate, folosind „mușchi” artificiali (adică cabluri și motoare) care atrag puncte specifice pe EVA față. mimând mișcările a peste 42 de mușchi mici uniți în diferite puncte de pe piele și oasele fețelor umane.

“Cea mai mare provocare în crearea EVA a fost proiectarea unui sistem destul de compact pentru a se încadra în limitele craniului uman, în timp ce acesta era încă suficient de funcțional pentru a produce o gamă largă de expresii faciale”, a remarcat Faraj.

Pentru a depăși această provocare, echipa s-a bazat foarte mult pe imprimarea 3D pentru a produce piese cu forme complexe care s-au integrat perfect și eficient cu craniul EVA. După câteva săptămâni de tragere a cablurilor pentru a-i face pe EVA să zâmbească, să se încrunte sau să arate supărat, echipa a observat că fața albastră discretă a EVA ar putea provoca răspunsuri emoționale de la colegii lor de laborator. „Mă gândeam la afacerea mea într-o zi, când EVA mi-a dat brusc un zâmbet mare și prietenos”, își amintește Lipson. „Știam că este pur mecanic, dar m-am trezit refuzând să zâmbesc”.

Odată ce echipa a fost mulțumită de „mecanica” EVA, au început să abordeze a doua fază majoră a proiectului: programarea inteligenței artificiale care va direcționa mișcările feței EVA. În timp ce roboții animatronici vibranți sunt folosiți în parcuri tematice și studiouri de film de ani de zile, echipa Lipson a făcut două progrese tehnologice. EVA folosește inteligența artificială a învățării profunde pentru a „citi” și apoi a reflecta expresiile de pe fețele umane din apropiere. Și capacitatea EVA de a imita o gamă largă de expresii faciale umane diferite se învață din încercări și erori, urmărind videoclipurile.

Cele mai dificile activități umane de automatizat includ mișcări fizice nerepetitive care apar în medii sociale complexe. Boyuan Chen, doctorand la Lipson, care a condus faza software a proiectului, a realizat rapid că mișcările feței EVA erau un proces foarte complex care trebuie guvernat de seturi de reguli predefinite. Pentru a aborda această provocare, Chen și o a doua echipă de studenți au creat creierul EVA folosind mai multe rețele neuronale Deep Learning. Creierul robot a trebuit să posede două abilități: În primul rând, să învețe să-și folosească sistemul muscular complex mecanic pentru a genera orice expresie facială anume și, în al doilea rând, să știe ce fețe să devină „citind” fețele oamenilor.

Pentru a învăța EVA cum arăta chipul ei, Chen și echipa au filmat ore întregi de înregistrări EVA realizând o serie de fețe aleatorii. Apoi, în timp ce un bărbat se uita la Zoom, rețelele neuronale interioare ale EVA au învățat să combine mișcarea musculară cu filmările video ale feței ei. Acum că EVA avea un sentiment primitiv al modului în care funcționa chipul ei (cunoscut sub numele de „imagine de sine”), ea a folosit o a doua grilă pentru a-și potrivi imaginea cu imaginea unui chip uman capturat pe camera video. După mai multe rafinamente și repetări, EVA a câștigat abilitatea de a citi gesturile faciale ale omului de la o cameră și de a răspunde reflectând expresia feței acestui bărbat.

Cercetătorii observă că EVA este un experiment de laborator și doar mimica este încă departe de modurile complexe în care oamenii comunică folosind expresii faciale. Dar astfel de tehnologii de abilitare pot avea într-o zi aplicații utile, în lumea reală. De exemplu, roboții capabili să răspundă la o mare varietate de limbaj al corpului uman ar fi utile la locurile de muncă, spitale, școli și case.

“Există o limită a cât de mult, noi oamenii, putem interacționa emoțional cu chatbots bazate pe cloud sau boxe inteligente fără adăpost”, a spus Lipson. „Creierele noastre par să răspundă bine roboților care au un fel de prezență fizică cunoscută”.

Chen a adăugat: „Roboții sunt împletiți în viața noastră într-un număr tot mai mare de moduri, astfel încât creșterea încrederii între oameni și mașini este din ce în ce mai importantă.”

Referințe:

„Zâmbește de înțeles: rulează o față robotică animatronică cu modele învățate” de Boyuan Chen, Yuhang Hu, Lianfeng Li, Sara Cummings și Hod Lipson, 26 mai 2021 Informatică> Robotică.
arXiv: 2105.12724

„Expresii faciale umanoide robotizate” de Zanwar Faraj, Mert Selamet, Carlos Morales, Patricio Torres, Maimuna Hossain, Boyuan Chen și Hod Lipson, 12 iunie 2020, HardwareX.
DOI: 10.1016 / j.ohx.2020.e00117

Studiul a fost susținut de National Science Foundation NRI 1925157 și DARPA Programul MTO Grant L2M HR0011-18-2-0020.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Inginerii dezvoltă o nouă tehnologie de tratare a apei care ar putea ajuta și exploratorii Marte

Un catalizator care distruge percloratul din apă poate curăța solul marțian. O echipă condusă de ingineri de la Universitatea din California Riverside a dezvoltat un...

Dezechilibrul energetic al Pământului s-a dublat

Faceți clic pe imaginea pentru a anima: Comparația estimărilor anuale suprapuse la intervale de 6 luni ale fluxului anual net de energie în atmosfera...

Modul în care celulele folosesc „pungile pentru gunoi” pentru a-și transporta deșeurile de reciclare

Descoperirile pot avea implicații importante pentru înțelegerea bolilor legate de vârstă. Oamenii de știință de la Sanford Burnham Prebys au obținut o perspectivă mai profundă...

Cercetătorii iau distribuția cheii cuantice din laborator

Dovezile pe teren arată că simpla funcționare a sistemului DCC cu rețeaua de telecomunicații existentă în Italia. Într-un nou studiu, cercetătorii au demonstrat un sistem...

Știința simplificată: ce sunt rețelele cuantice?

din Departamentul Energiei din SUA 17 iunie 2021 Părțile interesate din guvern, laboratoare naționale, universități și industrie s-au alăturat DOE Internet Quantum Project Workshop pentru a...

Newsletter

Subscribe to stay updated.