Folosirea inteligenței artificiale pentru a genera holograme 3D în timp real pe un smartphone

Cercetătorii MIT au dezvoltat o modalitate de a produce holograme aproape instantaneu. Ei spun că metoda de învățare profundă este la fel de eficientă pe cât poate funcționa pe un smartphone. Credit: Imagine: Știri MIT, cu imagini de la iStockphoto

O nouă metodă numită holografie tensorială poate permite crearea de holograme pentru realitate virtuală, imprimare 3D, imagini medicale și multe altele – și poate funcționa pe un smartphone.

În ciuda anilor de hype, căștile de realitate virtuală nu au răsturnat încă ecranele televizorului sau computerului ca principalele dispozitive de vizionare video. Unul dintre motive: VR poate face utilizatorii să se simtă rău. Amestecul și oboseala ochilor pot rezulta deoarece VR creează iluzia vizualizării 3D, chiar dacă utilizatorul se uită de fapt la un ecran 2D cu distanță fixă. Soluția pentru o mai bună vizualizare 3D poate sta într-un remake al lumii digitale vechi de 60 de ani: holograme.

Hologramele oferă o reprezentare extraordinară a lumii 3D din jurul nostru. În plus, sunt frumoase. (Mergeți mai departe – priviți porumbelul holografic de pe cardul dvs. Visa.) Hologramele oferă o perspectivă schimbătoare bazată pe poziția spectatorului și permit ochiului să regleze profunzimea focală pentru a se concentra în prim-plan și fundal.

Cercetătorii au căutat mult timp să producă holograme generate de computer, dar procesul a cerut în mod tradițional ca un supercomputer să fie transformat în simulări de fizică care necesită timp și pot produce rezultate mai puțin decât fotorealiste. Acum, cu Cercetătorii au dezvoltat o nouă modalitate de a produce holograme aproape instantaneu – iar metoda de învățare profundă este atât de eficientă încât poate funcționa pe un laptop într-o clipită, spun cercetătorii.

Demonstrație experimentală a proiecției holografice 2D și 3D

Această figură arată demonstrația experimentală a proiecției holografice 2D și 3D. Imaginea din stânga este centrată pe jucăria mouse-ului (în caseta galbenă) cea mai apropiată de cameră, iar imaginea din dreapta este centrată pe calendarul permanent de birou (în caseta albastră). Credit: Amabilitatea savanților

„Oamenii obișnuiau să creadă că, cu echipamentele existente la scară pentru consumatori, era imposibil să se facă calcule 3D în timp real pentru holografie”, a spus Liang Shi, autor principal al studiului și doctorand în cadrul Departamentului de Inginerie Electrică și Științe Calculatoare al MIT. ). „S-a spus adesea că afișajele holografice disponibile în comerț vor avea aproximativ 10 ani, însă această afirmație există de zeci de ani.”

Shi crede că noua abordare, pe care echipa o numește „holografie tensorială”, va aduce în cele din urmă acel obiectiv evaziv de 10 ani la îndemână. Avantajul poate alimenta o răspândire a holografiei în domenii precum imprimarea VR și 3D.

Shi a lucrat pentru studiu, publicat în 10 martie 2021, în Natură, alături de consilierul și coautorul său, Wojciech Matusik. Alți coautori includ CEES Beichen Li și Laboratorul de științe informatice și inteligență artificială de la MIT, precum și foști cercetători MIT Changil Kim (acum pe Facebook) și Petr Kellnhofer (acum la Universitatea Stanford).

Căutarea unui 3D mai bun

O fotografie tipică bazată pe lentile codifică strălucirea fiecărei unde de lumină – o fotografie poate reproduce fidel culorile unei scene, dar oferă în cele din urmă o imagine plană.

În contrast, o hologramă codifică luminozitatea și faza fiecărei unde luminoase. Această combinație oferă o descriere mai realistă a paralelei și profunzimii unei scene. Așadar, în timp ce o fotografie a „Nuferilor” lui Monet poate evidenția paleta de culori a picturilor, o hologramă poate aduce viața lucrării, dând structura 3D unică a fiecărei lovituri de perie. Dar, în ciuda realismului lor, hologramele sunt o provocare de făcut și de împărtășit.

Dezvoltate pentru prima dată la mijlocul anilor 1900, hologramele timpurii au fost înregistrate optic. Acest lucru a necesitat separarea unui fascicul laser, cu jumătate din fasciculul folosit pentru iluminarea subiectului și cealaltă jumătate folosită ca referință pentru faza undelor luminoase. Această referință generează sentimentul unic de hologramă de profunzime. Imaginile rezultate erau statice, deci nu puteau capta mișcarea. Și erau doar pe hârtie, făcându-le dificil de reprodus și împărtășit.

Holografia generată de computer evită aceste provocări prin simularea configurației optice. Dar procesul poate fi un slogan de calcul. „Deoarece fiecare punct de pe scenă are o adâncime diferită, nu puteți aplica aceleași operații tuturor”, spune Shi. “Acest lucru mărește semnificativ complexitatea.” Rularea unui supercomputer asamblat pentru a executa aceste simulări bazate pe fizică poate dura câteva secunde sau minute pentru o singură imagine holografică. În plus, algoritmii existenți nu modelează ocluzia cu precizie fotorealistă. Astfel, echipa lui Shi a adoptat o abordare diferită: lăsând computerul să învețe fizica de la sine.

Au folosit o învățare aprofundată pentru a accelera holografia generată de computer, permițând generarea de holograme în timp real. Echipa a creat o rețea neuronală convoluțională – o tehnică de procesare care utilizează un lanț de tensori antrenabili pentru a imita aproximativ modul în care oamenii procesează informațiile vizuale. Antrenarea unei rețele neuronale necesită de obicei un set mare de date de înaltă calitate, care nu existau anterior pentru holograme 3D.

Echipa a construit o bază de date personalizată de 4.000 de perechi de imagini generate de computer. Fiecare pereche se potrivește cu o imagine – inclusiv informații despre culoare și adâncime pentru fiecare pixel – cu holograma sa corespunzătoare. Pentru a crea holograme în noua bază de date, cercetătorii au folosit scene cu forme și culori complexe și variabile, cu adâncimi de pixeli distribuite uniform de la fundal la prim-plan și o nouă serie de calcule bazate pe fizică pentru tratarea ocluziei. Această abordare a dus la date de formare fotorealistă. Apoi, algoritmul a început să funcționeze.

Învățând din fiecare pereche de imagini, grila tensorială a modificat parametrii calculelor sale, sporind succesiv capacitatea sa de a crea holograme. Rețeaua complet optimizată funcționează pe o dimensiune personalizată mai rapidă decât calculele bazate pe fizică. Această eficiență a surprins echipa în sine.

„Suntem uimiți de cât de bine se comportă”, spune Matusik. În doar milisecunde, holografia tensorială poate crea holograme din imagini în profunzime – care sunt furnizate de imagini tipice generate de computer și pot fi calculate dintr-o configurație multi-cameră sau senzor LiDAR (ambele standard pe unele smartphone-uri). Tinere). Această descoperire deschide calea pentru holografie 3D în timp real. Mai mult, rețeaua de compensare a tensiunii necesită mai puțin de 1 MB de memorie. „Puțin neglijabil, având în vedere zecile de sute de gigaocteți disponibili pe cel mai recent telefon”, spune el.

Căutarea „arată că afișajele holografice 3D adevărate sunt practice, cu cerințe de calcul moderate”, spune Joel Collin, arhitect optic de frunte la Microsoft care nu a fost implicat în căutare. El adaugă că „această lucrare arată o îmbunătățire semnificativă a calității imaginii față de lucrarea anterioară”, ceea ce va „adăuga realism și confort privitorului”. Collin sugerează, de asemenea, posibilitatea ca afișajele holografice de acest gen să se potrivească chiar și prescripției oftalmice a unui spectator. „Ecranele holografice pot corecta abaterile oculare. Acest lucru face posibil ca o imagine de ecran să fie mai clară decât ceea ce utilizatorul ar putea vedea cu contacte sau ochelari, care se corectează doar pentru abaterile de ordin scăzut, cum ar fi focalizarea și astigmatismul. “

„Un pas considerabil”

Holografia 3D în timp real ar îmbunătăți o varietate de sisteme, de la VR la imprimarea 3D. Echipa spune că noul sistem poate ajuta scufundarea spectatorilor VR în vizualizări mai realiste, eliminând în același timp oboseala ochilor și alte efecte secundare ale utilizării VR pe termen lung. Tehnologia poate fi implementată cu ușurință pe ecrane care modulează faza undelor luminoase. În prezent, cele mai accesibile ecrane pentru consumatori modulează doar luminozitatea, deși costul ecranelor cu modulare de fază va scădea dacă va fi adoptat pe scară largă.

Cercetătorii spun că holografia tridimensională poate stimula dezvoltarea imprimării volumetrice 3D. Această tehnologie se poate dovedi mai rapidă și mai precisă decât tipărirea tradițională strat cu strat 3D, deoarece imprimarea volumetrică 3D permite proiecția simultană a întregului model 3D. Alte aplicații includ microscopia, vizualizarea datelor medicale și modelarea suprafețelor cu proprietăți optice unice.

„Este un pas semnificativ care poate schimba complet atitudinea oamenilor față de holografie”, spune Matusik. „Simțim că rețelele neuronale s-au născut pentru această sarcină”.

Referință: „Către holografie fotorealistă în timp real 3D cu rețele neuronale profunde” de Liang Shi, Beichen Li, Changil Kim, Petr Kellnhofer și Wojciech Matusik, 10 martie 2021, Natură.
DOI: 10.1038 / s41586-020-03152-0

Site-ul proiectului: Tensor Holography

Lucrarea a fost susținută, în parte, de Sony.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Nanofibrele centrifugale multifuncționale pun un nou efect asupra măștilor COVID-19

Figura (A) Ilustrația schematică a procesului de producție a nanofibrelor polimerului centrifug polimer multispinning. (B) Nanofibrele polimerice sunt rotite de sistem. O...

Arheologii găsesc dovezi din monumentele de câini domestici din Peninsula Arabică Antică

Situat în regiunea tărâmurilor Alula, în nord-vestul Arabiei Saudite, acest cimitir este acum rar construit pe pământ pentru Arabia Neolitică-Calcolitică și este un ajutor...

Pe măsură ce straturile de gheață s-au topit, nivelul mării a crescut până la 18 metri

Se știe că creșterea nivelului mării datorită schimbărilor climatice este o amenințare majoră. Noile cercetări au arătat că evenimentele anterioare de pierdere a...

Oamenii de știință identifică genele umane care luptă împotriva infecției cu SARS-CoV-2

Vedere microscopică a coronavirusului. Credit: Yeti punctat Cercetările indică controlul genelor care stimulează interferonul SARS-CoV-2 Copie Oamenii de știință de la Sanford Burnham Prebis au...

Noua tehnică „Mașina timpului” dezvăluită pentru măsurarea celulei

Celulele dendritice (roșii / verzi co-colorate) într-un folicul limfoid (fragment de peyer) drenează intestinul (albastru). Credit: Wang Cao și Shengbo Zhang, WEHI Utilizând o...

Newsletter

Subscribe to stay updated.