Folosirea inteligenței artificiale pentru a îmbunătăți modul de organizare a videoclipurilor

Netra folosește inteligența artificială pentru a ajuta companiile să înțeleagă și să își organizeze conținutul video. Credit: Christine Daniloff, MIT

Netra, cofondată de Shashi Kant SM ’06, folosește inteligența artificială pentru a ajuta companiile să clasifice și să gestioneze conținutul video.

În orice moment, multe mii de videoclipuri noi sunt postate pe site-uri precum YouTube, TikTok și Instagram. Un număr din ce în ce mai mare de videoclipuri sunt înregistrate și transmise în direct. Dar companiile de tehnologie și mass-media încă încearcă să-și dea seama ce se întâmplă în tot acest conținut.

acum cu fondat de Aluminium Netra utilizează inteligența artificială pentru a îmbunătăți analiza la scară video. Sistemul companiei poate identifica activități, obiecte, emoții, locații și multe altele pentru a organiza și securiza contextul video în moduri noi.

Companiile folosesc soluția Netra pentru a grupa conținut similar în segmente mainstream sau de știri, pentru a semnaliza nuditatea și violența și pentru a îmbunătăți plasarea publicitară. În publicitate, Netra ajută videoclipurile să fie asociate cu reclame relevante, astfel încât mărcile să se îndepărteze de urmărirea persoanelor, ceea ce a condus la probleme de confidențialitate.

„Industria, în ansamblu, se îndreaptă spre publicitatea bazată pe conținut, sau ceea ce ei numesc publicitate afiliată, și se îndepărtează de urmărirea bazată pe cookie, bazată pe pixeli, care a fost întotdeauna un fel de plictisitoare”, au declarat Netra și CTO Shashi Kant SM 06 spune

Netra crede, de asemenea, că îmbunătățește căutarea conținutului video. Odată ce videoclipurile sunt procesate de sistemul Netra, utilizatorii pot începe o căutare cu un cuvânt cheie. De acolo, ei pot da clic pe rezultate pentru a vizualiza conținut similar și pentru a găsi evenimente din ce în ce mai specifice.

De exemplu, sistemul Netra poate procesa videoclipuri valoroase ale unui sezon de baseball și îi poate ajuta pe utilizatori să găsească toate single-urile. Dând clic pe anumite emisiuni pentru a vedea mai multe ca acestea, pot găsi, de asemenea, toate single-urile care erau aproape în afara celor care i-au determinat pe fani să se înveselească furios.

„Videoclipul este de departe cea mai mare sursă de informații”, spune Kant. „El ridică textul în funcție de ordinele de mărime în ceea ce privește bogăția și dimensiunea informațiilor, dar nimeni nu l-a atins cu căutarea. „Este cel mai alb spațiu”.

Urmărirea unei viziuni

Pionierul internetului și profesor MIT Sir Tim Berners-Lee a lucrat mult timp pentru a îmbunătăți capacitatea mașinilor de a da sens datelor online. Kant a cercetat sub conducerea lui Berners-Lee ca student absolvent și a fost inspirat de viziunea sa de a îmbunătăți modul în care informațiile sunt stocate și utilizate de mașini.

„Sfântul Graal pentru mine este o nouă paradigmă în regăsirea informațiilor”, spune Kant. „Simt că căutarea pe internet este încă 1.0. Chiar și Google este 1.0. Aceasta a fost viziunea inițiativei semantice online a lui Sir Tim Berners-Lee și asta am câștigat din această experiență. “

Kant a fost, de asemenea, membru al echipei câștigătoare la Concursul de antreprenoriat MIT 100.000 USD (MIT 50.000 USD atunci). El a ajutat la scrierea codului computerului pentru o soluție numită Active Joint Brace, care era un dispozitiv ortetic electromecanic pentru persoanele cu dizabilități.

După absolvirea în 2006, Kant a început o companie care utilizează AI în soluția sa numită Cognika. AI avea încă o reputație proastă de suprapunere, astfel încât Kant ar folosi termeni precum calculul cognitiv atunci când își va conduce compania către investitori și clienți.

Kant a lansat Netra în 2013 pentru a utiliza AI pentru analiza video. În zilele noastre, el trebuie să se ocupe de capătul opus al spectrului hype, atât de mulți începători susținând că folosesc AI în soluția lor.

Netra încearcă să găzduiască hype cu demonstrații ale sistemului său. Netra poate analiza rapid videoclipuri și poate organiza conținut pe baza a ceea ce se întâmplă în diferite clipuri, inclusiv scene în care oamenii fac lucruri similare, exprimă emoții similare, folosesc produse similare și așa mai departe. Analiza Net analizează metadatele pentru diferite scene, dar Kant spune că sistemul Net oferă mult mai mult decât etichetarea cuvintelor cheie.

„Cu ce ​​lucrăm sunt încorporarea”, explică Kant, referindu-se la modul în care sistemul său clasifică conținutul. „Dacă există o scenă în care cineva lovește o fugă acasă, există o anumită semnătură și creăm o integrare pentru asta. O încorporare este o secvență de numere sau un „vector”, care surprinde esența unui conținut. Etichetele sunt doar reprezentări care pot fi citite de om. Deci, vom instrui un model care dezvăluie tot jogging-ul acasă, dar sub acoperire există o rețea neuronală, care creează o încorporare a acelui videoclip și care diferențiază scena în alte moduri de o plimbare sau o plimbare. . “

Prin definirea relațiilor dintre diferite clipuri, sistemul Netra permite clienților să organizeze și să caute conținutul lor în moduri noi. Companiile media pot determina cele mai incitante momente ale evenimentelor sportive pe baza emoțiilor fanilor. De asemenea, pot grupa conținut după subiect, locație sau dacă clipurile conțin sau nu conținut sensibil sau deranjant.

Aceste abilități au implicații majore pentru publicitatea online. O companie de publicitate care reprezintă un brand precum compania de îmbrăcăminte în aer liber Patagonia poate utiliza sistemul Netra pentru a plasa reclame Patagonia lângă conținut pentru mers. Companiile media pot oferi mărcilor precum Nike spațiu publicitar în jurul unor clipuri sponsorizate pentru sportivi.

Aceste abilități îi ajută pe agenții de publicitate să respecte noile reguli de confidențialitate la nivel mondial care impun restricții privind colectarea datelor pentru persoane, în special pentru copii. Direcționarea anumitor grupuri de persoane cu reclame și urmărirea lor online a devenit, de asemenea, controversată.

Kant consideră că motorul NetI AI este un pas înainte în a oferi consumatorilor mai mult control asupra datelor lor, o idee susținută de Berners-Lee.

„Nu este implementarea muncii mele CSAIL, dar aș spune că ideile conceptuale pe care le urmăream la CSAIL vin prin soluția Netra”, spune Kant.

Transformarea modului în care sunt stocate informațiile

Netra numără în prezent unele dintre cele mai mari companii media și de publicitate din țară drept clienți. Kant crede că sistemul Net într-o zi poate ajuta pe oricine să caute și să organizeze oceanul în creștere al conținutului video online. În acest scop, el vede că soluția Netra continuă să evolueze.

„Căutarea nu s-a schimbat prea mult de când a fost inventat web 1.0”, spune Kant. “În acest moment există o mulțime de cercetări bazate pe linkuri. În opinia mea, linkurile sunt învechite. Nu doriți să vizitați diferite documente. Doriți informații din acele documente adunate în ceva contextual și personalizat, inclusiv numai informații de care aveți nevoie” .

Kant consideră că o astfel de contextualizare ar îmbunătăți foarte mult modul în care informațiile sunt organizate și partajate pe internet.

„Este vorba despre dependență tot mai mică de cuvinte cheie și tot mai mult de exemple”, explică Kant. „De exemplu, în acest videoclip, dacă Shashi face o declarație, este pentru că este o piesă mică sau există mai multe? Imaginați-vă un sistem care ar putea spune: „Acest alt om de știință a spus ceva similar pentru a justifica această afirmație și acest om de știință a răspuns în mod similar la această întrebare”. Pentru mine, genul acesta de lucruri reprezintă viitorul regăsirii informațiilor și aceasta este pasiunea vieții mele. De aceea am venit la MIT. De aceea, am petrecut un deceniu și jumătate din viața mea luptând cu această bătălie AI, și asta voi continua să fac. “

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Inginerii dezvoltă o nouă tehnologie de tratare a apei care ar putea ajuta și exploratorii Marte

Un catalizator care distruge percloratul din apă poate curăța solul marțian. O echipă condusă de ingineri de la Universitatea din California Riverside a dezvoltat un...

Dezechilibrul energetic al Pământului s-a dublat

Faceți clic pe imaginea pentru a anima: Comparația estimărilor anuale suprapuse la intervale de 6 luni ale fluxului anual net de energie în atmosfera...

Modul în care celulele folosesc „pungile pentru gunoi” pentru a-și transporta deșeurile de reciclare

Descoperirile pot avea implicații importante pentru înțelegerea bolilor legate de vârstă. Oamenii de știință de la Sanford Burnham Prebys au obținut o perspectivă mai profundă...

Cercetătorii iau distribuția cheii cuantice din laborator

Dovezile pe teren arată că simpla funcționare a sistemului DCC cu rețeaua de telecomunicații existentă în Italia. Într-un nou studiu, cercetătorii au demonstrat un sistem...

Știința simplificată: ce sunt rețelele cuantice?

din Departamentul Energiei din SUA 17 iunie 2021 Părțile interesate din guvern, laboratoare naționale, universități și industrie s-au alăturat DOE Internet Quantum Project Workshop pentru a...

Newsletter

Subscribe to stay updated.