Informaticienii creează videoclipuri false care dezvăluie detectoare false de ultimă generație

Sistemele concepute pentru a detecta profunzimile false – videoclipuri care manipulează imagini din viața reală prin inteligență artificială – ar putea fi păcălite, informaticienii au arătat pentru prima dată la conferința WACV 2021, care a avut loc online în perioada 5-9 ianuarie 2021.

Cercetătorii au arătat că detectoarele ar putea fi înfrânte prin introducerea intrărilor numite exemple opuse în fiecare cadru video. Exemplele opuse sunt intrări ușor manipulate care fac ca sistemele de inteligență artificială, cum ar fi modelele de învățare automată, să greșească. În plus, echipa a indicat că atacul funcționează în continuare după ce videoclipurile au fost comprimate.

“Munca noastră arată că atacurile asupra detectoarelor false pot fi o amenințare în lumea reală”, a declarat Shehzeen Hussain, un doctorat. de inginerie informatică la UC San Diego. student și primul coautor la lucrarea WACV. “Cel mai îngrijorător, demonstrăm că este posibil să creăm falsuri puternice în contradictoriu chiar și atunci când un adversar poate să nu fie conștient de funcționarea internă a modelului de învățare automată utilizat de detector.”

În falsificările profunde, fața unui subiect este modificată pentru a crea imagini realiste convingătoare ale evenimentelor care nu s-au întâmplat niciodată. Ca rezultat, detectoarele tipice deepfake se concentrează pe fața din videoclip: mai întâi o urmăresc și apoi transmit datele feței tăiate către o rețea neuronală care determină dacă este adevărată sau falsă. De exemplu, încălcarea ochilor nu se reproduce bine în faringe, astfel încât detectoarele se concentrează asupra mișcărilor ochilor ca modalitate de a face acea determinare. Ultimii detectori Deepfake se bazează pe modele de învățare automată pentru a identifica videoclipuri false.


XceptionNet, un detector fals profund, etichetează ca real un videoclip opus creat de cercetători. Credit: Universitatea din California San Diego

Utilizarea pe scară largă a videoclipurilor false prin intermediul platformelor de socializare a ridicat îngrijorări semnificative în întreaga lume, în special împiedicând credibilitatea mass-media digitale, subliniază cercetătorii. „Dacă atacatorii au unele cunoștințe despre sistemul de detectare, pot proiecta intrări pentru a viza punctele oarbe ale detectorului și să îl ocolească”, a spus Paarth Neekhara, un alt co-autor al ziarului și student la informatică la UC San Diego.

Cercetătorii au creat un exemplu contrastant pentru fiecare față dintr-un cadru video. Dar, deși operațiunile standard, cum ar fi comprimarea și redimensionarea videoclipului, elimină de obicei exemple opuse dintr-o imagine, aceste exemple sunt construite pentru a rezista acestor procese. Algoritmul de atac face acest lucru evaluând pe un set de transformări primite modul în care modelul clasifică imaginile ca fiind reale sau false. De acolo, el folosește această estimare pentru a transforma imaginile în așa fel încât imaginea opusă să rămână eficientă chiar și după compresie și decompresie.

Versiunea modificată a feței este apoi inserată în toate cadrele video. Procesul este apoi repetat pentru toate cadrele din videoclip pentru a crea un videoclip fals. Atacul poate fi aplicat și detectoarelor care funcționează în cadre video complete, spre deosebire de simpla recoltare.

Echipa a refuzat să-și elibereze codul pentru a nu fi folosită de părțile ostile.

Rata mare de succes

Cercetătorii și-au testat atacurile în două scenarii: unul în care atacatorii au acces deplin la modelul detectorului, inclusiv conducta de extracție a feței și arhitectura și parametrii modelului de clasificare; și una în care atacatorii pot pune la îndoială doar modelul de învățare automată pentru a înțelege probabilitatea ca un cadru să fie clasificat drept adevărat sau fals.

În primul scenariu, rata de succes a atacurilor este de peste 99% pentru videoclipurile necomprimate. Pentru videoclipurile comprimate, acesta a fost de 84,96%. În al doilea scenariu, rata de succes a fost de 86,43% la videoclipurile necomprimate și de 78,33% la videoclipurile comprimate. Aceasta este prima lucrare care demonstrează atacuri de succes asupra celor mai noi detectoare Deepfake.

„Pentru a folosi acești detectori falși în practică, susținem că este esențial să îi evaluăm împotriva unui adversar adaptiv care este conștient de aceste apărări și încearcă în mod deliberat să îndepărteze aceste apărări.” scriu cercetători. „Arătăm că stadiul actual al metodelor de artă pentru detectarea fraudelor profunde poate fi ușor ocolit dacă adversarul are cunoștințe complete sau parțiale despre detector.”

Pentru a îmbunătăți detectoarele, cercetătorii recomandă o abordare similară cu ceea ce este cunoscut sub numele de antrenament adversar: în timpul antrenamentului, un adversar adaptiv continuă să genereze noi trucuri care pot ocoli detectorul de ultimă generație; iar detectorul continuă să fie actualizat pentru a detecta noi minciuni.

Opoziția împotriva falsificărilor profunde: evaluarea vulnerabilității detectoarelor de fraude profunde la exemple opuse

* Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar, Departamentul de Inginerie Electrică și Calculatoare, UC San Diego

Paarth Neekhara, Julian McAuley, Departamentul de Informatică și Inginerie, UC San Diego

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Un model agresiv bazat pe piață pentru dezvoltarea energiei de cuplare

Conceptul ARC Fusion Pilot Plant a fost dezvoltat la MIT ca o demonstrație a potențialului magneților supraconductori de temperatură înaltă de a reduce costurile...

Sug este mai important în cercetare decât potrivirea corectă a măștilor de față COVID

O echipă de cercetători care studiază eficacitatea diferitelor tipuri de măști de față a constatat că este cea mai bună protecție împotriva acesteia COVID-19,...

ADN origami folosit pentru monitorizarea direcționării genelor CRISPR

Imagine cu microscopie electronică a brațelor rotorului ADN origami, „L” portocaliu slab atașat la particulele de culoare mov. Credit: Imagine datorită Julene Madariaga...

Tatuaje inteligente OLED: inginerii creează tatuaje care emit lumină

Echipamente pentru tatuaje OLED. Credit: Barsotti - Institutul italian de tehnologie Oamenii de știință de la UCL și IIT -Istituto Italiano di Tecnologia (Institutul...

Modelele lui Moiré facilitează descoperirea unor faze izolatoare noi neașteptate

Formarea modelului moire de către doi faguri în fagure. Credit: Microwave Nano-Electronics Lab, UC Riverside Un studiu condus de UC Riverside a observat faze...

Newsletter

Subscribe to stay updated.