Otkrivanje Deepfake video poziva putem osvjetljenja monitora

Nova suradnja između istraživača iz Agencije za nacionalnu sigurnost (NSA) Sjedinjenih Američkih Država i Kalifornijskog sveučilišta u Berkeleyju nudi novu metodu za otkrivanje deepfake sadržaja u videokontekstu uživo – promatranjem učinka osvjetljenja monitora na izgled osobu s druge strane videopoziva.

Popularni DeepFaceLive korisnik Druuzil Tech & Games isprobava vlastiti model Christiana Balea DeepFaceLaba u sesiji uživo sa svojim pratiteljima, dok se izvori svjetla mijenjaju. Izvor: https://www.youtube.com/watch?v=XPQLDnogLKA

Sustav funkcionira postavljanjem grafičkog elementa na korisnički zaslon koji mijenja uzak raspon svoje boje brže nego što tipični deepfake sustav može odgovoriti – čak i ako, poput implementacije deepfake streaminga u stvarnom vremenu DeepFaceLive (na slici gore), ima neke mogućnosti održavanje prijenosa boja uživo i uzimanje u obzir ambijentalnog osvjetljenja.

Jednaka slika u boji prikazana na monitoru osobe na drugom kraju (tj. potencijalnog prevaranta deepfakea) kruži kroz ograničenu varijaciju promjena nijansi koje su dizajnirane da ne aktiviraju automatsku ravnotežu bijele boje web kamere i druge ad hoc sustavi kompenzacije osvjetljenja, koji bi ugrozili metodu.

Iz rada, ilustracija promjene uvjeta osvjetljenja s monitora ispred korisnika, koji učinkovito djeluje kao difuzno ‘područno svjetlo’. Izvor: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

Teorija koja stoji iza ovog pristupa je da live deepfake sustavi ne mogu na vrijeme odgovoriti na promjene prikazane u grafičkom prikazu na ekranu, povećavajući ‘zaostatak’ deepfake efekta na određenim dijelovima spektra boja, otkrivajući njegovu prisutnost.

Kako bi mogao točno izmjeriti reflektirano svjetlo monitora, sustav mora uzeti u obzir, a zatim odbaciti učinak općeg osvjetljenja okoline koji nije povezan sa svjetlom monitora. Zatim je u stanju razlikovati nedostatke u mjerenju nijanse aktivnog osvjetljenja i nijanse lica korisnika, što predstavlja vremenski pomak od 1-4 razlika okvira između svakog:

Ograničavanjem varijacija nijansi u grafici ‘detektora’ na zaslonu i osiguravanjem da korisnikova web kamera ne dobije upit da automatski prilagodi svoje postavke snimanja pretjeranim promjenama u razinama osvjetljenja monitora, istraživači su uspjeli uočiti tale kašnjenje u prilagodbi sustava deepfake promjenama osvjetljenja.

Rad zaključuje:

‘Zbog razumnog povjerenja koje imamo u videopozive uživo i rastuće sveprisutnosti videopoziva u našim osobnim i profesionalnim životima, predlažemo da će tehnike za autentifikaciju video (i audio) poziva samo rasti na važnosti.’

Studija je naslovljena Otkrivanje dubokih lažnih videozapisa u stvarnom vremenu pomoću aktivnog osvjetljenjaa dolazi od Candice R. Gerstner, matematičarke primijenjenog istraživanja pri Ministarstvu obrane SAD-a i profesora Hanya Farida s Berkeleyja.

Erozija povjerenja

Istraživačka scena protiv deepfakea značajno se okrenula u posljednjih šest mjeseci, od općeg otkrivanja deepfakea (tj. ciljanja na unaprijed snimljene videozapise i pornografski sadržaj) prema otkrivanju ‘živahnosti’, kao odgovor na rastući val incidenata korištenja deepfakea u videokonferencijskim pozivima te nedavnom upozorenju FBI-a o sve većoj uporabi takvih tehnologija u aplikacijama za rad na daljinu.

Čak i kada se ispostavi da videopoziv nije bio lažiran, povećane mogućnosti za videoimitatore vođene umjetnom inteligencijom počinju stvarati paranoju.

Novi list navodi:

‘Stvaranje dubinskih krivotvorina u stvarnom vremenu [poses] jedinstvene prijetnje zbog općeg osjećaja povjerenja koji okružuje video ili telefonski poziv uživo i izazov otkrivanja dubinskih lažiranja u stvarnom vremenu, dok se poziv odvija.’

Istraživačka zajednica si je odavno postavila cilj pronaći nepogrešive znakove deepfake sadržaja koji se ne mogu lako nadoknaditi. Iako mediji ovo obično karakteriziraju u smislu tehnološkog rata između sigurnosnih istraživača i deepfake programera, većina negacija ranih pristupa (kao što su analiza treptaja očiju, razlučivanje položaja glave i analiza ponašanja) dogodila se jednostavno zato što su programeri i korisnici pokušavali napraviti realističnije deepfakeove općenito, umjesto da se konkretno bave posljednjim ‘pričama’ koje je identificirala sigurnosna zajednica.

Bacanje svjetla na Deepfake Video uživo

Otkrivanje deepfake-a u videookruženjima uživo nosi teret obračuna za loše video veze, koje su vrlo česte u scenarijima videokonferencija. Čak i bez interventnog sloja deepfake, videosadržaj može biti podložan kašnjenju u stilu NASA-e, artefaktima renderiranja i drugim vrstama degradacije zvuka i videa. Oni mogu poslužiti za skrivanje grubih rubova u arhitekturi dubokog lažiranja uživo, kako u smislu video tako i audio dubokih lažiranja.

Novi sustav autora poboljšava rezultate i metode koji se pojavljuju u publikaciji Centra za umreženo računalstvo pri Sveučilištu Temple u Philadelphiji iz 2020. godine.

Iz dokumenta iz 2020. godine možemo promatrati promjenu u osvjetljenju lica ‘unutra’ kako se mijenja sadržaj korisničkog zaslona. Izvor: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

Razlika u novom radu je u tome što uzima u obzir način na koji web kamere reagiraju na promjene osvjetljenja. Autori objašnjavaju:

‘Zato što sve moderne web kamere izvode automatsku ekspoziciju, vrstu aktivnog osvjetljenja visokog intenziteta [used in the prior work] vjerojatno će pokrenuti automatsku ekspoziciju kamere što će zauzvrat zbuniti snimljeni izgled lica. Kako bismo to izbjegli, koristimo aktivno osvjetljenje koje se sastoji od izoluminantne promjene nijanse.

‘Iako se time izbjegava automatska ekspozicija kamere, moglo bi se pokrenuti balansiranje bijele boje kamere što bi opet zbunilo snimljeni izgled lica. Kako bismo to izbjegli, radimo u rasponu nijansi za koji smo empirijski utvrdili da ne pokreće balans bijele.’

Za ovu inicijativu, autori su također razmotrili slične prethodne pothvate, kao što je LiveScreen, koji nameće neprimjetan uzorak osvjetljenja na monitor krajnjeg korisnika u nastojanju da otkrije deepfake sadržaj.

Iako je taj sustav postigao 94.8% stope točnosti, istraživači zaključuju da bi suptilnost svjetlosnih uzoraka otežala implementaciju takvog tajnog pristupa u jarko osvijetljenim okruženjima i umjesto toga predlažu da se njihov vlastiti sustav, ili onaj sa sličnim uzorkom, može uključiti javno i zadano u popularnom softveru za videokonferencije:

‘Našu predloženu intervenciju mogla bi realizirati sudionica u pozivu koja jednostavno dijeli svoj zaslon i prikazuje vremenski promjenjivi obrazac, ili bi se, idealno, mogla izravno integrirati u klijent videopoziva.’

Testovi

Autori su koristili mješavinu sintetičkih subjekata i subjekata iz stvarnog svijeta kako bi testirali svoj detektor dubokog lažiranja vođen Dlibom. Za sintetički scenarij koristili su Mitsuba, naprijed i inverzni renderer sa Švicarskog saveznog tehnološkog instituta u Lausanni.

Uzorci iz testova simuliranog okruženja, s različitim tonom kože, veličinom izvora svjetla, intenzitetom ambijentalnog svjetla i blizinom kamere.

Prikazana scena uključuje parametarsku CGI glavu snimljenu virtualnom kamerom s vidnim poljem od 90°. Glave imaju Lambertovu refleksiju i neutralne tonove kože te su smještene 2 stopala ispred virtualne kamere.

Kako bi testirali okvir u nizu mogućih nijansi kože i postava, istraživači su proveli niz testova, uzastopno mijenjajući različite aspekte. Promijenjeni aspekti uključivali su boju kože, blizinu i veličinu osvjetljenja.

Autori komentiraju:

‘U simulaciji, s našim različitim pretpostavkama zadovoljenim, naša predložena tehnika vrlo je robusna za širok raspon konfiguracija slika.’

Za scenarij iz stvarnog svijeta, istraživači su koristili 15 dobrovoljaca s različitim tonovima kože, u različitim okruženjima. Svaki je bio podvrgnut dvama ciklusima ograničene varijacije nijanse, pod uvjetima u kojima je stopa osvježavanja zaslona od 30 Hz bila sinkronizirana s web kamerom, što znači da bi aktivno osvjetljenje trajalo samo jednu sekundu. Rezultati su bili uglavnom usporedivi sa sintetičkim testovima, iako su se korelacije značajno povećale s većim vrijednostima osvjetljenja.

Buduće smjernice

Sustav, priznaju istraživači, ne uzima u obzir tipične okluzije lica, kao što su šiške, naočale ili dlake na licu. Međutim, oni primjećuju da se maskiranje ove vrste može dodati kasnijim sustavima (putem označavanja i naknadne semantičke segmentacije), koji bi se mogli osposobiti da uzimaju vrijednosti isključivo iz percipiranih područja kože ciljnog subjekta.

Autori također sugeriraju da bi se slična paradigma mogla upotrijebiti za otkrivanje duboko lažiranih audio poziva, te da bi se potreban zvuk za otkrivanje mogao reproducirati na frekvenciji izvan normalnog ljudskog slušnog raspona.

Što je možda najzanimljivije, istraživači također sugeriraju da bi proširenje područja evaluacije izvan lica u bogatijem okviru za snimanje moglo znatno poboljšati mogućnost detekcije dubinskih lažiranja*:

‘Sofisticiraniji 3-D procjena osvjetljenja vjerojatno bi pružila bogatiji model izgleda koji bi krivotvoritelju bilo još teže zaobići. Dok smo se fokusirali samo na lice, zaslon računala također osvjetljava vrat, gornji dio tijela i okolnu pozadinu, iz koje se mogu napraviti slična mjerenja.

‘Ova dodatna mjerenja prisilila bi krivotvoritelja da uzme u obzir sve 3-D scena, ne samo lice.’

* Moja konverzija autorovih inline citata u hiperveze.

Prvi put objavljeno 6. srpnja 2022.