Nova studija umjetne inteligencije (AI) iz CMU-a i Mete predlaže okvir za učinkovito neuronsko osvjetljavanje modela zglobnih ruku

Neuralno renderiranje je vrhunska tehnologija koja koristi umjetnu inteligenciju i duboko učenje za stvaranje fotorealističnih slika i animacija. Za razliku od tradicionalnih tehnika renderiranja koje se oslanjaju na matematičke modele, algoritmi neuralnog renderiranja uče replicirati složene interakcije između svjetla i materijala u stvarnom svijetu. To omogućuje stvaranje slika s izvanrednim detaljima, teksturom i realizmom.

Važnost neuronskog iscrtavanja leži u njegovoj sposobnosti da poboljša kvalitetu i učinkovitost računalne grafike. Uklanjanjem potrebe za radno intenzivnim ručnim procesima i pojednostavljivanjem cjevovoda renderiranja, neuronsko renderiranje može značajno smanjiti vrijeme i troškove koji su uključeni u stvaranje visokokvalitetnih slika i animacija. To ga čini neprocjenjivim alatom za profesionalce u industrijama kao što su film, razvoj videoigara te virtualna i proširena stvarnost.

Osim toga, neuralno renderiranje također se može koristiti za razne kreativne primjene, kao što je generiranje novih perspektiva i stajališta postojećih scena, poboljšanje slika niske rezolucije i omogućavanje interaktivnog istraživanja digitalnih okruženja.

Među najsuvremenijim modelima koji se koriste u neuronskom renderiranju, mnogi se oslanjaju na upotrebu pojednostavljenih geometrijskih modela i modela izgleda (kao što su linearno spajanje kože i modeli smanjenog materijala). To omogućuje brže računanje, ali dolazi s primjetnim smanjenjem vjernosti renderiranja.

Do sada, fotorealistično prikazivanje animiranih ruku s efektima globalnog osvjetljenja u stvarnom vremenu ostaje otvoren izazov.

Kako bi se riješio ovaj problem, razvijen je AI okvir kako bi se omogućilo fotorealistično prikazivanje personaliziranog modela šake koji se može animirati s novim pozama u novim svjetlosnim okruženjima i podržava prikazivanje interakcija s obje ruke. Ideja je konstruirati model ruke koji se može ponovno osvijetliti za reprodukciju snimanja dinamičkih pokreta ruke u pozornici svjetla. U tu svrhu, autori hvataju prostorno-vremensko-multipleksirane obrasce osvjetljenja, gdje se potpuno uključeno osvjetljenje isprepliće kako bi se omogućilo praćenje trenutnog stanja geometrije ruku i poza.

Ovaj okvir neuralnog ponovnog osvjetljavanja oslanja se na dvostupanjsku interakciju nastavnika i učenika za renderiranje u stvarnom vremenu.

U nastavku je prikazan pregled modela učitelja.

Model nastavnika obučen je za zaključivanje vrijednosti zračenja s obzirom na položaj točkastog svjetla, smjer gledanja i vidljivost svjetla.

Učenje preslikavanja između položaja ulaznog svjetla i izlaznog zračenja jamči da mreža točno modelira složenu refleksiju i raspršenje na ruci bez potrebe za praćenjem putanje.

Prirodna osvjetljenja modelirana su kao kombinacija udaljenih točkastih izvora svjetla za prikaz ruku u proizvoljnim osvjetljenjima.

Prikazi modela nastavnika zatim se koriste kao pseudoosnovna istina za treniranje učinkovitog modela učenika uvjetovanog kartama ciljnog okruženja, kao što je ilustrirano na slici ispod.

Na temelju nedavnih studija ponovnog osvjetljavanja neuralnog portreta, informacije o osvjetljenju izračunavaju se korištenjem karakteristika osvjetljenja inspiriranih fizikom kao što su vidljivost, difuzno sjenčanje i zrcalne refleksije. Budući da se te karakteristike temelje na geometriji i predstavljaju prvo odbijanje prijenosa svjetlosti, one su u snažnoj korelaciji s informacijama o rasvjeti i mogu se lako iskoristiti za određivanje ispravnog sjaja u uvjetima prirodnog osvjetljenja. Vidljivost je posebno bitna za razdvajanje svjetla i položaja, smanjujući učenje lažnih korelacija koje mogu postojati u ograničenim podacima o obuci. Međutim, precizan izračun vidljivosti za svako svjetlo računalno je pretjerano skup za vizualizaciju u stvarnom vremenu.

Kako bi se prevladalo ovo ograničenje, gruba proxy mreža koristi se za izračunavanje značajki osvjetljenja. Ova mreža ima istu UV (dvodimenzionalnu) parametrizaciju kao i model ruke.

Potpuno konvolucijska arhitektura uči kompenzirati približnu prirodu ulaznih značajki i zaključuje i lokalne i globalne učinke prijenosa svjetlosti. Na taj način, prema autorima, okvir postiže visok okvir i može prikazati izgled pod prirodnim osvjetljenjem u stvarnom vremenu.

Slika ispod prikazuje neke rezultate postignute predloženim pristupom.

Ovo je bio sažetak novog AI okvira za učinkovito neuralno ponovno osvjetljavanje artikuliranih modela ruku u stvarnom vremenu.

Ako ste zainteresirani ili želite saznati više o ovom okviru, možete pronaći poveznicu na rad i stranicu projekta.