Letenje dronom u virtualnom svijetu: Ovaj AI model može generirati postojane i neograničene 3D svjetove

Jeste li čuli za MidJourney, Stable Diffusion ili DALL-E? Vjerojatno jeste ako ste nedavno obraćali pozornost na domenu umjetne inteligencije. Ovi AI modeli sposobni su generirati izuzetno realistične slike koje bi većinu vremena bilo teško razlikovati od onih koje je stvorio čovjek. Sada je moguće postići izvanredne razine realizma sa slikama i videozapisima generiranim umjetnom inteligencijom.

Generiranje foto-realistične slike je moguće; mi to znamo. Ali što ako želimo učiniti više? Što ako bismo stvarno htjeli biti u slici? Ovo je virtualni svijet i njegovo slobodno istraživanje bilo bi nevjerojatno iskustvo. Zamislite sebe kako letite u bespilotnoj letjelici kroz virtualni svijet koji oduzima dah u kojem rijeke slobodno teku, veličanstvene planine se uzdižu iznad, a drveće se graciozno njiše uz vjetar. Iskustvo je ništa manje nego izvanredno, zar ne? Vrijeme je za upoznavanje Uporna priroda.

Uporna priroda je bezuvjetni generativni model sposoban generirati neograničene 3D scene s postojanim temeljnim prikazom svijeta.

Uporna priroda nadovezuje se na napredak u dva polja koja su usredotočena na sveobuhvatne svjetove; 3D modeli i beskonačni video modeli. 3D modeli konstrukcijom predstavljaju dosljedan 3D svijet i izvrsni su u prikazivanju izoliranih objekata, iako su ograničeni na unutarnje scene. Uporna priroda uklanja to ograničenje i hvata se u koštac s problemom stvaranja velikih neograničenih prirodnih scena. S druge strane, postojeći beskonačni video modeli mogu simulirati vizualne svjetove beskonačnog opsega, ali ne osiguravaju trajni prikaz svijeta, što je riješeno Uporna priroda.

Zadatak je u osnovi pomicanje virtualne kamere u virtualnom svijetu, iako to nije jednostavno postići. Sadržaj treba generirati dok pomičemo kameru, a moramo osigurati prostornu i vremensku konzistentnost. Ako nije zadovoljen, generirani izlaz može izgledati kao san u kojem se stvari kreću prilično čudno, a to nije nešto što želimo. Štoviše, generirani sadržaj trebao bi ostati isti dok se pomičemo proizvoljno daleko i vraćamo na istu lokaciju, bez obzira na putanju kamere.

Kako bi se postiglo trajno stvaranje prirode, predloženi pristup modelira 3D svijet kao teren i nebesku kupolu. Teren je predstavljen mrežom rasporeda scene koja djeluje kao karta krajolika. Zatim se ove značajke podižu u 3D i dekodiraju pomoću MLP-a u polje zračenja za volumensko renderiranje. Renderirane slike terena povećavaju se pomoću super-razlučivosti i kombiniraju s prikazima iz modela nebeske kupole kako bi se sintetizirale konačne slike.

Drugi ključni aspekt uporne generacije je proširenje scene. Uvježbavanje modela korištenjem cijelog krajolika nije izvedivo. Stoga oni treniraju model pomoću mreže izgleda ograničene veličine i proširuju scenu za bilo koji iznos tijekom zaključivanja. To omogućuje neograničene putanje kamere. Štoviše, budući da je temeljni prikaz postojan u prostoru i vremenu, moguće je letjeti oko 3D krajolika bez potrebe za podacima s više pogleda. Uporna priroda može se u potpunosti trenirati iz fotografija pejzaža s jednim prikazom s nepoznatim položajima fotoaparata.

Persistent Nature ima za cilj kombinirati najbolje od oba svijeta, generirajući neograničene scene dok još uvijek predstavlja postojan 3D svijet. To je bezuvjetni 3D generativni model za neograničene prirodne scene s postojanim prikazom svijeta.