Ovaj AI dokument uvodi pristup temeljen na 3D difuziji za povremena NeRF snimanja, poboljšavajući artefakte i poboljšavajući geometriju scene koristeći lokalne 3D prethodne i…

Polja živčanog zračenja (NeRF) slučajno snimljena često su manje kvalitete od većine ulova prikazanih u NeRF člancima. Konačni cilj tipičnog korisnika (na primjer, hobista) koji snima NeRF-ove često je stvoriti proletnu rutu iz sasvim drugačijeg skupa pogleda od onih koje su dobivene na prvi pogled. Ovaj značajan pomak gledišta između prikaza obuke i renderiranja često pokazuje netočnu geometriju i artefakte plutajućeg elementa, kao što se vidi na slici 1a. Standardna je praksa u programima kao što su Polycam1 i Luma2 uputiti korisnike da nacrtaju tri kruga na tri različite visine dok gledaju unutra u predmet koji ih zanima. Ova tehnika rješava te artefakte upućujući ili potičući korisnike da više snimaju sliku.

Međutim, ti postupci snimanja mogu biti dugotrajni, a korisnici će možda trebati obratiti više pozornosti na komplicirane upute za snimanje kako bi proizveli artefakt-free uhvatiti. Stvaranje tehnika koje omogućuju poboljšane NeRF prikaze izvan distribucije još je jedna metoda za uklanjanje NeRF artefakata. Optimizacija poza kamere za rješavanje problema s bučnim pozama kamere, ugrađivanja izgleda po slikama za rukovanje varijacijama u ekspoziciji ili elastične funkcije gubitka za upravljanje prolaznim okluderima ispitivane su u ranijim istraživanjima kao potencijalne metode minimiziranja artefakata. Iako ove i druge metodologije nadmašuju konvencionalne referentne vrijednosti, većina se standarda oslanja na mjerenje kvalitete slike na izdvojenim kadrovima iz sekvence uvježbavanja, što često nije indikativno za vizualnu kvalitetu iz novih prikaza.

Slika 1c pokazuje kako se Nerfacto pristup pogoršava kako se novi pogled povećava. U ovoj studiji istraživači iz Google Research i UCB predlažu oboje (1) jedinstvena tehnika za vraćanje slučajno stečenih NeRF-ova i (2) novi pristup ocjenjivanju kvalitete NeRF-a koji točnije predstavlja kvalitetu renderirane slike iz neobičnih kutova. Dva filma bit će snimljena kao dio njihovog predloženog protokola procjene: jedan za obuku NeRF-a, a drugi za procjenu novog pogleda (slika 1b). Oni mogu izračunati skup metrike na vidljivim područjima gdje predviđaju da je scena ispravno snimljena u sekvenci obuke koristeći slike iz drugog snimanja kao temeljnu istinitost (kao i dubinu i normale dohvaćene iz rekonstrukcije na svim okvirima) .

Snimaju novi skup podataka s 12 scena, svaka s dvije sekvence kamere, za obuku i procjenu dok se pridržavaju ovog procesa evaluacije. Također predlažu Nerfbusters, tehniku ​​koja ima za cilj poboljšati površinsku koherenciju, eliminirati lebdeće i ukloniti maglovite artefakte u rutinskim NeRF snimkama. Njihov pristup koristi difuzijsku mrežu obučenu na sintetičkim 3D podacima za dobivanje lokalnog 3D geometrijskog prethodnog, i to iskorištava prije podržavanja realne geometrije tijekom NeRF optimizacije. Lokalna geometrija je manje komplicirana, više neovisna o kategoriji i reproducibilna od prethodnih globalnih 3D, što je čini prikladnom za nasumične scene i mreže manjih razmjera (U-Net od 28 Mb učinkovito simulira distribuciju svih mogućih površinskih zakrpa).

S obzirom na ovaj lokalni 3D prethodni temeljen na podacima, oni koriste novi bezuvjetni gubitak uzorkovanja destilacijskim rezultatom gustoće (DSDS) za reguliranje NeRF-a. Otkrili su da ova tehnika uklanja lebdeće elemente i čini geometriju scene oštrijom. Koliko im je poznato, oni su prvi koji su pokazali da naučeno lokalno 3D prethodno može poboljšati NeRF-ove. Empirijski pokazuju da Nerfbusters postiže najsuvremeniju izvedbu za povremena snimanja u usporedbi s drugim regularizatorima geometrije. Implementiraju svoj postupak ocjenjivanja i Nerfbusters metodu u Nerfstudio repozitoriju otvorenog koda. Kod i podaci mogu se pronaći na GitHubu.