Senttimetrin tarkka kameran seuranta laajamittaiseen 3D-kuvankaappaukseen (Gaussin roiskekuvio)

Yleiskatsaus

Tämä asiakasprojekti on peräisin Aryonix, jonka perusti Alexandre Cavaleri. Aryonix kehittää reaaliaikaista renderöintimoottoria, joka pystyy luomaan valokuvista elokuvamaisia, fotorealistisia ja immersiivisiä 3D-ympäristöjä. Aryonix teki yhteistyötä Alamäkeen siivet, projekti, joka on omistettu rullaluistinten, longboardien ja muiden painovoimalajien alamäkireittien tutkimiseen, kartoittamiseen ja kuvaamiseen. Projektissa käytetään Gaussin roisketekniikkaa.

Mitä on Gaussin roiskekuvio? Yksinkertaisesti sanottuna Gaussin roiskekuvio muuttaa satoja tai tuhansia valokuvia yksityiskohtaiseksi, interaktiiviseksi 3D-malliksi todellisesta näkymästä. Toisin kuin perinteinen polygoneista tai verkoista rakennettu 3D-esitys, se esittää näkymän miljoonina pieninä värillisinä 3D-pisteinä ("Gaussin kuvioina"), mikä mahdollistaa erittäin realistisen renderöinnin lähes mistä tahansa näkökulmasta.

Alamäkilajeissa on tärkeää, että digitaalinen rekonstruktio vastaa todellista maailmaa. Reitin sijainnin, mittakaavan ja kaltevuuden on oltava oikea, jotta ajajat voivat arvioida tarkasti sen vaikeusasteen, turvallisuuden ja yleisen ajokokemuksen.

Pitkien ulkoilureittien rekonstruoinnin suurin haaste on kameraposeerausten laskeminen: työkalut, kuten COLMAP, ajautuvat ja keräävät virheitä matkan varrella, kamppailevat luonnossa esiintyvien toistuvien kuvioiden ja piirteettömien näkymien (viiniköynnösrivit, tienpinta, taivas) kanssa, ja ilman GPS:ää tulos ei ole sidottu todellisiin koordinaatteihin, mittakaavaan tai kaltevuuteen.

Näiden rajoitusten voittamiseksi Aryonix käytti GNSS-kompassi – RTK-aloituspakkaus tarjotakseen senttimetrin tarkkuudella kameran sijainnit ja suunnan tallennuksen aikana.

Laitos

Ratkaisimme tämän käytettäessä GNSS-kompassin aloituspakkausta, joka antoi COLMAPille senttimetrin tarkkuudella kameran sijainnit ja suunnat kameran ennakkosanoina.

GNSS-kompassi – RTK-aloituspakkaus: GNSS/RTK-paketti UM982-pohjaisella piirilevyllä ja kahdella korkealaatuisella kierukka-antennilla
Blackmagic URSA Mini Pro 4.6K G2 -elokuvakamera, kuvaa RAW-muodossa
Hosa MIT-129 XLR -sovitin muuntaa levyn PPS-signaalin kameran kanssa yhteensopiville äänitasoille ja suojaa levyä kameran phantom-virralta.
Puhelin, jossa on SW Maps, RTK-lokitiedot + kortin virransyöttö

Videon synkronointi RTK:n kanssa

Kameran sijainnin tunteminen on hyödyllistä vain, jos jokainen videoruutu voidaan yhdistää oikeaan RTK-mittaukseen.

GNSS-vastaanotin lähettää PPS-signaalin (Pulse Per Second). Tämä on erittäin tarkka sähköinen pulssi, joka generoidaan täsmälleen kerran GPS-sekunnissa. Kameran sisäisen kellon sijaan tämä PPS-signaali tallennettiin suoraan kameran yhteen äänikanavaan XLR-tulon kautta.

Koska ääninäytteenotto tapahtuu 48 kHz:n taajuudella, jokainen PPS-pulssi voidaan havaita millisekunnin osittaisella tarkkuudella. Vertailun vuoksi yksittäinen 24 fps:n nopeudella tallennettu videoruutu kestää noin 42 millisekuntia. Tämä mahdollistaa jokaisen ruudun aikaleiman paljon tarkemmin kuin kameran omien ajoitustietojen käyttäminen.

PPS-pulssin tallentaminen joka sekunti mahdollistaa myös kameran kellon mahdollisen ajautumisen havaitsemisen ja jatkuvan korjaamisen koko tallennuksen ajan. PPS-signaali merkitsee jokaisen GPS-sekunnin alun, kun taas puhelimen tallentama RTK-loki tarjoaa vastaavat GNSS-aikaleimat. Molempien tallenteiden aloittaminen suunnilleen samaan aikaan riittää, jotta PPS-pulssit vastaavat RTK-tietoja automaattisesti.

Jos tämä kuulostaa monimutkaiselta, tutustu postaukseemme GPS:n ymmärtäminen Timepulse tai PPS.

Kohtauksen tallentaminen

Tiimi käveli 800 metrin reitin Lavaux'n viinitarhojen halki Sveitsissä jatkuvasti videota tallentaen.

Sen sijaan, että kamera olisi kävellyt suoraan, sitä liikutettiin spiraalimaisesti, jotta kohdetta voitiin tarkastella useista katselukulmista. Tämä parantaa 3D-rekonstruktion laatua ja välttää samalla käyttäjän heittämät varjot.

Toisinaan lyhyitä sivupolkuja kuvattiin ennen paluuta pääreitille, mikä lisäsi näkökulmia ja paransi rekonstruktion tarkkuutta.

Liikkuvia kohteita, kuten jalankulkijoita ja ajoneuvoja, käsiteltiin suoraan kuvauksen aikana osoittamalla kamera hetkeksi poispäin, mikä vähensi myöhemmin tarvittavaa siivousta.

tulokset

Kun RTK-mittaukset oli synkronoitu videokuvien kanssa, kameroiden sijainnit syötettiin rekonstruktioprosessiin kameroiden prioreina. Sen sijaan, että jokainen kameran sijainti arvioitaisiin pelkästään kuvista, ohjelmisto aloittaa senttimetrin tarkkuudella tehdyistä RTK-mittauksista.

Tuloksena oleva 3D-esitys renderöidään reaaliajassa Aryonix Enginen avulla säilyttäen reitin oikean todellisen sijainnin, suunnan, mittakaavan ja kaltevuuden.

Vaikka tässä on käytetty Gaussin roiskekuviota, sama työnkulku pätee kaikkiin 2D-kuviin ja kameran asentoihin perustuviin rekonstruktiomenetelmiin: synkronoidut kameran priorit voidaan syöttää työkaluihin, kuten COLMAP, Gaussin roiskekuvioiden, NeRF-kuvioiden tai perinteisten fotogrammetristen rekonstruktioiden kouluttamiseksi.

Tarjoamalla tarkat kameran sijainnit koko tallennuksen ajan, RTK GNSS muuttaa normaalisti kertyneestä ajautumisesta kärsivän työnkulun luotettavaksi menetelmäksi pitkien ulkoympäristöjen rekonstruointiin. Tuloksena on fotorealistinen 3D-näkymä, jota voidaan käyttää myös tarkkoihin reittimittauksiin, mukaan lukien rinteet, jotka ovat usein yksityiskohtaisempia kuin olemassa olevista digitaalisista korkeusmalleista saatavat.