Prostorno mapiranje i sidrenje holograma

Kako uređaj gradi mrežu prostorije

Prostorno mapiranje (spatial mapping) je postupak kojim uređaj iz očitanja svojih senzora gradi geometrijski opis prostorije. Naočale za miješanu stvarnost imaju za to dubinski senzor i nekoliko crno-bijelih kamera širokog vidnog polja. Dubinski senzor osvijetli prostor nevidljivim svjetlom i mjeri vrijeme povratka odbijene zrake. Iz tog vremena slijedi udaljenost svake točke, a iz milijuna takvih točaka slijedi oblak iz kojega se gradi mreža trokuta.

Mapiranje nije jednokratna radnja nego trajni posao u pozadini. Dok korisnik hoda, uređaj dopunjuje mrežu novim plohama i ispravlja one koje je prije izmjerio s većom pogreškom. Zato mreža radionice nakon pola minute izgleda grubo, a nakon tri minute ima jasno izdvojen pod, zidove i veće predmete. Za HT-1 mapiranje poda radionice 12 × 8 m traje 3 minute i 20 sekundi i daje mapiranu plohu poda od 96 m².

Dubinski senzor ima donji i gornji doseg. Ispod 0,8 m zrake se vraćaju prebrzo i mjerenje je nepouzdano, iznad 3,5 m signal oslabi. Zbog toga se velika radionica ne mapira stojeći u sredini nego polaganim obilaskom uz plohe. Strop na visini 3,4 m tako se mapira samo djelomično, što za projekt nije problem jer ćelija stoji na podu.

Rezultat mapiranja aplikaciji je dostupan na dva načina. Prvi je sirova mreža trokuta, korisna za zaklanjanje i sudare. Drugi je popis izdvojenih ploha (planes) s oznakom vrste: pod, zid, strop, radna ploha. Popis ploha mnogo je manji i s njim se lakše radi, pa se za postavljanje ćelije na pod koristi upravo on.

Gustoća mreže i cijena koju ona nosi

Mreža prostorije može biti gruba ili fina. Gustoća se obično zadaje brojem trokuta po kvadratnom metru ili najmanjom mjerom koju mreža opisuje. Gruba mreža prepoznaje pod, zid i veliki stroj, ali zaobljuje rubove i ne vidi ništa manje od dvadesetak centimetara. Fina mreža opisuje i rub palete, ali traje dulje, troši više memorije i više opterećuje procesor.

Za HT-1 dovoljna je srednja gustoća. Ćelija se postavlja na ravan pod, pa je važno da ploha poda bude točna i vodoravna, dok sitni predmeti nisu bitni. Fina mreža ovdje bi samo produljila pripremu i oduzela memoriju koja treba modelu.

Vrijeme mapiranja ovisi o površini, o gustoći i o brzini kojom se hoda. Preporuka je hodati polako, otprilike 0,6 m/s, i glavu voditi mirno slijeva nadesno. Naglo okretanje glave ostavlja rupe u mreži koje se poslije vide kao hologram ukopan u pod.

Mreža se pohranjuje na uređaju i pri sljedećem pokretanju se ne gradi od nule. Uređaj usporedi ono što vidi s pohranjenim opisom prostorije i, ako se poklopi, mrežu učita. Zato drugo mapiranje iste radionice traje bitno kraće od prvoga, najčešće tridesetak sekundi.

Sidra i njihova trajnost

Sidro (anchor) je zapamćeno mjesto u prostoriji. Nije to običan položaj u koordinatnom sustavu scene, nego veza na skupinu značajki koje je uređaj prepoznao oko te točke. Kad se mreža prostorije dopuni i sustav zaključi da je prije nešto sitno pogriješio, položaj sidra u sceni se ispravi, a hologram ostane ondje gdje je u stvarnosti postavljen.

Sidra postoje u dvije vrste. Sesijsko sidro živi dok aplikacija radi i nestaje s njom. Trajno sidro (persistent anchor) uređaj zapisuje u vlastitu pohranu zajedno s opisom okoline oko njega. Pri sljedećem pokretanju uređaj prepozna prostoriju i vrati sidro na isto mjesto. Za HT-1 to je bitno: tehnolog sljedeći dan dolazi i očekuje ćeliju točno ondje gdje ju je jučer ostavio.

Ponovno prepoznavanje prostorije (relocalization) postupak je u kojem uređaj usporedi ono što trenutačno vidi s pohranjenim opisom. Da bi uspjelo, prostorija mora izgledati dovoljno slično. Ako je radionica u međuvremenu ispražnjena, obojana ili preuređena, prepoznavanje ne uspije i sidra se moraju postaviti iznova. Zato se u praksi uz trajno sidro uvijek bilježi i mjera do dva stalna ruba prostorije, primjerice do stupa i do praga vrata. Ta mjera na papiru vrijedi i kad uređaj zakaže.

Sidro nije besplatno. Svako trajno sidro nosi svoj opis okoline i zauzima memoriju, a njihovo praćenje troši procesor. Deset sidara u prostoriji je uobičajeno, stotinu ih je previše. Pravilo je jednostavno: jedno sidro po skupini sadržaja koja se giba zajedno. Za HT-1 to je jedno sidro za cijelu ćeliju i, po potrebi, još jedno za ploču s podacima uz ulaz.

Sidra u ovom području odgovaraju onome što se u susjednom području radi s otisnutim metama. Razlika je što se ovdje ništa ne lijepi na stroj, nego se pamti izgled prostora. O metama i njihovoj prepoznatljivosti govori Proširena stvarnost, jedinica 3.2.

Pomak sidra i mjerilo točnosti

Pomak sidra (anchor drift) je razmak između mjesta na kojem hologram stoji i mjesta na kojem bi trebao stajati. Nastaje jer uređaj svoj položaj računa iz slike i inercijskih senzora, a te se pogreške polako zbrajaju. Pomak nije stalan: ispravlja se svaki put kad uređaj prepozna nešto što je već vidio.

Mjerilo se uvijek zadaje kao pomak na zadanoj udaljenosti, jer pogreška raste s udaljenošću od sidra. Za HT-1 cilj je pomak do 5 mm na 2 m. Mjeri se jednostavno: na pod se ljepljivom trakom označi križ, hologram se poravna s njim, a nakon dvadeset minuta rada izmjeri se koliko se hologramski križ odmaknuo od stvarnoga. Izmjereno je 6 mm, dakle malo iznad cilja, što je zabilježeno kao nalaz.

Na pomak utječu tri stvari. Prva je bogatstvo prizora: prazna bijela stijena daje malo značajki, pa uređaj lakše odluta. Druga je osvjetljenje: pri slabom svjetlu kamere rade s duljom ekspozicijom i slika je zamućena. Treća je brzina kretanja: naglo okretanje glave unese najviše pogreške. Zato se prije ozbiljnog mjerenja u prazan dio radionice stavi nekoliko predmeta s jasnim rubovima.

U aplikaciji se pomak ublažava i programski. Ako je hologram objesen ispod sidra, svaki ispravak sidra automatski pomiče cijeli hologram. Dodatno se povremeno traži ručno poravnanje: korisnik pogledom uhvati ugao ćelije i povuče ga na oznaku na podu. Takav ispravak traje nekoliko sekundi i vraća točnost na početnu vrijednost.

Gubitak i oporavak praćenja

Gubitak praćenja (tracking loss) stanje je u kojem uređaj više ne može pouzdano odrediti gdje se nalazi. Hologram tada ili zamrzne ispred očiju, ili odluta, ili nestane. Za korisnika je to najneugodniji kvar, jer se dogodi bez najave.

Na projektu HT-1 upravo je taj kvar zabilježen pri ispitivanju: pri naglom gašenju rasvjete u dijelu radionice sidro se izgubilo, a ćelija je nakon povratka svjetla stajala pola metra ustranu. Nalaz je riješen dvojako — radnim nalogom da se rasvjeta tijekom pregleda ne gasi i programskom porukom koja korisnika upozorava da je praćenje prekinuto.

Aplikacija na gubitak praćenja mora odgovoriti, a ne šutjeti. Dobar je postupak u tri koraka. Prvo, čim sustav javi da praćenje nije pouzdano, hologram se sakrije. Bolje je ništa nego hologram na krivom mjestu, jer bi ga tehnolog mogao shvatiti ozbiljno. Drugo, u vidnom polju se pojavi kratka uputa: stanite, pogledajte prema stroju i pričekajte. Treće, kad se praćenje vrati, sadržaj se prikaže tek nakon što se sidro ponovno pronađe.

Ako se sidro ne pronađe ni nakon tridesetak sekundi, aplikacija nudi ručno postavljanje. Korisnik tada pogledom pokaže na oznaku na podu i potvrdi gestom. To je zadnja obrana i uvijek mora postojati, jer nijedan sustav prostornog razumijevanja ne radi u svim uvjetima.

Prije rada u pogonu korisno je napraviti kratku provjeru prostorije i zapisati je. Obilazi se područje u kojem će se raditi i traže se mjesta na kojima praćenje slabi: velike staklene stijene, svježe obojani zidovi bez ičega na sebi, područja s jakim protusvjetlom kroz vrata i mjesta gdje se rasvjeta gasi automatski. Ta se mjesta unesu u tlocrt i, gdje je moguće, izbjegavaju. Za HT-1 takvih je mjesta bilo dvoje: staklena stijena uredskog dijela i prolaz prema skladištu u kojem se rasvjeta pali na pokret.

Mreža prostorije i sidra rješavaju samo pitanje gdje hologram stoji. Pitanje kako korisnik njime upravlja rješava sljedeća jedinica, a ona počinje ondje gdje ova staje: hologram već stoji mirno na podu, a tehnolog ga sada želi odabrati, pomaknuti, izmjeriti i sakriti.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.