Miješana stvarnost

Razlika koja nije u imenu

U proširenoj stvarnosti digitalni sadržaj zna gdje treba stajati, ali o prostoru oko sebe ne zna ništa. Strelica lebdi na svom mjestu i kad između nje i kamere prođe ruka. U miješanoj stvarnosti (mixed reality, MR) uređaj je prostor izmjerio, pa digitalni sadržaj može s njim računati.

Posljedice su vidljive odmah. Objekt se zaustavi na stolu umjesto da propadne kroz njega. Stup ograde zakloni objekt koji je iza njega. Alat koji se ispusti padne na pod i ostane na njemu. Upute se same razmjeste tako da ne prekrivaju stroj. Sve to traži isti podatak: oblik prostora u tri dimenzije.

Granica prema proširenoj stvarnosti nije oštra i ovisi o uređaju. Ista aplikacija na tabletu bez dubinskog senzora ponaša se kao proširena stvarnost, a na tabletu s dubinskim senzorom kao miješana. Zato se u zahtjevima projekta ne piše naziv okruženja nego se popisuje što aplikacija mora moći: zaklanjati sadržaj, postaviti ga na plohu i zapamtiti njegovo mjesto.

Prostorno mapiranje

Prostorno mapiranje (spatial mapping) postupak je kojim uređaj mjeri oblik prostora i iz mjerenja gradi mrežu trokuta. Mjeri se dubinskim senzorom, dvjema kamerama ili obradom niza slika iz jedne kamere. Mreža se dopunjuje dok se korisnik kreće, pa je u prvim sekundama gruba i rupičasta, a nakon obilaska prostora potpuna.

Uz mrežu ide i raspoznavanje jednostavnih oblika. Program iz mreže izdvaja ravne plohe i označava ih kao vodoravne ili okomite, pa aplikacija može tražiti pod, stol ili zid. Noviji sustavi idu korak dalje i plohama pridružuju značenje: ovo je pod, ovo je stol, ovo je vrata. Takav podatak omogućuje pravila poput onoga da se upute nikad ne postavljaju preko prolaza.

Fina mreža nije sama po sebi bolja. Svaki trokut zauzima memoriju i troši vrijeme pri svakom ispitivanju sudara, pa fina mreža velikog prostora zna potrošiti više nego sav ostali sadržaj zajedno. U praksi se bira najgrublja mreža koja još zadovoljava zadatak.

Sidra: kako sadržaj ostaje na mjestu

Sidro (anchor) je zapamćena točka prostora uz koju je sadržaj vezan. Umjesto da se položaj upute pamti kao niz brojeva u koordinatnom sustavu aplikacije, pamti se kao veza prema skupini obilježja koje uređaj vidi u prostoru. Kad se uređaj vrati u taj prostor, prepozna obilježja i obnovi vezu.

Sidra se razlikuju po tome koliko dugo žive.

• Privremeno sidro živi dok traje jedno pokretanje aplikacije. Dovoljno je za upute koje se prikažu jednom i zatvore.
• Trajno sidro pohranjuje se na uređaju i preživi zatvaranje aplikacije. Sljedeći put uređaj obiđe prostor, prepozna ga i vrati sadržaj na isto mjesto.
• Dijeljeno sidro pohranjuje se na poslužitelju, pa ga može dohvatiti i drugi uređaj. Time dva korisnika vide isti sadržaj na istom mjestu.

Sidro nije savršeno. Kako uređaj dopunjuje kartu prostora, ranije procijenjeni položaji se ispravljaju, pa sidro može neprimjetno kliznuti za nekoliko milimetara. Pojava se naziva pomakom ili klizanjem i raste s vremenom rada bez ponovnog prepoznavanja poznate mete. Za upute u pogonu to je bitno: nakon dvadesetak minuta rada bez pogleda na natpisnu pločicu strelica može promašiti vijak.

Interakcija s plohama

Kad su plohe poznate, sadržaj se s njima može ponašati kao predmet. Tri su najčešća načina interakcije.

Postavljanje. Korisnik pokazuje na plohu, a program iz smjera pogleda i mreže izračuna gdje zraka probada plohu. Na tom se mjestu objekt postavi i poravna s plohom. Takav se postupak naziva ispitivanjem zrakom i osnova je gotovo svake interakcije u prostoru.

Naslanjanje i sudar. Objektu se pridruži jednostavno tijelo za sudare, najčešće kvadar ili valjak, i pravila gibanja. Time pada na plohu, zaustavi se na njoj i ne propada. Za upute se to koristi rjeđe, ali je nezamjenjivo u uvježbavanju rukovanja alatom.

Privlačenje na plohu. Sadržaj se sam poravna s najbližom plohom kad mu se približi, slično hvatanju na mrežu u programima za crtanje. Time se uklanja sitno podešavanje koje bi korisnik inače morao raditi rukom.

Prepoznavanje ploha ima i svoje zamke. Sjajan pod odbija svjetlo dubinskog senzora i daje rupe u mreži. Stakleni zaslon ćelije često se uopće ne izmjeri, pa sadržaj prođe kroz njega. Prostori s mnogo pokretnih dijelova stalno mijenjaju mrežu, što troši vrijeme i unosi nesigurnost.

Dijeljeni prostor

Dva korisnika vide isti sadržaj na istom mjestu samo ako oba uređaja koriste isti koordinatni sustav. Postizanje toga naziva se dijeljenjem prostora i izvodi se na dva načina. Prvi je zajednička meta: oba uređaja snime istu natpisnu pločicu i iz nje izvedu isti ishodišni sustav. Drugi je dijeljeno sidro pohranjeno na poslužitelju, uz koje ide i opis obilježja prostora prema kojima se svaki uređaj sam smjesti.

Uz zajednički sustav treba i razmjena podataka o tome što se u sceni događa. Ako jedan korisnik označi vijak kao otpušten, drugi to mora vidjeti. Količina podataka je mala, ali zahtjev na kašnjenje nije: iznad otprilike 150 ms razgovor dvaju korisnika postaje nespretan jer jedan pokazuje na mjesto na kojem drugi sadržaj još ne vidi.

Prikaz pokazuje i cijenu koju miješana stvarnost nosi. Fina mreža velikog prostora zauzme desetke megabajta, što na uređaju sa 6 GB radne memorije nije zanemarivo kad se tome pribroji model, teksture i sama aplikacija. Zato se mreža obično ograničava na područje oko korisnika, a udaljeni se dijelovi odbacuju.

Karta prostora, njezino održavanje i granice

Sve što miješana stvarnost radi počiva na karti prostora. Karta je skup obilježja s njihovim položajima i mreža ploha izvedena iz mjerenja dubine. Nastaje pri prvom obilasku i od tada se dopunjuje. Karta nije vječna: pogon se mijenja, palete se premještaju, alati se odlažu na druga mjesta, a rasvjeta se zamjenjuje.

Kad se prostor promijeni više nego što uređaj može uskladiti, javlja se jedna od dviju pojava. Prva je neuspjelo smještanje: uređaj prostor ne prepozna i sadržaj se ne vrati na mjesto. Druga je gora — pogrešno smještanje, kad uređaj prepozna prostor krivo i sadržaj postavi pomaknut ili zakrenut. Prvu korisnik odmah primijeti, a drugu ne mora, pa zato svaki ozbiljan postupak počinje provjerom na poznatom mjestu.

Zbog toga se uz aplikaciju uvijek predaje i kratka uputa za održavanje: tko obnavlja kartu, koliko često i po čemu se prepoznaje da je obnova potrebna. U ćeliji paletizacije razuman je raspored obnove nakon svakog većeg zahvata na ogradi ili postolju, a provjera poravnanja prije svake upotrebe.

Miješana stvarnost rješava mnogo, ali uvodi i nove obveze. Prva je oprema: dubinski senzor ili barem dvije kamere, uz procesor koji stalno obrađuje mjerenja. Druga je vrijeme: prostor treba obići prije prve upotrebe, a taj obilazak traje. Treća je održavanje: ako se ćelija preuredi, stara mreža i stara sidra više ne odgovaraju stvarnosti.

Odluka se svodi na pitanje isplati li se to u zadanom zadatku. Ako tehničar radi na jednom mjestu, pet minuta, uz vidljivu metu, proširena stvarnost je dovoljna i jeftinija. Ako se kreće po cijeloj ćeliji, radi dulje i mora imati slobodne ruke, miješana stvarnost vraća uloženo.

Miješana stvarnost u projektu AR-1

Za projekt AR-1 miješana stvarnost nije obavezna, ali dva njezina dijela rješavaju stvarne poteškoće. Prvi je zaklanjanje: bez njega upute lebde ispred ograde i tehničar ne može procijeniti je li strelica ispred ili iza nje. Drugi je trajno sidro: bez njega se cijeli postupak prekida svaki put kad natpisna pločica izađe iz vidnog polja.

Izvedba na uređaju A svodi se na kompromis. Tablet nema dubinski senzor, pa se mreža ne mjeri. Umjesto nje u scenu se unaprijed ugrade jednostavne nevidljive plohe na mjestima ograde, postolja i glodalice. One zaklanjaju sadržaj ali se ne crtaju. Rješenje nije potpuno, ali za osam koraka zamjene prihvatnice sasvim je dostatno.

Uređaj B, naočale, ima prostorno mapiranje i može raditi u punoj miješanoj stvarnosti. Njegova je granica drugdje: vidno polje od 43 stupnja dijagonalno znači da se veliki sadržaj mora rastaviti na manje dijelove, jer inače ne stane u prikaz. O toj granici govori jedinica o sklopovskim rješenjima.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.