MODUL 2 · TEORIJSKE OSNOVE PROŠIRENE STVARNOSTI
Nastavna jedinica 2.7
Vrste hardverskih rješenja
Uređaj za proširenu stvarnost mora istodobno gledati, mjeriti, računati i prikazivati, i to satima, iz baterije. Ova jedinica opisuje dijelove od kojih se sastoji — kamere, inercijske i dubinske senzore, zaslone, procesore i napajanje — te uspoređuje telefone i tablete s naočalama.
- opisati sklopovske dijelove uređaja i ulogu svakoga od njih
- objasniti utjecaj svojstava kamere na prepoznavanje i praćenje
- razlikovati inercijske i dubinske senzore prema onome što mjere
- povezati vidno polje i razlučivost zaslona s čitljivošću prikaza
- objasniti utjecaj potrošnje i zagrijavanja na trajanje rada
- usporediti tablet i naočale i odabrati uređaj prema zahtjevima primjene
Od čega se uređaj sastoji
Bez obzira na to je li riječ o tabletu ili naočalama, sklopovski sastav je isti. Senzori prikupljaju podatke o prostoru i o gibanju, procesor ih obrađuje i crta sliku, zaslon tu sliku prikazuje, a baterija sve to napaja. Razlike među uređajima svode se na to koliko je svaki od tih dijelova sposoban i koliko troši.
Iz sheme se čita i redoslijed kojim se traži uzrok kvara. Ako sadržaj uopće ne dolazi, provjeravaju se kamere i dopuštenja. Ako sadržaj kasni, provjerava se procesor i opterećenje crtanjem. Ako se uređaj gasi prije kraja smjene, provjerava se potrošnja i zagrijavanje.
Kamere
Kamera je osnovni senzor. Iz njezine slike izlazi sve: prepoznavanje mete, obilježja prostora, procjena osvjetljenja i, kod prikaza kroz zaslon, sam prizor. Četiri svojstva odlučuju o tome koliko je kamera dobra za ovaj posao.
| Svojstvo | Što znači | Utjecaj na rad |
|---|---|---|
| razlučivost | koliko točaka ima slika, npr. 1920 × 1080 | određuje najveću udaljenost na kojoj se meta prepoznaje |
| broj sličica u sekundi | koliko se puta u sekundi snima, npr. 30 | ograničava praćenje i prizor iz kamere, ne i iscrtavanje scene |
| vidno polje | koliki kut obuhvaća, obično 60–90° | šire polje vidi više obilježja, ali meta u njemu zauzima manje točaka |
| način očitanja | sve točke odjednom ili redak po redak | očitanje redak po redak izobličuje sliku pri brzom pomicanju |
Način očitanja vrijedi objasniti. Većina kamera u telefonima očitava sliku redak po redak. Ako se uređaj pomiče dok se slika očitava, gornji i donji dio slike ne pripadaju istom trenutku, pa ravni rubovi izgledaju kosi. Za praćenje to znači sustavnu pogrešku koja raste s brzinom pokreta. Uređaji namijenjeni proširenoj stvarnosti zato često imaju dodatnu kameru koja očitava sve točke odjednom, s manjom razlučivošću ali bez tog izobličenja.
Uz glavnu kameru uređaji imaju i pomoćne. Široka kamera okrenuta prema prostoru služi praćenju, a ne slici koju korisnik vidi. Kamera okrenuta prema korisniku služi praćenju lica i očiju. Kod naočala takvih kamera zna biti četiri ili više, raspoređenih tako da uvijek barem dvije vide nešto korisno.
Uređaj A iz projekta AR-1 ima kameru 1920 × 1080 pri 30 sličica u sekundi. Tu brzinu treba razlikovati od brzine kojom uređaj iscrtava scenu. Kamera daje 30 novih slika u sekundi, pa se ni praćenje ni prizor iz kamere ne mogu osvježiti češće: novo mjerenje položaja mete stiže najviše tridesetak puta u sekundi. Scenu s digitalnim objektima procesor crta vlastitim ritmom i taj broj smije biti veći, pa se na uređaju A mjeri 34 do 35 sličica u sekundi. Zato je cilj projekta zapisan kao najmanje 30 sličica u sekundi: to je brzina koju podloga praćenja pouzdano nosi. Traženje 60 sličica u sekundi na tom uređaju ne bi imalo smisla, jer bi se svaka druga sličica crtala iz istoga mjerenja kamere.
Inercijski i dubinski senzori
Inercijski senzori mjere gibanje samog uređaja. Mjerač ubrzanja mjeri ubrzanje po trima osima, a mjerač brzine zakretanja mjeri koliko se brzo uređaj okreće oko triju osi. Zajedno daju šest mjerenja, pa se sklop naziva i inercijskom mjernom jedinicom. Uz njih obično ide i mjerač magnetskog polja, koji daje grubi smjer prema sjeveru.
Prednost inercijskih senzora je brzina: mjere nekoliko stotina puta u sekundi, dok kamera daje tridesetak sličica. Mana je nakupljanje pogreške. Ako se položaj računa samo iz njih, odstupanje naraste na metre u nekoliko sekundi. Zato se koriste u paru s kamerom: slika ispravlja nakupljenu pogrešku, a senzori premošćuju trenutke kad slika nije upotrebljiva. To spajanje naziva se stapanjem mjerenja.
Dubinski senzori mjere udaljenost do ploha. Dvije su izvedbe uobičajene.
| Izvedba | Načelo rada | Doseg i granice |
|---|---|---|
| senzor vremena povratka svjetla (ToF) | mjeri vrijeme koje svjetlo treba do plohe i natrag | do nekoliko metara; smetaju mu sunce, sjajne i tamne plohe |
| LiDAR | šalje niz svjetlosnih impulsa i mjeri povratak za svaku točku | do desetak metara, veća točnost i gustoća, veća potrošnja |
| dvije kamere | računa udaljenost iz razlike dviju slika | traži teksturu na plohi, ne radi na jednobojnom zidu |
| procjena iz jedne slike | zaključuje dubinu obradom slike | radi svugdje, ali daje grube meke rubove |
Dubinski senzor nije nužan za proširenu stvarnost, ali je nužan za miješanu. Bez njega nema prostornog mapiranja ni pouzdanog zaklanjanja. Uređaj A iz projekta AR-1 nema dubinski senzor, pa se zaklanjanje rješava unaprijed pripremljenim nevidljivim plohama, kako je opisano u jedinici o miješanoj stvarnosti.
Pažnja
Dubinski senzori koji rade sa svjetlom u pogonu često nailaze na dvije smetnje: jako dnevno svjetlo kroz krovne prozore i sjajne metalne plohe. Obje daju rupe u mjerenju, koje se u prikazu vide kao mjesta na kojima zaklanjanje ne radi.
Zasloni i vidno polje
Kod tableta zaslon je jednostavan: gleda ga se s udaljenosti ruke i njegova je razlučivost poznata. Kod naočala je složenije, jer se slika stvara vrlo blizu oka i kroz optiku, pa se razlučivost sama po sebi ne može uspoređivati. Mjerodavna veličina je broj točaka po stupnju vidnog polja.
Uređaj B iz projekta AR-1 ima binokularni prikaz razlučivosti 2 × 1440 × 936 po oku i dijagonalno vidno polje od 43 stupnja. Dijagonala jedne slike iznosi približno 1717 točaka, pa na svaki stupanj vidnog polja dolazi oko 40 točaka. To je dovoljno za čitljiv tekst, ali vidno polje od 43 stupnja je usko: digitalni sadržaj stane u područje koje na udaljenosti od pola metra ima dijagonalu od približno 39 cm.
Postavite dijagonalno vidno polje, udaljenost do predmeta i uređaj. Prikaz računa koliku dijagonalu obuhvaća sadržaj na toj udaljenosti, koliko točaka dolazi na stupanj vidnog polja i koja je najmanja visina slova koja ostaje čitljiva.
Iz prikaza se vidi zamka koja se u ovom području stalno ponavlja. Šire vidno polje pri istoj razlučivosti znači manje točaka po stupnju, dakle krupnije i slabije čitljive pojedinosti. Uže vidno polje daje oštriju sliku, ali sadržaj mora biti manji ili razlomljen na dijelove. Izbor između toga dvoga jedna je od glavnih odluka pri nabavi naočala.
| Svojstvo zaslona | Tablet | Naočale |
|---|---|---|
| Vrsta prikaza | zaslon u ruci | binokularni prikaz kroz optiku |
| Vidno polje sadržaja | koliko obuhvati kamera | uže od ljudskog vidnog polja |
| Svjetlina | dovoljna u zatvorenom, slaba na suncu | presudna kod prozirnog stakla |
| Čitljivost teksta | provjerava se na radnoj udaljenosti | provjerava se u točkama po stupnju |
| Zamor | vrat i ruka | oči i vrat, ovisno o masi |
Svjetlina zaslona važna je više nego što se očekuje. Kod prikaza kroz prozirno staklo slika se natječe s okolnim svjetlom: pri 300 lx u hali sadržaj je jasan, a pri izlasku u dvorište gdje osvjetljenje prelazi nekoliko tisuća luksa gotovo nestaje. Zato se za rad na otvorenom koriste zatamnjena stakla ili uređaji s bitno većom svjetlinom.
Procesor, potrošnja i baterija
Procesor u ovakvim uređajima nije jedan sklop nego nekoliko dijelova u istom kućištu. Glavni dio vodi program, grafički dio crta sliku, a poseban dio ubrzava postupke strojnog učenja koji se koriste u prepoznavanju. Uz njih ide i dio koji obrađuje sliku iz kamere prije nego što dođe do programa.
Proširena stvarnost jedan je od najzahtjevnijih poslova koji uređaj može dobiti, jer sve to radi istodobno i neprekidno. Posljedice su dvije: velika potrošnja i zagrijavanje.
| Uzrok potrošnje | Udio u ukupnoj potrošnji | Kako se smanjuje |
|---|---|---|
| kamera i obrada slike | znatan, raste s razlučivošću | snimanje u manjoj razlučivosti za praćenje |
| crtanje scene | znatan, raste s brojem trokuta i veličinom tekstura | manje trokuta, razine detalja, jednostavniji materijali |
| zaslon | velik kod svijetlih prikaza | tamnija podloga, manja svjetlina |
| mreža | mali, ali stalan | učitavanje modela unaprijed, rad bez stalne veze |
Zagrijavanje je opasnije od same potrošnje. Kad uređaj prijeđe dopuštenu temperaturu, sam usporava procesor da se ohladi. Korisnik to vidi kao nagli pad broja sličica nakon desetak minuta rada, iako se ništa u aplikaciji nije promijenilo. Rješenje nije u jačem uređaju nego u manjem opterećenju: sadržaj koji se ne vidi ne crta se, a prepoznavanje se ne pokreće za svaku sličicu.
Trajanje rada iz baterije u ovakvim se primjenama mjeri u desecima minuta do nekoliko sati, ovisno o uređaju i opterećenju. Za rad u smjeni to znači da se planira punjenje ili zamjenska baterija. Kod naočala se baterija često izmješta na pojas, čime se smanjuje masa na glavi i produljuje rad.
Načini upravljanja
Način na koji korisnik upravlja aplikacijom bitno ovisi o uređaju i o tome što radi rukama.
| Način | Kako radi | Kad je prikladan |
|---|---|---|
| dodir zaslona | izravan i poznat svima | tablet, kad je jedna ruka slobodna |
| glasovne naredbe | kratke naredbe koje uređaj prepoznaje | kad su obje ruke zauzete; smeta buka pogona |
| pogled i stisak prstiju | pogledom se bira, stiskom potvrđuje | naočale; slabije radi u rukavicama |
| geste rukom | pokreti dlana pred kamerom | naočale, uz vidljive ruke |
| upravljač u ruci | gumbi i praćenje sa šest stupnjeva slobode | uvježbavanje i virtualna stvarnost |
| vanjski gumb ili nožna sklopka | jedan jasan signal | pogon s rukavicama i bukom, za listanje koraka |
Za projekt AR-1 najrobusnije je rješenje kombinacija: dodir kao osnova i velik gumb za prijelaz na sljedeći korak, dovoljno velik da se pogodi i u rukavici. Glasovne naredbe predviđaju se kao dodatak, uz svijest o tome da se u ćeliji paletizacije razina buke mijenja.
Bez obzira na način, vrijedi jedno pravilo: broj radnji potrebnih za prijelaz na sljedeći korak mora biti jedan. Svaki dodatni dodir u uvjetima rada s alatom u ruci znatno povećava vjerojatnost da će tehničar odustati od aplikacije i posegnuti za papirom.
Telefoni i tableti prema naočalama
Odluka o uređaju najčešće je odluka između onoga što pogon već ima i onoga što bi bilo idealno. Usporedba se svodi na nekoliko stavki.
| Obilježje | Telefon ili tablet | Naočale |
|---|---|---|
| Nabavna cijena | niska, uređaj često već postoji | visoka |
| Ruke korisnika | jedna zauzeta | obje slobodne |
| Vidno polje sadržaja | koliko i zaslon | usko, kod uređaja B 43° dijagonalno |
| Masa i nošenje | u ruci, oko 500 g | na glavi, kod uređaja B 566 g |
| Trajanje rada | duže, lako se puni | kraće, često uz vanjsku bateriju |
| Zajednički rad više osoba | jednostavno: svi gledaju u isti zaslon | traži dijeljena sidra |
| Higijena i dijeljenje uređaja | jednostavno | traži čišćenje i podešavanje po korisniku |
| Zrelost programske podrške | vrlo visoka | manja, uz brže promjene |
Za projekt AR-1 odabran je tablet kao uređaj A, uz naočale kao uređaj B za usporedbu. Razlog je praktičan: tablet je već u pogonu, aplikacija se na njemu gradi brže, a upute za zamjenu prihvatnice traju dvadesetak minuta, što je unutar udobnog držanja u ruci uz povremeno odlaganje na stalak.
Naočale postaju bolji izbor čim posao traje dulje i traži obje ruke, primjerice pri dugom podešavanju ili pri radu u skučenom prostoru. Tada usko vidno polje i masa na glavi postaju manji problem od stalnog odlaganja i ponovnog uzimanja tableta.
Zapamtite
Uređaj se ne bira prema tablici svojstava nego prema zadatku. Pitanja su uvijek ista: koliko dugo traje posao, jesu li ruke slobodne, koliko osoba gleda isti sadržaj i koliko je prostora oko korisnika.
Ključni pojmovi
| Pojam | Značenje |
|---|---|
| Inercijska mjerna jedinica | Sklop mjerača ubrzanja i brzine zakretanja po trima osima. |
| Stapanje mjerenja | Spajanje podataka kamere i inercijskih senzora u jednu procjenu položaja. |
| Senzor vremena povratka svjetla | Dubinski senzor koji mjeri vrijeme puta svjetla do plohe i natrag. |
| LiDAR | Dubinski senzor s nizom svjetlosnih impulsa, veće točnosti i dosega. |
| Točaka po stupnju | Mjerilo oštrine prikaza kod naočala; broj točaka na jedan stupanj vidnog polja. |
| Usporavanje zbog topline | Samostalno smanjenje brzine procesora radi hlađenja, uz pad broja sličica. |
| Očitanje redak po redak | Način snimanja kod kojeg dijelovi slike ne pripadaju istom trenutku. |
Provjeri se
Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.
Pitanje 1 od 6
Što na uređaju A ograničava kamera koja snima 30 sličica u sekundi?
Novo mjerenje položaja mete i nova slika iz kamere stižu 30 puta u sekundi; scenu procesor iscrtava vlastitim ritmom i taj broj smije biti veći.
Pitanje 2 od 6
Koja je glavna mana inercijskih senzora?
Mjere vrlo brzo, ali odstupanje naraste na metre u nekoliko sekundi bez ispravka slikom.
Pitanje 3 od 6
Što mjeri senzor vremena povratka svjetla?
Mjeri vrijeme koje svjetlo treba do plohe i natrag te iz njega računa udaljenost.
Pitanje 4 od 6
Što se događa sa slikom kad se pri istoj razlučivosti poveća vidno polje?
Isti broj točaka raspoređuje se na veći kut, pa je prikaz manje oštar.
Pitanje 5 od 6
Zašto broj sličica padne nakon desetak minuta rada, iako se aplikacija nije promijenila?
Pri prelasku dopuštene temperature uređaj smanjuje brzinu procesora radi hlađenja.
Pitanje 6 od 6
Koja je glavna prednost naočala pred tabletom u pogonu?
Vidno polje je uže, cijena viša, a baterija kraća; prednost su slobodne ruke.
Odgovoreno 0 od 6.