Preskoči na sadržaj
FORTRONIQ

MODUL 2 · TEORIJSKE OSNOVE PROŠIRENE STVARNOSTI

Nastavna jedinica 2.7

Vrste hardverskih rješenja

Uređaj za proširenu stvarnost mora istodobno gledati, mjeriti, računati i prikazivati, i to satima, iz baterije. Ova jedinica opisuje dijelove od kojih se sastoji — kamere, inercijske i dubinske senzore, zaslone, procesore i napajanje — te uspoređuje telefone i tablete s naočalama.

Moći ću:
  • opisati sklopovske dijelove uređaja i ulogu svakoga od njih
  • objasniti utjecaj svojstava kamere na prepoznavanje i praćenje
  • razlikovati inercijske i dubinske senzore prema onome što mjere
  • povezati vidno polje i razlučivost zaslona s čitljivošću prikaza
  • objasniti utjecaj potrošnje i zagrijavanja na trajanje rada
  • usporediti tablet i naočale i odabrati uređaj prema zahtjevima primjene

Od čega se uređaj sastoji

Bez obzira na to je li riječ o tabletu ili naočalama, sklopovski sastav je isti. Senzori prikupljaju podatke o prostoru i o gibanju, procesor ih obrađuje i crta sliku, zaslon tu sliku prikazuje, a baterija sve to napaja. Razlike među uređajima svode se na to koliko je svaki od tih dijelova sposoban i koliko troši.

Sklopovski sastav uređaja kamere inercijski senzori dubinski senzor dodir i mikrofon procesor glavni dio grafički dio dio za strojno učenje zaslon zvuk baterija isti sastav vrijedi za tablet i za naočale; razlikuju se sposobnost pojedinog dijela i njegova potrošnja
Slika 2.7.1 — Sklopovski sastav uređaja za proširenu stvarnost. Senzori ulaze u procesor, iz njega izlaze slika i zvuk, a baterija napaja cjelinu.

Iz sheme se čita i redoslijed kojim se traži uzrok kvara. Ako sadržaj uopće ne dolazi, provjeravaju se kamere i dopuštenja. Ako sadržaj kasni, provjerava se procesor i opterećenje crtanjem. Ako se uređaj gasi prije kraja smjene, provjerava se potrošnja i zagrijavanje.

Kamere

Kamera je osnovni senzor. Iz njezine slike izlazi sve: prepoznavanje mete, obilježja prostora, procjena osvjetljenja i, kod prikaza kroz zaslon, sam prizor. Četiri svojstva odlučuju o tome koliko je kamera dobra za ovaj posao.

SvojstvoŠto značiUtjecaj na rad
razlučivostkoliko točaka ima slika, npr. 1920 × 1080određuje najveću udaljenost na kojoj se meta prepoznaje
broj sličica u sekundikoliko se puta u sekundi snima, npr. 30ograničava praćenje i prizor iz kamere, ne i iscrtavanje scene
vidno poljekoliki kut obuhvaća, obično 60–90°šire polje vidi više obilježja, ali meta u njemu zauzima manje točaka
način očitanjasve točke odjednom ili redak po redakočitanje redak po redak izobličuje sliku pri brzom pomicanju

Način očitanja vrijedi objasniti. Većina kamera u telefonima očitava sliku redak po redak. Ako se uređaj pomiče dok se slika očitava, gornji i donji dio slike ne pripadaju istom trenutku, pa ravni rubovi izgledaju kosi. Za praćenje to znači sustavnu pogrešku koja raste s brzinom pokreta. Uređaji namijenjeni proširenoj stvarnosti zato često imaju dodatnu kameru koja očitava sve točke odjednom, s manjom razlučivošću ali bez tog izobličenja.

Uz glavnu kameru uređaji imaju i pomoćne. Široka kamera okrenuta prema prostoru služi praćenju, a ne slici koju korisnik vidi. Kamera okrenuta prema korisniku služi praćenju lica i očiju. Kod naočala takvih kamera zna biti četiri ili više, raspoređenih tako da uvijek barem dvije vide nešto korisno.

Uređaj A iz projekta AR-1 ima kameru 1920 × 1080 pri 30 sličica u sekundi. Tu brzinu treba razlikovati od brzine kojom uređaj iscrtava scenu. Kamera daje 30 novih slika u sekundi, pa se ni praćenje ni prizor iz kamere ne mogu osvježiti češće: novo mjerenje položaja mete stiže najviše tridesetak puta u sekundi. Scenu s digitalnim objektima procesor crta vlastitim ritmom i taj broj smije biti veći, pa se na uređaju A mjeri 34 do 35 sličica u sekundi. Zato je cilj projekta zapisan kao najmanje 30 sličica u sekundi: to je brzina koju podloga praćenja pouzdano nosi. Traženje 60 sličica u sekundi na tom uređaju ne bi imalo smisla, jer bi se svaka druga sličica crtala iz istoga mjerenja kamere.

Inercijski i dubinski senzori

Inercijski senzori mjere gibanje samog uređaja. Mjerač ubrzanja mjeri ubrzanje po trima osima, a mjerač brzine zakretanja mjeri koliko se brzo uređaj okreće oko triju osi. Zajedno daju šest mjerenja, pa se sklop naziva i inercijskom mjernom jedinicom. Uz njih obično ide i mjerač magnetskog polja, koji daje grubi smjer prema sjeveru.

Prednost inercijskih senzora je brzina: mjere nekoliko stotina puta u sekundi, dok kamera daje tridesetak sličica. Mana je nakupljanje pogreške. Ako se položaj računa samo iz njih, odstupanje naraste na metre u nekoliko sekundi. Zato se koriste u paru s kamerom: slika ispravlja nakupljenu pogrešku, a senzori premošćuju trenutke kad slika nije upotrebljiva. To spajanje naziva se stapanjem mjerenja.

Dubinski senzori mjere udaljenost do ploha. Dvije su izvedbe uobičajene.

IzvedbaNačelo radaDoseg i granice
senzor vremena povratka svjetla (ToF)mjeri vrijeme koje svjetlo treba do plohe i natragdo nekoliko metara; smetaju mu sunce, sjajne i tamne plohe
LiDARšalje niz svjetlosnih impulsa i mjeri povratak za svaku točkudo desetak metara, veća točnost i gustoća, veća potrošnja
dvije kamereračuna udaljenost iz razlike dviju slikatraži teksturu na plohi, ne radi na jednobojnom zidu
procjena iz jedne slikezaključuje dubinu obradom slikeradi svugdje, ali daje grube meke rubove

Dubinski senzor nije nužan za proširenu stvarnost, ali je nužan za miješanu. Bez njega nema prostornog mapiranja ni pouzdanog zaklanjanja. Uređaj A iz projekta AR-1 nema dubinski senzor, pa se zaklanjanje rješava unaprijed pripremljenim nevidljivim plohama, kako je opisano u jedinici o miješanoj stvarnosti.

Pažnja

Dubinski senzori koji rade sa svjetlom u pogonu često nailaze na dvije smetnje: jako dnevno svjetlo kroz krovne prozore i sjajne metalne plohe. Obje daju rupe u mjerenju, koje se u prikazu vide kao mjesta na kojima zaklanjanje ne radi.

Zasloni i vidno polje

Kod tableta zaslon je jednostavan: gleda ga se s udaljenosti ruke i njegova je razlučivost poznata. Kod naočala je složenije, jer se slika stvara vrlo blizu oka i kroz optiku, pa se razlučivost sama po sebi ne može uspoređivati. Mjerodavna veličina je broj točaka po stupnju vidnog polja.

Uređaj B iz projekta AR-1 ima binokularni prikaz razlučivosti 2 × 1440 × 936 po oku i dijagonalno vidno polje od 43 stupnja. Dijagonala jedne slike iznosi približno 1717 točaka, pa na svaki stupanj vidnog polja dolazi oko 40 točaka. To je dovoljno za čitljiv tekst, ali vidno polje od 43 stupnja je usko: digitalni sadržaj stane u područje koje na udaljenosti od pola metra ima dijagonalu od približno 39 cm.

Vidno polje i veličina vidnog područja uređaj vidno polje vidno područje udaljenost do predmeta
Slika 2.7.2 — Vidno polje uređaja određuje koliko je područje u kojem se sadržaj uopće može prikazati; područje raste s udaljenošću.
Vidno polje, točke po stupnju i čitljivostRačunski prikaz

Postavite dijagonalno vidno polje, udaljenost do predmeta i uređaj. Prikaz računa koliku dijagonalu obuhvaća sadržaj na toj udaljenosti, koliko točaka dolazi na stupanj vidnog polja i koja je najmanja visina slova koja ostaje čitljiva.

Dijagonala vidnog područja—mm
Točaka po stupnju—
Najmanja čitljiva visina slova—mm

Iz prikaza se vidi zamka koja se u ovom području stalno ponavlja. Šire vidno polje pri istoj razlučivosti znači manje točaka po stupnju, dakle krupnije i slabije čitljive pojedinosti. Uže vidno polje daje oštriju sliku, ali sadržaj mora biti manji ili razlomljen na dijelove. Izbor između toga dvoga jedna je od glavnih odluka pri nabavi naočala.

Svojstvo zaslonaTabletNaočale
Vrsta prikazazaslon u rucibinokularni prikaz kroz optiku
Vidno polje sadržajakoliko obuhvati kamerauže od ljudskog vidnog polja
Svjetlinadovoljna u zatvorenom, slaba na suncupresudna kod prozirnog stakla
Čitljivost tekstaprovjerava se na radnoj udaljenostiprovjerava se u točkama po stupnju
Zamorvrat i rukaoči i vrat, ovisno o masi

Svjetlina zaslona važna je više nego što se očekuje. Kod prikaza kroz prozirno staklo slika se natječe s okolnim svjetlom: pri 300 lx u hali sadržaj je jasan, a pri izlasku u dvorište gdje osvjetljenje prelazi nekoliko tisuća luksa gotovo nestaje. Zato se za rad na otvorenom koriste zatamnjena stakla ili uređaji s bitno većom svjetlinom.

Procesor, potrošnja i baterija

Procesor u ovakvim uređajima nije jedan sklop nego nekoliko dijelova u istom kućištu. Glavni dio vodi program, grafički dio crta sliku, a poseban dio ubrzava postupke strojnog učenja koji se koriste u prepoznavanju. Uz njih ide i dio koji obrađuje sliku iz kamere prije nego što dođe do programa.

Proširena stvarnost jedan je od najzahtjevnijih poslova koji uređaj može dobiti, jer sve to radi istodobno i neprekidno. Posljedice su dvije: velika potrošnja i zagrijavanje.

Uzrok potrošnjeUdio u ukupnoj potrošnjiKako se smanjuje
kamera i obrada slikeznatan, raste s razlučivošćusnimanje u manjoj razlučivosti za praćenje
crtanje sceneznatan, raste s brojem trokuta i veličinom teksturamanje trokuta, razine detalja, jednostavniji materijali
zaslonvelik kod svijetlih prikazatamnija podloga, manja svjetlina
mrežamali, ali stalanučitavanje modela unaprijed, rad bez stalne veze

Zagrijavanje je opasnije od same potrošnje. Kad uređaj prijeđe dopuštenu temperaturu, sam usporava procesor da se ohladi. Korisnik to vidi kao nagli pad broja sličica nakon desetak minuta rada, iako se ništa u aplikaciji nije promijenilo. Rješenje nije u jačem uređaju nego u manjem opterećenju: sadržaj koji se ne vidi ne crta se, a prepoznavanje se ne pokreće za svaku sličicu.

Trajanje rada iz baterije u ovakvim se primjenama mjeri u desecima minuta do nekoliko sati, ovisno o uređaju i opterećenju. Za rad u smjeni to znači da se planira punjenje ili zamjenska baterija. Kod naočala se baterija često izmješta na pojas, čime se smanjuje masa na glavi i produljuje rad.

Načini upravljanja

Način na koji korisnik upravlja aplikacijom bitno ovisi o uređaju i o tome što radi rukama.

NačinKako radiKad je prikladan
dodir zaslonaizravan i poznat svimatablet, kad je jedna ruka slobodna
glasovne naredbekratke naredbe koje uređaj prepoznajekad su obje ruke zauzete; smeta buka pogona
pogled i stisak prstijupogledom se bira, stiskom potvrđujenaočale; slabije radi u rukavicama
geste rukompokreti dlana pred kameromnaočale, uz vidljive ruke
upravljač u rucigumbi i praćenje sa šest stupnjeva slobodeuvježbavanje i virtualna stvarnost
vanjski gumb ili nožna sklopkajedan jasan signalpogon s rukavicama i bukom, za listanje koraka

Za projekt AR-1 najrobusnije je rješenje kombinacija: dodir kao osnova i velik gumb za prijelaz na sljedeći korak, dovoljno velik da se pogodi i u rukavici. Glasovne naredbe predviđaju se kao dodatak, uz svijest o tome da se u ćeliji paletizacije razina buke mijenja.

Bez obzira na način, vrijedi jedno pravilo: broj radnji potrebnih za prijelaz na sljedeći korak mora biti jedan. Svaki dodatni dodir u uvjetima rada s alatom u ruci znatno povećava vjerojatnost da će tehničar odustati od aplikacije i posegnuti za papirom.

Telefoni i tableti prema naočalama

Odluka o uređaju najčešće je odluka između onoga što pogon već ima i onoga što bi bilo idealno. Usporedba se svodi na nekoliko stavki.

ObilježjeTelefon ili tabletNaočale
Nabavna cijenaniska, uređaj često već postojivisoka
Ruke korisnikajedna zauzetaobje slobodne
Vidno polje sadržajakoliko i zaslonusko, kod uređaja B 43° dijagonalno
Masa i nošenjeu ruci, oko 500 gna glavi, kod uređaja B 566 g
Trajanje radaduže, lako se punikraće, često uz vanjsku bateriju
Zajednički rad više osobajednostavno: svi gledaju u isti zaslontraži dijeljena sidra
Higijena i dijeljenje uređajajednostavnotraži čišćenje i podešavanje po korisniku
Zrelost programske podrškevrlo visokamanja, uz brže promjene

Za projekt AR-1 odabran je tablet kao uređaj A, uz naočale kao uređaj B za usporedbu. Razlog je praktičan: tablet je već u pogonu, aplikacija se na njemu gradi brže, a upute za zamjenu prihvatnice traju dvadesetak minuta, što je unutar udobnog držanja u ruci uz povremeno odlaganje na stalak.

Naočale postaju bolji izbor čim posao traje dulje i traži obje ruke, primjerice pri dugom podešavanju ili pri radu u skučenom prostoru. Tada usko vidno polje i masa na glavi postaju manji problem od stalnog odlaganja i ponovnog uzimanja tableta.

Zapamtite

Uređaj se ne bira prema tablici svojstava nego prema zadatku. Pitanja su uvijek ista: koliko dugo traje posao, jesu li ruke slobodne, koliko osoba gleda isti sadržaj i koliko je prostora oko korisnika.

Ključni pojmovi

PojamZnačenje
Inercijska mjerna jedinicaSklop mjerača ubrzanja i brzine zakretanja po trima osima.
Stapanje mjerenjaSpajanje podataka kamere i inercijskih senzora u jednu procjenu položaja.
Senzor vremena povratka svjetlaDubinski senzor koji mjeri vrijeme puta svjetla do plohe i natrag.
LiDARDubinski senzor s nizom svjetlosnih impulsa, veće točnosti i dosega.
Točaka po stupnjuMjerilo oštrine prikaza kod naočala; broj točaka na jedan stupanj vidnog polja.
Usporavanje zbog toplineSamostalno smanjenje brzine procesora radi hlađenja, uz pad broja sličica.
Očitanje redak po redakNačin snimanja kod kojeg dijelovi slike ne pripadaju istom trenutku.

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Pitanje 1 od 6

Što na uređaju A ograničava kamera koja snima 30 sličica u sekundi?

Novo mjerenje položaja mete i nova slika iz kamere stižu 30 puta u sekundi; scenu procesor iscrtava vlastitim ritmom i taj broj smije biti veći.

Pitanje 2 od 6

Koja je glavna mana inercijskih senzora?

Mjere vrlo brzo, ali odstupanje naraste na metre u nekoliko sekundi bez ispravka slikom.

Pitanje 3 od 6

Što mjeri senzor vremena povratka svjetla?

Mjeri vrijeme koje svjetlo treba do plohe i natrag te iz njega računa udaljenost.

Pitanje 4 od 6

Što se događa sa slikom kad se pri istoj razlučivosti poveća vidno polje?

Isti broj točaka raspoređuje se na veći kut, pa je prikaz manje oštar.

Pitanje 5 od 6

Zašto broj sličica padne nakon desetak minuta rada, iako se aplikacija nije promijenila?

Pri prelasku dopuštene temperature uređaj smanjuje brzinu procesora radi hlađenja.

Pitanje 6 od 6

Koja je glavna prednost naočala pred tabletom u pogonu?

Vidno polje je uže, cijena viša, a baterija kraća; prednost su slobodne ruke.

Odgovoreno 0 od 6.