MODUL 2 · TEORIJSKE OSNOVE PROŠIRENE STVARNOSTI
Nastavna jedinica 2.5
Značajke pojedinih okruženja proširene stvarnosti
Okruženja proširene stvarnosti razvrstavaju se prema jednom pitanju: iz čega uređaj zaključuje gdje je. Odgovor može biti poznata slika, obilježja prostora, položaj na karti ili oblik samog predmeta. Ova jedinica opisuje svaku od tih skupina, njihove uvjete rada i mjerila po kojima se za zadani zadatak bira jedna od njih.
- razvrstati okruženja proširene stvarnosti prema načinu prepoznavanja prostora
- opisati okruženja s metom i zahtjeve koje dobra meta mora ispuniti
- objasniti rad okruženja bez mete i ulogu prepoznavanja ploha
- objasniti načelo istodobne lokalizacije i mapiranja te pojam zatvaranja petlje
- opisati praćenje objekta, lica i tijela te njihove primjene
- procijeniti najveću radnu udaljenost iz mjera i ocjene mete
Četiri načina da uređaj zna gdje je
Sva okruženja proširene stvarnosti rješavaju isti zadatak: odrediti položaj i zakret uređaja u odnosu na nešto poznato. Razlikuju se po tome što je to poznato. Iz te razlike slijedi sve ostalo: koliko je praćenje točno, koliko traje priprema, radi li rješenje u zatvorenom ili na otvorenom i koliko je osjetljivo na promjene u okolini.
Podjela nije stroga. U pravilu se skupine kombiniraju: meta se koristi jednom, da postavi ishodište, a praćenje dalje održavaju obilježja prostora. Takvo je rješenje predviđeno i za projekt AR-1, jer tehničar mora moći obići robota bez stalnog gledanja u natpisnu pločicu.
Okruženja s metom
U okruženju s metom (marker-based AR) uređaj traži unaprijed poznatu sliku. Kad je nađe, iz njezinih poznatih mjera i izgleda u slici izračuna svoj položaj. To je najstariji, najtočniji i najpredvidljiviji način rada, pa se u industriji i dalje koristi najviše.
Mete se dijele na nekoliko vrsta.
| Vrsta mete | Opis | Gdje se koristi |
|---|---|---|
| oznaka s kvadratićima | crno-bijeli uzorak s obrubom i unutarnjim kodom | gdje treba brzo i pouzdano prepoznavanje, uz dopuštenje da se oznaka zalijepi |
| slikovna meta | svaka slika s dovoljno pojedinosti, primjerice natpisna pločica | gdje se ne smije lijepiti ništa novo |
| valjkasta meta | slika omotana oko valjka | spremnici, boce, cijevi |
| višedijelna meta | više ploha istog predmeta, primjerice kutije | predmeti koji se gledaju sa svih strana |
| meta iz modela | poznati oblik predmeta umjesto slike | strojevi i sklopovi bez otisnutih oznaka |
Kakvoća mete opisuje se ocjenom prepoznatljivosti, obično na ljestvici od jedan do pet. Ocjena govori koliko u slici ima jasnih, jedinstvenih i raspoređenih pojedinosti iz kojih se računa položaj. Natpisna pločica iz projekta AR-1 ima ocjenu 4/5, što je za rad na udaljenosti do 1,2 m dovoljno.
| Što podiže ocjenu | Što je snižava |
|---|---|
| oštri rubovi i jasan kontrast | zamućena ili izblijedjela slika |
| nepravilan, nesimetričan uzorak | simetrija i ponavljanje istog uzorka |
| pojedinosti raspoređene po cijeloj površini | pojedinosti skupljene u jednom kutu |
| matirana površina | sjajna ili prozirna podloga |
| velike mjere u odnosu na radnu udaljenost | sitna meta gledana izdaleka |
| tekst i crteži uz rub | široki prazni obrub bez sadržaja |
Postavite širinu mete, njezinu ocjenu prepoznatljivosti i razlučivost kamere po širini slike. Prikaz računa koliko točaka meta zauzima na udaljenosti od jednog metra i do koje se udaljenosti još pouzdano prepoznaje. Računa se za vodoravno vidno polje od 60 stupnjeva.
Prikaz pokazuje vezu koju je korisno zapamtiti: najveća radna udaljenost raste razmjerno širini mete i razlučivosti kamere, a pada s traženim brojem točaka koji meta mora zauzeti. Zato se problem preslabog praćenja izdaleka rješava većom metom prije nego boljom kamerom.
Okruženja bez mete
U okruženju bez mete (markerless AR) uređaj ne traži ništa poznato. U slici pronalazi obilježja — uglove, rubove, mrlje koje se dobro razlikuju od okoline — i prati kako se pomiču između sličica. Iz tog pomaka i iz mjerenja inercijskih senzora računa vlastito gibanje.
Iz oblaka obilježja izdvajaju se ravne plohe. Program traži skupine točaka koje leže u istoj ravnini, označava ih kao plohu i pridružuje im smjer okomice. Tako nastaju pod, stol i zid. Korisnik zatim pokazuje na plohu i na njoj postavlja sadržaj.
Prednost je očita: nema pripreme, ništa se ne lijepi i ništa se ne otiskuje. Cijena je nesigurnost. Prazna jednobojna ploha ne daje obilježja, pa se na njoj ne prepoznaje ništa. Sjajni pod daje lažna obilježja jer se odsjaji pomiču zajedno s korisnikom. Ishodište se postavlja ondje gdje je aplikacija pokrenuta, pa dva pokretanja daju dva različita koordinatna sustava.
| Obilježje | S metom | Bez mete |
|---|---|---|
| Priprema | izrada, otisak i ocjena mete | nikakva |
| Mjerilo prostora | poznato iz mjera mete | procijenjeno iz senzora |
| Ishodište | uvijek isto, vezano uz metu | ondje gdje je aplikacija pokrenuta |
| Točnost poravnanja | visoka dok je meta vidljiva | ovisi o bogatstvu obilježja |
| Ponovljivost | potpuna: dva pokretanja daju isto | slaba bez sidra |
| Rad na praznoj plohi | radi ako je meta na njoj | ne radi |
| Rad u velikom prostoru | ograničen na okolinu mete | neograničen |
Najkorisniji zaključak iz tablice jest da se pristupi ne isključuju. Meta rješava ishodište, mjerilo i ponovljivost; obilježja prostora rješavaju kretanje i doseg. Rješenje koje koristi samo jedno od toga ima slabost koju drugo pokriva.
Pažnja
Okruženje bez mete ne zna mjerilo prostora samo iz jedne kamere. Mjerilo dolazi iz inercijskih senzora, iz dubinskog senzora ili iz pretpostavke o visini uređaja nad podom. Ako je mjerilo krivo, model prihvatnice bit će prevelik ili premalen, a pogreška će se povećavati s udaljenošću.
Lokacijska proširena stvarnost
Lokacijski AR (location-based AR) veže sadržaj uz mjesto na karti svijeta, a ne uz predmet. Uređaj svoj položaj dobiva iz satelitskog sustava, smjer iz kompasa i nagib iz inercijskih senzora. Kad korisnik pogleda u nekom smjeru, aplikacija izračuna što se u tom smjeru nalazi i prikaže pripadnu oznaku.
| Izvor podatka | Tipična točnost | Ograničenje |
|---|---|---|
| satelitski položaj | 3–10 m | ne radi u zatvorenim prostorima |
| satelitski položaj uz dopunu sa zemlje | manje od 1 m | traži dodatnu uslugu i mrežu |
| kompas | 5–15° | smeta mu blizina metala i motora |
| barometar | 1–2 m po visini | mijenja se s vremenskim prilikama |
Iz tablice se vidi zašto lokacijski AR ne dolazi u obzir za projekt AR-1. Točnost od nekoliko metara ne omogućuje pokazivanje vijka, a unutar hale satelitskog signala nema. Njegovo je područje drugdje: oznake na terenu, trase podzemnih vodova, orijentacija na velikim površinama i vođenje između objekata.
U industriji se lokacijski pristup ipak pojavljuje u jednoj ulozi — kao gruba predodabir. Uređaj iz položaja zaključi u kojem se dijelu pogona nalazi i unaprijed učita samo mete i modele za tu ćeliju. Time se skraćuje vrijeme prepoznavanja i smanjuje mogućnost zamjene sličnih meta.
Istodobna lokalizacija i mapiranje
Istodobna lokalizacija i mapiranje (simultaneous localization and mapping, SLAM) postupak je koji rješava dva zadatka odjednom: gradi kartu prostora i u toj karti određuje vlastiti položaj. Zadaci ovise jedan o drugome, jer za kartu treba znati gdje si, a da bi se znalo gdje si treba karta. Rješenje je u tome da se oba računaju istodobno i stalno ispravljaju.
Ključan je posljednji korak. Dok uređaj hoda prostorom, svaka procjena pomaka nosi malu pogrešku, a pogreške se zbrajaju. Nakon obilaska ćelije uređaj bi se prema svojem računu mogao naći dvadesetak centimetara od mjesta na kojem doista jest. Zatvaranje petlje (loop closure) prepoznaje da je uređaj ponovno na već viđenom mjestu i tu razliku ispravlja odjednom, po cijeloj karti.
Za korisnika se to očituje kao mali trzaj sadržaja. Upute koje su polako kliznule vrate se na mjesto. Trzaj je neugodan, ali je manje zlo od pogreške koja bi bez ispravka i dalje rasla. Zato se u aplikacijama s uputama sadržaj namjerno veže uz sidra, koja se pri ispravku karte pomaknu zajedno s njom.
SLAM se rijetko oslanja samo na kameru. Uz sliku se koriste i mjerenja ubrzanja i brzine zakretanja, koja dolaze mnogo češće i premošćuju trenutke kad slika nije upotrebljiva. Takvo se spajanje naziva vizualno-inercijskim praćenjem i danas je pravilo, a ne iznimka.
Praćenje objekta, lica i tijela
Posljednja skupina ne traži ni sliku ni plohu nego poznati oblik.
Praćenje objekta polazi od trodimenzionalnog modela predmeta. Program iz modela unaprijed izračuna kako predmet izgleda iz mnogo smjerova, a zatim u slici traži podudaranje rubova. Prednost je velika: nikakva se oznaka ne lijepi, a sadržaj se veže izravno uz stroj. Ograničenja su jednako velika — sjajni i jednobojni predmeti daju premalo rubova, a predmet se mora podudarati s modelom.
Praćenje lica prepoznaje lice i na njemu desetke karakterističnih točaka. U industriji se koristi rijetko, uglavnom za provjeru nosi li radnik zaštitnu opremu i za prilagodbu prikaza položaju očiju kod naočala.
Praćenje tijela prepoznaje zglobove i iz njih gradi kostur. Primjena je u uvježbavanju pokreta, u provjeri držanja pri podizanju tereta i u sigurnosnim sustavima koji prate ulazak osobe u radni prostor stroja.
| Vrsta praćenja | Što se prati | Tipična primjena u pogonu |
|---|---|---|
| objekta | rubovi i oblik predmeta prema modelu | upute vezane izravno uz stroj bez oznaka |
| lica | karakteristične točke lica | provjera zaštitne opreme, prilagodba naočala |
| tijela | položaji zglobova | uvježbavanje pokreta, nadzor radnog prostora |
| ruku | položaji prstiju i dlana | upravljanje sučeljem bez upravljača |
Praćenje ruku vrijedi izdvojiti jer je za naočale postalo glavni način upravljanja. Korisnik pogledom bira, a stiskom prstiju potvrđuje. Za rad u pogonu to nije uvijek prikladno: u rukavicama prepoznavanje slabi, a ruke su često zauzete alatom.
Kako se bira okruženje
Izbor se u praksi svodi na nekoliko pitanja, postavljenih tim redom.
- Smije li se na predmet nešto zalijepiti ili već postoji prikladna slika? Ako da, okruženje s metom je najjednostavnije i najtočnije.
- Radi li se u zatvorenom prostoru? Ako da, lokacijski AR otpada.
- Mora li sadržaj ostati na mjestu dok korisnik obilazi predmet? Ako da, uz metu treba i praćenje obilježja prostora sa sidrima.
- Mora li sadržaj uzimati u obzir oblik prostora? Ako da, treba prostorno mapiranje, dakle uređaj s dubinskim senzorom.
- Je li predmet dovoljno karakterističan da se prepozna sam? Ako da, praćenje objekta uklanja potrebu za metom.
| Zahtjev projekta AR-1 | Odgovor | Posljedica za izbor |
|---|---|---|
| postoji natpisna pločica ocjene 4/5 | da | okruženje s metom kao polazište |
| rad u zatvorenoj hali | da | lokacijski AR otpada |
| tehničar obilazi robota | da | dodatno praćenje obilježja i sidrenje |
| nema dubinskog senzora na uređaju A | ne | zaklanjanje unaprijed pripremljenim plohama |
| robot je sjajan i jednobojan | da | praćenje objekta je nepouzdano |
Iz tablice slijedi rješenje projekta: okruženje s metom za postavljanje ishodišta, praćenje obilježja prostora za održavanje položaja i trajno sidro za povratak sadržaja na mjesto. To je kombinacija koja je u industriji najčešća upravo zato što svaki njezin dio pokriva slabost onoga drugog.
Ključni pojmovi
| Pojam | Značenje |
|---|---|
| Okruženje s metom | Prepoznavanje unaprijed poznate slike ili oznake iz koje se računa položaj. |
| Ocjena prepoznatljivosti | Mjerilo kakvoće mete, obično od jedan do pet. |
| Okruženje bez mete | Praćenje pomoću obilježja prostora i prepoznatih ploha. |
| Lokacijski AR | Vezanje sadržaja uz mjesto na karti pomoću satelitskog položaja i kompasa. |
| SLAM | Istodobna gradnja karte prostora i određivanje vlastitog položaja u njoj. |
| Zatvaranje petlje | Ispravak nakupljene pogreške kad uređaj prepozna već viđeno mjesto. |
| Praćenje objekta | Prepoznavanje predmeta prema njegovu trodimenzionalnom modelu. |
Provjeri se
Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.
Pitanje 1 od 6
Što je glavna prednost okruženja s metom?
Poznate mjere mete daju i mjerilo i ishodište, pa je procjena položaja najpouzdanija.
Pitanje 2 od 6
Što snižava ocjenu prepoznatljivosti mete?
Simetrija i ponavljanje sprječavaju jednoznačno određivanje koji je dio mete koji.
Pitanje 3 od 6
Iz čega uređaj računa položaj u okruženju bez mete?
Uglovi i rubovi u slici prate se između sličica, a mjerilo dolazi iz senzora.
Pitanje 4 od 6
Čemu služi zatvaranje petlje u postupku SLAM?
Kad uređaj prepozna već viđeno mjesto, razlika se ispravlja po cijeloj karti odjednom.
Pitanje 5 od 6
Zašto lokacijski AR nije prikladan za projekt AR-1?
Za pokazivanje vijka potrebna je milimetarska točnost, a satelitski signal u hali ne postoji.
Pitanje 6 od 6
Koja je slabost praćenja objekta prema modelu?
Postupak se oslanja na podudaranje rubova, kojih na sjajnim jednobojnim plohama nema dovoljno.
Odgovoreno 0 od 6.