Preskoči na sadržaj
FORTRONIQ
IzbornikDigitalni sadržajiProširena stvarnost2. Teorijske osnove proširene stvarnosti2.5 Značajke pojedinih okruženja proširene stvarnosti

MODUL 2 · TEORIJSKE OSNOVE PROŠIRENE STVARNOSTI

Nastavna jedinica 2.5

Značajke pojedinih okruženja proširene stvarnosti

Okruženja proširene stvarnosti razvrstavaju se prema jednom pitanju: iz čega uređaj zaključuje gdje je. Odgovor može biti poznata slika, obilježja prostora, položaj na karti ili oblik samog predmeta. Ova jedinica opisuje svaku od tih skupina, njihove uvjete rada i mjerila po kojima se za zadani zadatak bira jedna od njih.

Moći ću:
  • razvrstati okruženja proširene stvarnosti prema načinu prepoznavanja prostora
  • opisati okruženja s metom i zahtjeve koje dobra meta mora ispuniti
  • objasniti rad okruženja bez mete i ulogu prepoznavanja ploha
  • objasniti načelo istodobne lokalizacije i mapiranja te pojam zatvaranja petlje
  • opisati praćenje objekta, lica i tijela te njihove primjene
  • procijeniti najveću radnu udaljenost iz mjera i ocjene mete

Četiri načina da uređaj zna gdje je

Sva okruženja proširene stvarnosti rješavaju isti zadatak: odrediti položaj i zakret uređaja u odnosu na nešto poznato. Razlikuju se po tome što je to poznato. Iz te razlike slijedi sve ostalo: koliko je praćenje točno, koliko traje priprema, radi li rješenje u zatvorenom ili na otvorenom i koliko je osjetljivo na promjene u okolini.

Četiri načina da uređaj odredi gdje je meta (marker) poznata slika vrlo točno traži pripremu radi izbliza bez mete (plohe) obilježja i plohe bez pripreme traži teksturu slobodno mjesto lokacijski (karta) položaj i smjer veliki prostori točnost u metrima samo na otvorenom praćenje objekta iz modela oblika prepoznaje stroj osjetljivo na sjaj sporije od mete u stvarnim rješenjima skupine se kombiniraju: meta postavlja ishodište, a obilježja prostora održavaju praćenje
Slika 2.5.1 — Četiri skupine okruženja prema onome iz čega uređaj zaključuje o svom položaju.

Podjela nije stroga. U pravilu se skupine kombiniraju: meta se koristi jednom, da postavi ishodište, a praćenje dalje održavaju obilježja prostora. Takvo je rješenje predviđeno i za projekt AR-1, jer tehničar mora moći obići robota bez stalnog gledanja u natpisnu pločicu.

Okruženja s metom

U okruženju s metom (marker-based AR) uređaj traži unaprijed poznatu sliku. Kad je nađe, iz njezinih poznatih mjera i izgleda u slici izračuna svoj položaj. To je najstariji, najtočniji i najpredvidljiviji način rada, pa se u industriji i dalje koristi najviše.

Mete se dijele na nekoliko vrsta.

Vrsta meteOpisGdje se koristi
oznaka s kvadratićimacrno-bijeli uzorak s obrubom i unutarnjim kodomgdje treba brzo i pouzdano prepoznavanje, uz dopuštenje da se oznaka zalijepi
slikovna metasvaka slika s dovoljno pojedinosti, primjerice natpisna pločicagdje se ne smije lijepiti ništa novo
valjkasta metaslika omotana oko valjkaspremnici, boce, cijevi
višedijelna metaviše ploha istog predmeta, primjerice kutijepredmeti koji se gledaju sa svih strana
meta iz modelapoznati oblik predmeta umjesto slikestrojevi i sklopovi bez otisnutih oznaka

Kakvoća mete opisuje se ocjenom prepoznatljivosti, obično na ljestvici od jedan do pet. Ocjena govori koliko u slici ima jasnih, jedinstvenih i raspoređenih pojedinosti iz kojih se računa položaj. Natpisna pločica iz projekta AR-1 ima ocjenu 4/5, što je za rad na udaljenosti do 1,2 m dovoljno.

Što podiže ocjenuŠto je snižava
oštri rubovi i jasan kontrastzamućena ili izblijedjela slika
nepravilan, nesimetričan uzoraksimetrija i ponavljanje istog uzorka
pojedinosti raspoređene po cijeloj površinipojedinosti skupljene u jednom kutu
matirana površinasjajna ili prozirna podloga
velike mjere u odnosu na radnu udaljenostsitna meta gledana izdaleka
tekst i crteži uz rubširoki prazni obrub bez sadržaja
Meta i najveća radna udaljenostRačunski prikaz

Postavite širinu mete, njezinu ocjenu prepoznatljivosti i razlučivost kamere po širini slike. Prikaz računa koliko točaka meta zauzima na udaljenosti od jednog metra i do koje se udaljenosti još pouzdano prepoznaje. Računa se za vodoravno vidno polje od 60 stupnjeva.

Širina mete na 1 m—točaka
Najveća radna udaljenost—m
Prikladnost za AR-1—

Prikaz pokazuje vezu koju je korisno zapamtiti: najveća radna udaljenost raste razmjerno širini mete i razlučivosti kamere, a pada s traženim brojem točaka koji meta mora zauzeti. Zato se problem preslabog praćenja izdaleka rješava većom metom prije nego boljom kamerom.

Okruženja bez mete

U okruženju bez mete (markerless AR) uređaj ne traži ništa poznato. U slici pronalazi obilježja — uglove, rubove, mrlje koje se dobro razlikuju od okoline — i prati kako se pomiču između sličica. Iz tog pomaka i iz mjerenja inercijskih senzora računa vlastito gibanje.

Iz oblaka obilježja izdvajaju se ravne plohe. Program traži skupine točaka koje leže u istoj ravnini, označava ih kao plohu i pridružuje im smjer okomice. Tako nastaju pod, stol i zid. Korisnik zatim pokazuje na plohu i na njoj postavlja sadržaj.

Prednost je očita: nema pripreme, ništa se ne lijepi i ništa se ne otiskuje. Cijena je nesigurnost. Prazna jednobojna ploha ne daje obilježja, pa se na njoj ne prepoznaje ništa. Sjajni pod daje lažna obilježja jer se odsjaji pomiču zajedno s korisnikom. Ishodište se postavlja ondje gdje je aplikacija pokrenuta, pa dva pokretanja daju dva različita koordinatna sustava.

ObilježjeS metomBez mete
Pripremaizrada, otisak i ocjena metenikakva
Mjerilo prostorapoznato iz mjera meteprocijenjeno iz senzora
Ishodišteuvijek isto, vezano uz metuondje gdje je aplikacija pokrenuta
Točnost poravnanjavisoka dok je meta vidljivaovisi o bogatstvu obilježja
Ponovljivostpotpuna: dva pokretanja daju istoslaba bez sidra
Rad na praznoj plohiradi ako je meta na njojne radi
Rad u velikom prostoruograničen na okolinu meteneograničen

Najkorisniji zaključak iz tablice jest da se pristupi ne isključuju. Meta rješava ishodište, mjerilo i ponovljivost; obilježja prostora rješavaju kretanje i doseg. Rješenje koje koristi samo jedno od toga ima slabost koju drugo pokriva.

Pažnja

Okruženje bez mete ne zna mjerilo prostora samo iz jedne kamere. Mjerilo dolazi iz inercijskih senzora, iz dubinskog senzora ili iz pretpostavke o visini uređaja nad podom. Ako je mjerilo krivo, model prihvatnice bit će prevelik ili premalen, a pogreška će se povećavati s udaljenošću.

Lokacijska proširena stvarnost

Lokacijski AR (location-based AR) veže sadržaj uz mjesto na karti svijeta, a ne uz predmet. Uređaj svoj položaj dobiva iz satelitskog sustava, smjer iz kompasa i nagib iz inercijskih senzora. Kad korisnik pogleda u nekom smjeru, aplikacija izračuna što se u tom smjeru nalazi i prikaže pripadnu oznaku.

Izvor podatkaTipična točnostOgraničenje
satelitski položaj3–10 mne radi u zatvorenim prostorima
satelitski položaj uz dopunu sa zemljemanje od 1 mtraži dodatnu uslugu i mrežu
kompas5–15°smeta mu blizina metala i motora
barometar1–2 m po visinimijenja se s vremenskim prilikama

Iz tablice se vidi zašto lokacijski AR ne dolazi u obzir za projekt AR-1. Točnost od nekoliko metara ne omogućuje pokazivanje vijka, a unutar hale satelitskog signala nema. Njegovo je područje drugdje: oznake na terenu, trase podzemnih vodova, orijentacija na velikim površinama i vođenje između objekata.

U industriji se lokacijski pristup ipak pojavljuje u jednoj ulozi — kao gruba predodabir. Uređaj iz položaja zaključi u kojem se dijelu pogona nalazi i unaprijed učita samo mete i modele za tu ćeliju. Time se skraćuje vrijeme prepoznavanja i smanjuje mogućnost zamjene sličnih meta.

Istodobna lokalizacija i mapiranje

Istodobna lokalizacija i mapiranje (simultaneous localization and mapping, SLAM) postupak je koji rješava dva zadatka odjednom: gradi kartu prostora i u toj karti određuje vlastiti položaj. Zadaci ovise jedan o drugome, jer za kartu treba znati gdje si, a da bi se znalo gdje si treba karta. Rješenje je u tome da se oba računaju istodobno i stalno ispravljaju.

Krug istodobne lokalizacije i mapiranja izdvajanje obilježja procjena pomaka dopuna karte zatvaranje petlje karta prostora raste i ispravlja se bez zatvaranja petlje pogreška se nakuplja i sadržaj polako klizi s mjesta
Slika 2.5.2 — Krug istodobne lokalizacije i mapiranja. Zatvaranje petlje ispravlja nakupljenu pogrešku kad uređaj prepozna već viđeno mjesto.

Ključan je posljednji korak. Dok uređaj hoda prostorom, svaka procjena pomaka nosi malu pogrešku, a pogreške se zbrajaju. Nakon obilaska ćelije uređaj bi se prema svojem računu mogao naći dvadesetak centimetara od mjesta na kojem doista jest. Zatvaranje petlje (loop closure) prepoznaje da je uređaj ponovno na već viđenom mjestu i tu razliku ispravlja odjednom, po cijeloj karti.

Za korisnika se to očituje kao mali trzaj sadržaja. Upute koje su polako kliznule vrate se na mjesto. Trzaj je neugodan, ali je manje zlo od pogreške koja bi bez ispravka i dalje rasla. Zato se u aplikacijama s uputama sadržaj namjerno veže uz sidra, koja se pri ispravku karte pomaknu zajedno s njom.

SLAM se rijetko oslanja samo na kameru. Uz sliku se koriste i mjerenja ubrzanja i brzine zakretanja, koja dolaze mnogo češće i premošćuju trenutke kad slika nije upotrebljiva. Takvo se spajanje naziva vizualno-inercijskim praćenjem i danas je pravilo, a ne iznimka.

Praćenje objekta, lica i tijela

Posljednja skupina ne traži ni sliku ni plohu nego poznati oblik.

Praćenje objekta polazi od trodimenzionalnog modela predmeta. Program iz modela unaprijed izračuna kako predmet izgleda iz mnogo smjerova, a zatim u slici traži podudaranje rubova. Prednost je velika: nikakva se oznaka ne lijepi, a sadržaj se veže izravno uz stroj. Ograničenja su jednako velika — sjajni i jednobojni predmeti daju premalo rubova, a predmet se mora podudarati s modelom.

Praćenje lica prepoznaje lice i na njemu desetke karakterističnih točaka. U industriji se koristi rijetko, uglavnom za provjeru nosi li radnik zaštitnu opremu i za prilagodbu prikaza položaju očiju kod naočala.

Praćenje tijela prepoznaje zglobove i iz njih gradi kostur. Primjena je u uvježbavanju pokreta, u provjeri držanja pri podizanju tereta i u sigurnosnim sustavima koji prate ulazak osobe u radni prostor stroja.

Vrsta praćenjaŠto se pratiTipična primjena u pogonu
objektarubovi i oblik predmeta prema modeluupute vezane izravno uz stroj bez oznaka
licakarakteristične točke licaprovjera zaštitne opreme, prilagodba naočala
tijelapoložaji zglobovauvježbavanje pokreta, nadzor radnog prostora
rukupoložaji prstiju i dlanaupravljanje sučeljem bez upravljača

Praćenje ruku vrijedi izdvojiti jer je za naočale postalo glavni način upravljanja. Korisnik pogledom bira, a stiskom prstiju potvrđuje. Za rad u pogonu to nije uvijek prikladno: u rukavicama prepoznavanje slabi, a ruke su često zauzete alatom.

Kako se bira okruženje

Izbor se u praksi svodi na nekoliko pitanja, postavljenih tim redom.

  • Smije li se na predmet nešto zalijepiti ili već postoji prikladna slika? Ako da, okruženje s metom je najjednostavnije i najtočnije.
  • Radi li se u zatvorenom prostoru? Ako da, lokacijski AR otpada.
  • Mora li sadržaj ostati na mjestu dok korisnik obilazi predmet? Ako da, uz metu treba i praćenje obilježja prostora sa sidrima.
  • Mora li sadržaj uzimati u obzir oblik prostora? Ako da, treba prostorno mapiranje, dakle uređaj s dubinskim senzorom.
  • Je li predmet dovoljno karakterističan da se prepozna sam? Ako da, praćenje objekta uklanja potrebu za metom.
Zahtjev projekta AR-1OdgovorPosljedica za izbor
postoji natpisna pločica ocjene 4/5daokruženje s metom kao polazište
rad u zatvorenoj halidalokacijski AR otpada
tehničar obilazi robotadadodatno praćenje obilježja i sidrenje
nema dubinskog senzora na uređaju Anezaklanjanje unaprijed pripremljenim plohama
robot je sjajan i jednobojandapraćenje objekta je nepouzdano

Iz tablice slijedi rješenje projekta: okruženje s metom za postavljanje ishodišta, praćenje obilježja prostora za održavanje položaja i trajno sidro za povratak sadržaja na mjesto. To je kombinacija koja je u industriji najčešća upravo zato što svaki njezin dio pokriva slabost onoga drugog.

Ključni pojmovi

PojamZnačenje
Okruženje s metomPrepoznavanje unaprijed poznate slike ili oznake iz koje se računa položaj.
Ocjena prepoznatljivostiMjerilo kakvoće mete, obično od jedan do pet.
Okruženje bez metePraćenje pomoću obilježja prostora i prepoznatih ploha.
Lokacijski ARVezanje sadržaja uz mjesto na karti pomoću satelitskog položaja i kompasa.
SLAMIstodobna gradnja karte prostora i određivanje vlastitog položaja u njoj.
Zatvaranje petljeIspravak nakupljene pogreške kad uređaj prepozna već viđeno mjesto.
Praćenje objektaPrepoznavanje predmeta prema njegovu trodimenzionalnom modelu.

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Pitanje 1 od 6

Što je glavna prednost okruženja s metom?

Poznate mjere mete daju i mjerilo i ishodište, pa je procjena položaja najpouzdanija.

Pitanje 2 od 6

Što snižava ocjenu prepoznatljivosti mete?

Simetrija i ponavljanje sprječavaju jednoznačno određivanje koji je dio mete koji.

Pitanje 3 od 6

Iz čega uređaj računa položaj u okruženju bez mete?

Uglovi i rubovi u slici prate se između sličica, a mjerilo dolazi iz senzora.

Pitanje 4 od 6

Čemu služi zatvaranje petlje u postupku SLAM?

Kad uređaj prepozna već viđeno mjesto, razlika se ispravlja po cijeloj karti odjednom.

Pitanje 5 od 6

Zašto lokacijski AR nije prikladan za projekt AR-1?

Za pokazivanje vijka potrebna je milimetarska točnost, a satelitski signal u hali ne postoji.

Pitanje 6 od 6

Koja je slabost praćenja objekta prema modelu?

Postupak se oslanja na podudaranje rubova, kojih na sjajnim jednobojnim plohama nema dovoljno.

Odgovoreno 0 od 6.