Ulazne tehnologije: praćenje, kontroleri, ruke i pogled

Što se prati: poza, 3DoF i 6DoF

Ulazne tehnologije daju sustavu podatke o korisniku: gdje mu je glava, kamo gleda, gdje su mu ruke i što njima radi. Osnovna veličina je poza (engl. pose) — položaj i orijentacija tijela u prostoru. Kruto tijelo u prostoru ima šest stupnjeva slobode (engl. degrees of freedom, DoF): tri pomaka i tri zakreta. U VR-u se zakreti glave obično zovu skretanje (lijevo-desno), posrtanje (gore-dolje) i valjanje (naginjanje glave prema ramenu).

Sustav s 3DoF mjeri samo orijentaciju. Dovoljan je za gledanje panoramskog videa ili sjedeći pregled modela, ali korisnik se ne može sagnuti prema stolu ni zaviriti ispod robota: kad pomakne glavu, slika ostane na mjestu, što mozak brzo prepozna kao nesklad. Sustav sa 6DoF mjeri i položaj. Za laboratorij VR-1 6DoF je nužan i za glavu i za obje ruke, jer korisnik hoda oko stola, saginje se i rukama slaže dijelove na udaljenosti od nekoliko centimetara jedan od drugoga.

Inercijska mjerna jedinica i fuzija senzora

U svakim naočalama i svakom kontroleru nalazi se inercijska mjerna jedinica (engl. inertial measurement unit, IMU). Čine je troosni akcelerometar, koji mjeri linearno ubrzanje zajedno s ubrzanjem sile teže, i troosni žiroskop, koji mjeri kutnu brzinu. Neke jedinice imaju i magnetometar za orijentaciju prema magnetskom polju Zemlje. IMU se očitava vrlo često, stotinama do nekoliko tisuća puta u sekundi, i ima zanemarivo kašnjenje, pa je izvrstan za brze promjene.

Slabost IMU-a je zanošenje (engl. drift). Orijentacija se dobiva integriranjem kutne brzine, a položaj dvostrukim integriranjem ubrzanja, pa se svaka mala pogreška mjerenja zbraja. Žiroskop s pogreškom od samo 0,01 °/s nakon minute zanese orijentaciju za 0,6°; položaj iz akcelerometra postane neupotrebljiv već za nekoliko sekundi. Zato IMU sam daje samo 3DoF i to uz povremenu korekciju smjera.

Rješenje je fuzija senzora (engl. sensor fusion): IMU daje brze, glatke promjene, a optički sustav (bazne stanice ili kamere) rjeđe, ali apsolutne podatke koji poništavaju zanošenje. Algoritam, najčešće neka inačica Kalmanova filtra, spaja oba izvora i ujedno predviđa pozu za trenutak u kojem će slika biti prikazana. Kad optički sustav na trenutak izgubi kontroler, fuzija se neko vrijeme oslanja samo na IMU, pa ruka u sceni još pola sekunde izgleda ispravno, a onda počne klizati ili se zamrzne.

Praćenje izvana prema unutra

Kod praćenja izvana prema unutra (engl. outside-in tracking) referentni uređaji stoje u prostoriji, a praćeni predmeti nose senzore ili oznake. Uređaj A iz zajedničkog primjera koristi dvije bazne stanice. Svaka stanica prostorom prelazi infracrvenim laserskim svjetlosnim ravninama; ovisno o inačici sustava, uz to emitira i infracrveni bljesak za sinkronizaciju. Fotodiode na naočalama i kontrolerima bilježe trenutke u kojima ih svjetlo pogodi; iz vremenskih razmaka i poznatog rasporeda fotodioda na kućištu računa se poza. Postoje i sustavi s vanjskim kamerama koje prate svijetleće ili reflektirajuće oznake, npr. sustavi za snimanje pokreta.

Prednosti vanjskog praćenja su visoka točnost, stabilnost i praćenje kontrolera i iza leđa korisnika, jer ga u pravilu vidi barem jedna stanica. Nedostaci su postavljanje (stanice treba učvrstiti na zid ili stalak, iznad glave i nagnute prema dolje), vezanost uz jednu prostoriju i osjetljivost na zaklanjanje kad između stanice i kontrolera stane druga osoba. Svjetlo iz prozora i sjajne plohe mogu smetati, a stanice ne smiju vibrirati jer svaki pomak stanice pomakne i cijelu scenu.

Za VR-1 preporučeni prostor za igru od 3,0 × 2,5 m uz granicu od 0,3 m od zida traži prostoriju od najmanje 3,6 × 3,1 m. Kad su stanice u suprotnim kutovima, razmak među njima je dijagonala prostorije, oko 4,75 m. Taj razmak treba usporediti s dometom koji proizvođač navodi za svoje stanice.

Praćenje iznutra prema van

Kod praćenja iznutra prema van (engl. inside-out tracking) kamere su na samim naočalama. Uređaj B ima četiri kamere koje snimaju prostoriju. Algoritam za istodobnu lokalizaciju i kartiranje (engl. simultaneous localization and mapping, SLAM) na slikama pronalazi prepoznatljive značajke — rubove, kutove, uzorke — gradi njihovu prostornu kartu i iz njihova pomaka računa pozu naočala. Kontrolere prate iste kamere, najčešće preko infracrvenih svjetlećih dioda u prstenu ili kućištu kontrolera.

Prednosti su očite: nema baznih stanica, nema postavljanja, naočale se prenose iz prostorije u prostoriju i mogu raditi samostalno. Iste kamere služe i za prolaz slike i za praćenje ruku. Nedostaci proizlaze iz toga što kamere gledaju prema naprijed i prema dolje:

• kontroler iza leđa, iznad glave ili vrlo blizu lica izlazi iz vidnog polja kamera, pa se neko vrijeme prati samo IMU-om;
• jednolično obojeni zidovi, prazan pod i tama daju premalo značajki za SLAM;
• zrcala, stakla i prozori s jakim suncem zbunjuju algoritam i mogu pomaknuti kartu;
• ako se namještaj pomakne, pohranjena karta i granica sigurnosti više ne odgovaraju prostoriji.

U ispitivanju VR-1 jedan od dva pala testna slučaja bio je hvatanje prekidača ispod ruba stola. Uzrok nije utvrđen u zapisniku; mogući uzrok, koji vrijedi provjeriti, jest da je ruka ispod ruba stola bila na granici vidnog polja kamera naočala. Neovisno o uzroku, dobra praksa je postaviti hvatište tako da korisnik pri hvatanju gleda u ruku.

Kontroleri

Kontroler je ručni ulazni uređaj s praćenom pozom i nekoliko ulaza. Tipičan kontroler za VR ima okidač (engl. trigger) pod kažiprstom, analogan od 0 do 1; tipku hvata (engl. grip) pod srednjim prstom; palčanu palicu (engl. thumbstick) ili dodirnu plohu; dvije tipke za palac i tipku izbornika. Mnogi kontroleri imaju kapacitivne senzore koji otkrivaju dodir prsta bez pritiska, pa virtualna ruka može pokazati ispružen kažiprst ili podignut palac. U kontroleru je i vibracijski motor za haptičku povratnu vezu.

Kontroleri su i danas najpouzdaniji ulaz: tipka daje nedvosmislen signal, haptika potvrđuje radnju, a praćenje je stabilnije nego praćenje golih ruku. Mana je što ruka drži predmet koji nema oblik alata ni dijela robota, pa hvatanje djeluje manje prirodno.

Praćenje ruku, pogleda i tijela

Praćenje ruku (engl. hand tracking) koristi kamere naočala i model šake naučen na velikom broju snimki. Rezultat je poza svakog zgloba: proširenje standarda OpenXR za praćenje ruku opisuje šaku s 26 zglobova. Iz njih se prepoznaju geste, najčešće štipanje palcem i kažiprstom za odabir i stisak šake za hvatanje. Ruke su prirodne i nema opreme koju treba puniti ili dezinficirati, ali nema tipke ni haptike, pa korisnik ne osjeti trenutak hvata. Prsti se zaklanjaju međusobno i s predmetom, a dulji rad s rukama u zraku umara ramena.

Praćenje pogleda (engl. eye tracking) koristi infracrvene kamere unutar naočala usmjerene u oči. Služi za odabir pogledom (pogled plus zadržavanje ili štipanje), za mjerenje razmaka zjenica, za analizu pozornosti polaznika i za foveirano iscrtavanje, kod kojeg se puna razlučivost troši samo ondje gdje oko gleda. Podaci o pogledu osobni su podaci, pa se za njihovo prikupljanje traži privola, a pohranjuju se samo ako su nužni.

Neki sustavi prate i lice, tijelo ili noge, dodatnim senzorima ili procjenom iz poza glave i ruku. Za VR-1 to nije potrebno.

Pogreška praćenja zbog kašnjenja

Dok podatak o pozi prođe kroz senzor, fuziju, aplikaciju i zaslon, glava i ruka se pomaknu. Bez predviđanja kutna pogreška jednaka je umnošku kutne brzine glave i kašnjenja, a pogreška položaja ruke umnošku brzine ruke i kašnjenja. Predviđanje uklanja veći dio te pogreške; ostatak se izražava udjelom koji predviđanje ne pokrije. Kutna pogreška pomnožena s brojem piksela po stupnju daje pomak slike na zaslonu.

Δφ = ω · t    Δφ_ost = Δφ · (1 − η)    Δx = v · t · (1 − η)

Za brz okret glave od 200 °/s i kašnjenje od 20 ms, koliko je cilj za VR-1, slika bi bez predviđanja zaostajala 4,0°. Uz predviđanje koje pokrije 90 % pogreške ostaje 0,40°, što je na uređaju A s oko 21 piksela po stupnju pomak od približno 8 piksela na vrhuncu okreta. Ruka koja se giba brzinom od 2 m/s bez predviđanja bi zaostajala 40 mm, a s predviđanjem oko 4 mm, što je dovoljno za hvatanje dijela robota. Ako kašnjenje naraste na 40 ms, npr. pri bežičnom prijenosu slike, sve se pogreške udvostruče. Učinak predviđanja od 90 % ovdje je pretpostavka za primjer, a ne izmjereni podatak određenog uređaja.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Vježbe uz jedinicu

Gradivo ove jedinice priprema za sljedeće vježbe:

• V6 Postavljanje VR sustava i prostora za igru · 2 sata