Hardverski segmenti u sceni: kamera, kontroleri i ruke

VR pijun i njegova hijerarhija

U VR aplikaciji korisnik je predstavljen jednim objektom koji se u okruženju s nacrtima (npr. Unreal Engine) zove pijun (engl. pawn), a u okruženju s C# skriptama (npr. Unity) najčešće XR rig ili ishodište XR-a. Taj objekt nosi sve što je praćeno: glavu kao kameru i ruke kao kontrolere pokreta. Predložak VR projekta iz jedinice 3.1 donosi gotov pijun; ovdje se objašnjava kako je složen, da ga možete prilagoditi laboratoriju VR-1.

Ključ je hijerarhija (engl. hierarchy): položaji djece zadaju se u odnosu na roditelja. Na vrhu je korijen pijuna, ispod njega ishodište VR prostora koje odgovara sredini stvarnog prostora za igru na podu. Kamera i kontroleri su djeca tog ishodišta i pokretač im svaki okvir upisuje položaj i orijentaciju u odnosu na njega. Kad se pijun teleportira (jedinica 3.5), pomiče se korijen, a glava i ruke ostaju na istom mjestu u odnosu na tijelo korisnika.

Uz kontroler se u hijerarhiji nalaze model ruke (skeletna mreža), točka hvata (engl. attach point) na koju se pričvršćuje uhvaćeni predmet, mala sfera za otkrivanje predmeta u dohvatu i zraka za daljinsko ciljanje. Sve se to pomiče zajedno s kontrolerom jer je njegovo dijete.

Kamera na visini očiju

Kod praćenja sa šest stupnjeva slobode (6DoF) kameru ne postavljate vi, nego uređaj. Pokretač zna gdje je pod (uređaj A iz kalibracije prostora pri postavljanju baznih stanica, uređaj B iz slika svojih kamera) i daje položaj glave iznad njega. Zato se ishodište praćenja (engl. tracking origin) postavlja na razinu poda, a kamera u pijunu stoji na visini nula u odnosu na ishodište. Visinu očiju tada daje stvarna visina korisnika: viša osoba vidi stol odozgo, niža bliže.

Druga mogućnost je ishodište na razini očiju, gdje se u trenutku pokretanja trenutačni položaj glave proglasi nulom. To odgovara sjedećim aplikacijama, ali za laboratorij u kojem korisnik stoji uz stol visine 750 mm i spušta ruke do njegove plohe razina poda je ispravan izbor. U okruženjima se ta postavka zove različito (npr. razina praćenja pod ili oči, vrsta prostora); funkcija je uvijek ista.

Ostale postavke kamere: bliža ravnina odsijecanja (engl. near clip plane) treba biti mala, nekoliko centimetara, jer korisnik prinosi dijelove robota blizu lica da ih pogleda; prevelika vrijednost „odreže" predmet ispred očiju. Vidno polje kamere ne mijenjate — njega određuju optika i pokretač. Za inačicu bez naočala kamera se postavlja na stalnu visinu, npr. 1,6 m, i okreće mišem; tu je ručna visina opravdana jer nema praćenja.

Kontroleri pokreta i njihove poze

Komponenta kontrolera pokreta (engl. motion controller component) je komponenta kojoj se zada izvor (lijevi ili desni kontroler, u nekim okruženjima i ruka ili drugi praćeni uređaj). Svaki okvir od pokretača dobije pozu — položaj i orijentaciju — i primijeni je na sebe i svoju djecu. Pokretač poze daje predviđene za trenutak kad će slika stići na zaslon, što je dio borbe protiv kašnjenja od pokreta do fotona.

OpenXR za svaki kontroler daje dvije glavne poze:

• poza hvata (engl. grip pose) — u sredini šake koja drži kontroler; na nju se postavlja model ruke i točka hvata;
• poza ciljanja (engl. aim pose) — ishodište i smjer zrake, obično od vrha kontrolera prema naprijed; iz nje kreće zraka za točke interesa i luk teleporta.

Ako se zraka crta iz poze hvata, pokazuje ukoso prema dolje i korisnik ne pogađa ono što gleda. Ako se ruka stavi na pozu ciljanja, model „visi" ispred šake. Zato se u okruženju izaberu dvije komponente ili dva izvora za istu ruku, ili se pomak između njih zada ručno; kako se točno odabire, ovisi o inačici.

Model kontrolera se može prikazati kao stvarni uređaj (pokretač ga ponekad može dati sam) ili se zamijeniti modelom ruke. Za VR-1, gdje se dijelovi uzimaju rukom, bolja je ruka; model kontrolera korisno je prikazati u uvodnom dijelu, dok korisnik uči gdje su tipke.

Ulazne akcije i kontekst mapiranja

Logika ne treba znati koja je fizička tipka pritisnuta, nego što korisnik želi učiniti. Zato se definiraju ulazne akcije (engl. input actions) — „Uhvati lijevo", „Odaberi", „Teleport" — a zasebno se odredi koja ih tipka pokreće. Skup tih vezanja zove se u okruženju s nacrtima kontekst mapiranja ulaza (engl. input mapping context); u okruženju s C# skriptama to je datoteka s akcijama i vezanjima za XR uređaje. OpenXR isto načelo ima u samom standardu: aplikacija predlaže vezanja za pojedini profil interakcije, a pokretač ih može prilagoditi.

Kontekst mapiranja može se mijenjati tijekom rada: dok korisnik drži dio, palica može služiti za okretanje dijela umjesto za teleport. Tada se doda drugi kontekst s višim prioritetom i ukloni kad se dio pusti. Tako logika hvatanja i kretanja ostaje odvojena.

Modeli ruku i stanja ruke

Model ruke je skeletna mreža (engl. skeletal mesh): mreža trokuta vezana na kostur od zapešća, šake i po tri članka svakog prsta. Prsti se ne animiraju ručno za svaki okvir, nego se unaprijed pripreme nekoliko poza (otvorena šaka, savijen kažiprst, šaka, ispružen kažiprst) i miješaju se prema vrijednostima s kontrolera.

Uobičajeno je dvodimenzionalno miješanje (engl. blend space): jedna os je vrijednost okidača i upravlja kažiprstom, druga je vrijednost hvatišta i upravlja ostalim prstima. U kutovima su četiri poze, a između njih okruženje interpolira. Palac se spušta ili podiže prema tome dodiruje li korisnik palicu ili tipku.

Nad miješanjem se često dodaju stanja ruke (engl. state machine): slobodna ruka koja prati tipke, ruka koja drži predmet i ima prilagođenu pozu za taj predmet (npr. prsti oko kotača Ø65 mm), te ruka koja pokazuje zrakom. Prijelaz iz stanja u stanje pokreće logika hvatanja iz jedinice 3.4.

Animacija prema tipkama

Vrijednosti okidača i hvatišta stižu svaki okvir, ali mogu malo skakati. Ako se izravno prenesu na prste, ruka podrhtava. Zato se vrijednost za animaciju izglađuje: u svakom okviru pomakne se samo dio puta prema novoj vrijednosti.

a = 1 − e^{−k · Δt}  ·  v_novo = v + a · (cilj − v)

Ovdje je k konstanta izglađivanja u 1/s, a Δt vrijeme okvira. Oblik s eksponencijalnom funkcijom daje isto ponašanje pri 72, 90 i 120 Hz, dok stalan udio po okviru (npr. uvijek 0,2) daje brže prste na većoj frekvenciji.

Postupak u okruženju s nacrtima: u nacrtu pijuna vrijednosti akcija okidača i hvatišta spremite u varijable; u animacijskom nacrtu ruke (engl. animation blueprint) svaki okvir pročitajte te varijable, izgladite ih i predajte miješanju poza. Lijeva ruka je obično zrcalna kopija desne s istim nacrtom i drugim izvorom. U okruženju s C# skriptama ista se logika piše kao skripta koja čita vrijednosti akcija i postavlja parametre animatora ruke.

Praćenje ruku bez kontrolera

Uređaj B iz slika svojih kamera može pratiti ruke bez kontrolera. OpenXR za to ima proširenje koje za svaku ruku daje položaje 26 zglobova (dlan, zapešće i zglobovi prstiju). Tada se model ruke ne animira miješanjem poza, nego se kosti izravno postave u izmjerene položaje.

Umjesto tipki koriste se geste: prstohvat (engl. pinch) — dodir vrha palca i kažiprsta — za odabir, šaka za hvatanje, dodir prstom (engl. poke) za gumbe na panelu. Prstohvat se prepoznaje po udaljenosti vrhova dvaju prstiju i ponovno treba histerezu.

Dobra praksa je da aplikacija podržava prijelaz: kad korisnik odloži kontrolere, pijun prebaci izvor na praćene ruke, a logika hvatanja i točaka interesa ostaje ista jer čeka akcije „uhvati" i „odaberi", ne konkretnu tipku.

Računski prikaz: izglađivanje prstiju i pomak ruke

Kalkulator računa koliki se udio puta prijeđe u jednom okviru, koliko okvira i milisekundi treba da animacija prstiju dosegne zadani postotak nove vrijednosti te koliko se ruka pomakne u jednom okviru pri zadanoj brzini.

n = ⌈ ln(1 − p) / ln(1 − a) ⌉  ·  t = n · 1000 / f  ·  s_okvir = v_ruke · 1000 / f

Uz k = 20 1/s i 90 Hz u svakom se okviru prijeđe oko 20 % preostalog puta, a 95 % nove vrijednosti dosegne se za 14 okvira, oko 156 ms. Za prste to je prirodno i uklanja podrhtavanje. Pri brzini ruke od 1 m/s ruka se u jednom okviru pomakne 11,1 mm. Kad bi se isto izglađivanje primijenilo na pozu ruke, model bi pri stalnoj brzini od 1 m/s zaostajao za stvarnom rukom oko 45 mm (približno v / k = 1 / 20 m = 50 mm) — zato poze ostaju neizglađene, a kašnjenje se smanjuje predviđanjem u pokretaču.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Vježbe uz jedinicu

Gradivo ove jedinice priprema za sljedeće vježbe:

• V9 Kamera na visini očiju i modeli kontrolera · 2 sata
• V10 Modeli ruku i animacija prema tipkama · 2 sata