MODUL 2 · TEORIJSKE OSNOVE I PRIPREME ZA KORIŠTENJE VIRTUALNE STVARNOSTI
Nastavna jedinica 2.1
Uvod u virtualnu stvarnost
Što virtualnu stvarnost razlikuje od 3D prikaza na zaslonu, kako se razvijala od stereoskopa do samostalnih naočala i zašto je razlika između imerzije i prisutnosti ključna za svaku aplikaciju. Primjene u industriji i obrazovanju prikazane su na virtualnom laboratoriju VR-1.
- definirati virtualnu stvarnost i nabrojiti njezina bitna svojstva
- opisati glavne razvojne korake od stereoskopa do samostalnih naočala
- objasniti VR sustav kao zatvorenu petlju praćenja, iscrtavanja i prikaza
- razlikovati imerziju kao svojstvo sustava od prisutnosti kao doživljaja korisnika
- navesti primjene virtualne stvarnosti u industriji i obrazovanju te njezina ograničenja
- izračunati broj piksela koje VR sustav mora iscrtati u sekundi i usporediti ga s uredskim monitorom
Što je virtualna stvarnost
Virtualna stvarnost (engl. virtual reality, VR) je računalno generirano trodimenzionalno okruženje koje korisnik doživljava iznutra: slika se iscrtava u stvarnom vremenu, zasebno za svako oko, a mijenja se u skladu s pokretima korisnikove glave i ruku. Korisnik ne gleda u prozor prema virtualnom svijetu, kao kod monitora, nego stoji u njemu. Kad okrene glavu ulijevo, vidi što je lijevo od njega; kad se sagne, vidi ispod stola; kad ispruži ruku, u sceni se pojavljuje njegova virtualna ruka na mjestu gdje je stvarna.
Iz te definicije slijede četiri bitna svojstva koja razlikuju VR od običnog 3D prikaza:
- Stvarno vrijeme. Slika nastaje u trenutku gledanja, ne unaprijed. Aplikacija mora iscrtati novi okvir za svako osvježavanje zaslona, npr. 90 puta u sekundi.
- Stereo prikaz. Svako oko dobiva vlastitu sliku iz malo pomaknute točke gledišta, pa mozak iz razlike dviju slika slaže dubinu.
- Praćenje korisnika. Sustav neprekidno mjeri pozu glave i ruku i prema njoj postavlja virtualnu kameru. Bez praćenja nema virtualne stvarnosti, nego samo stereo filma.
- Interakcija. Korisnik djeluje na scenu: hvata, pritišće, pomiče, kreće se. Scena odgovara na njegove radnje.
U literaturi se često navode i „tri I“ virtualne stvarnosti: imerzija (uronjenost), interakcija i imaginacija. Prva dva su tehnička i mjerljiva, treće podsjeća da dobra VR aplikacija nije samo precizno izvedena simulacija, nego i dobro osmišljen doživljaj s jasnom svrhom.
Zapamtite
Virtualna stvarnost nije vrsta zaslona, nego sustav koji zatvara petlju: pokret korisnika → mjerenje → novi prikaz → novi pokret. Kvaliteta te petlje (brzina, točnost, stabilnost) važnija je od razlučivosti slike.
Povijest u crtama
Ideja da se dvjema slikama stvori dojam dubine starija je od računala. Već u 19. stoljeću stereoskop je pokazivao dvije fotografije snimljene s malim pomakom, svaku jednom oku, i promatrač je vidio prostornu scenu. Načelo stereo para, koje današnje naočale koriste u svakom okviru, bilo je dakle poznato mnogo prije prve računalne grafike.
Krajem 1960-ih napravljen je prvi naglavni zaslon povezan s računalom: prikazivao je jednostavne žičane modele, a položaj glave mjerio se mehaničkom rukom pričvršćenom za strop. Uređaj je bio težak i nepraktičan, ali je već imao sve dijelove petlje: praćenje glave, računalno iscrtavanje i prikaz ispred očiju. Paralelno su se razvijali simulatori letenja za obuku pilota.
U 1980-ima i 1990-ima naziv „virtualna stvarnost“ ušao je u širu uporabu. Pojavile su se rukavice s osjetnicima savijanja prstiju i projekcijske sobe u kojima se slika projicira na zidove i pod, a korisnik nosi lagane stereo naočale. Prvi potrošački pokušaji u 1990-ima uglavnom nisu uspjeli: računala su bila preslaba, kašnjenje preveliko, a kinetoza česta.
Preokret je donijela sredina 2010-ih. Zasloni visoke gustoće piksela, žiroskopi i akcelerometri razvijeni za mobilne telefone i grafičke kartice dovoljno snažne za 90 okvira u sekundi omogućili su PC-VR naočale s niskim kašnjenjem i praćenjem u prostoru. Nekoliko godina kasnije pojavile su se samostalne naočale s ugrađenim računalom i kamerama za praćenje iznutra prema van, bez vanjskih baznih stanica. Godine 2019. objavljena je prva inačica standarda OpenXR, koji aplikaciji daje jedno sučelje prema opremi različitih proizvođača. Današnje naočale sve češće imaju i prolaz slike iz kamera u boji, pa ista oprema radi i u načinu virtualne i u načinu miješane stvarnosti.
Iz povijesti vrijedi izvući jednu pouku: VR nije propadao zbog loše ideje, nego zbog kašnjenja i premalo okvira u sekundi. Tek kad je petlja postala dovoljno brza, doživljaj je postao ugodan. Zato se u ovom području vrijeme okvira i kašnjenje stalno ponavljaju kao najvažniji zahtjevi.
VR sustav kao zatvorena petlja
Svaki VR sustav, od najjednostavnijih samostalnih naočala do projekcijske sobe, sastoji se od istih funkcijskih blokova povezanih u petlju (slika 2.2). Praćenje mjeri pozu glave i kontrolera. Aplikacija na temelju poze i ulaznih akcija izvodi logiku i fiziku scene. Iscrtavanje izrađuje stereo par, jednu sliku za svako oko. Zaslon i leće prikazuju sliku, a paralelno zvuk i haptika daju podražaje ušima i dlanovima. Korisnik reagira novim pokretom i petlja kreće iznova.
Prema tome koliko petlja obuhvaća korisnika, VR sustavi se okvirno dijele u tri skupine:
| Skupina | Izvedba | Primjer uporabe |
|---|---|---|
| Neimerzivni (stolni) VR | 3D scena na monitoru, upravljanje mišem i tipkovnicom, bez praćenja glave | pregled modela, izrada scene, ispitivanje logike bez naočala |
| Poluimerzivni VR | velik zaslon ili projekcijska soba, stereo naočale, praćenje glave; korisnik vidi i vlastito tijelo | skupni pregled konstrukcije, planiranje linije u mjerilu 1 : 1 |
| Imerzivni VR | naglavni zaslon s praćenjem glave i ruku u 6 stupnjeva slobode, stvarna okolina potpuno zaklonjena | obuka, virtualni laboratorij, sklapanje i ispitivanje |
U ovom području VR znači imerzivni sustav s naočalama. Neimerzivni način ipak ostaje koristan: dobar dio logike razvija se i ispituje mišem na monitoru.
Imerzija i prisutnost
Dva pojma koja se često brkaju treba jasno razdvojiti. Imerzija (engl. immersion) je objektivno svojstvo sustava: koliko osjetila i u kojoj mjeri sustav obuhvaća. Mjeri se tehničkim veličinama: vidno polje, razlučivost i gustoća piksela, frekvencija osvježavanja, vrijeme od pokreta do fotona, broj stupnjeva slobode praćenja, kvaliteta prostornog zvuka, postojanje haptike.
Prisutnost (engl. presence) je subjektivni doživljaj korisnika da se zaista nalazi u virtualnom prostoru. Ona se ne može izravno izmjeriti, nego se procjenjuje upitnicima nakon sesije, promatranjem ponašanja i ponekad fiziološkim mjerenjima. Dobar pokazatelj je ponašanje: korisnik koji zaobilazi virtualni stol umjesto da prođe kroz njega doživljava prisutnost.
Prisutnost se obično opisuje kroz tri sastavnice:
- Iluzija mjesta — osjećaj „ja sam ovdje“. Najviše ovisi o praćenju glave, stereo prikazu i niskom kašnjenju: kad se glava pomakne, svijet mora ostati na mjestu.
- Iluzija vjerodostojnosti — osjećaj da se događaji zaista događaju. Ovisi o tome ponaša li se scena dosljedno: pada li predmet kad ga pustimo, odgovara li robot na naredbu, čuje li se zvuk s mjesta izvora.
- Utjelovljenje — osjećaj da je virtualna ruka moja ruka. Ruka mora biti na pravom mjestu, pravilne veličine i pratiti prste bez zastoja.
Viša imerzija omogućuje prisutnost, ali je ne jamči. Scena s izvrsnim naočalama, ali s robotom koji prolazi kroz stol i dijelovima koji lebde u zraku, brzo ruši iluziju vjerodostojnosti. Jednostavna, ali dosljedna scena u ispravnom mjerilu često djeluje uvjerljivije. Iz toga slijedi preporuka za razvoj: prvo mjerilo 1 : 1, stabilno vrijeme okvira i dosljedna fizika, a tek onda detalji i efekti.
Pažnja
Prisutnost ima i drugu stranu: tijelo reagira na virtualnu opasnost kao na stvarnu. Korisnik se može pokušati nasloniti na virtualni stol ili zakoračiti prema virtualnom objektu. Zato su granica sigurnosti i slobodan prostor za igru obvezni, a ne samo preporuka.
Primjene u industriji
Industrija koristi VR ondje gdje je stvarna situacija skupa, opasna, rijetka ili još ne postoji. Najčešća su ova područja:
- Obuka i osposobljavanje. Zamjena alata na glodalici, rad uz robotsku ćeliju, postupci zaključavanja i označavanja pri održavanju, rukovanje opasnim tvarima. Pogreška u virtualnoj obuci ne košta ništa i može se namjerno izazvati da polaznik nauči prepoznati posljedicu.
- Pregled konstrukcije u mjerilu 1 : 1. Konstruktor i korisnik zajedno obilaze model stroja prije izrade prototipa i provjeravaju dohvat, vidljivost, prostor za održavanje i položaj upravljačkih elemenata.
- Planiranje rasporeda i ergonomije. Raspored strojeva u hali, visina radnog stola, dohvat do spremnika dijelova. Radnik u virtualnom mjestu rada odmah kaže da mu je kutija predaleko.
- Virtualno puštanje u rad. Model stroja ili ćelije povezan sa stvarnim upravljačkim programom ispituje se prije nego što oprema stigne. VR daje pogled iznutra, npr. provjeru hoće li robot pri stvarnim putanjama udariti u ogradu.
- Održavanje i servis. Uvježbavanje rastavljanja sklopa korak po korak, s uputama uz svaki dio.
Zajedničko je svim primjenama da VR ne zamjenjuje stvarnu opremu, nego skraćuje i pojeftinjuje put do nje. Rukovatelj koji je alat virtualno zamijenio deset puta dolazi na stvarni stroj s razumijevanjem redoslijeda.
Primjene u obrazovanju i ograničenja
U obrazovanju VR najviše pomaže ondje gdje polaznik treba vidjeti prostorni odnos koji je na crtežu teško shvatljiv, ili gdje stvarne opreme nema dovoljno za sve. Zajednički primjer ovog područja, virtualni laboratorij VR-1, pokazuje tipičan obrazovni scenarij. Korisnik stoji uz radni stol dimenzija 1600 × 800 mm u laboratoriju 8 × 6 m. Na stolu je 12 dijelova malog mobilnog robota MR-1, od šasije i kotača do baterije, senzora i prekidača. Korisnik ih rukama sklapa, na šest točaka interesa doznaje što koji dio radi i na kraju pušta robota da vozi po stolu.
Što takva aplikacija daje u odnosu na crtež ili stvarni komplet?
- svaki polaznik ima vlastiti komplet;
- dio se može povećati, prerezati ili učiniti prozirnim;
- redoslijed sklapanja može se nametnuti i provjeriti, a pogreška objasniti u trenutku kad nastane;
- isti laboratorij radi na dva uređaja: PC-VR naočalama spojenima na računalo i samostalnim naočalama.
VR ima i ograničenja koja treba iskreno navesti polaznicima i naručitelju:
- Nema stvarne sile. Virtualni dio nema masu u ruci; kontroler može samo vibrirati. Osjećaj za zatezni moment ili težinu dijela ne može se naučiti u VR-u.
- Kinetoza. Dio korisnika osjeća mučninu, osobito pri kontinuiranom kretanju. U ispitivanju laboratorija VR-1 jedan od osam ispitanika osjetio je blagu mučninu pri kontinuiranom kretanju, pa je teleport postavljen kao zadani način.
- Trajanje sesije. Preporuka je dobra praksa, ne pravilo: kraće sesije, npr. 15 do 30 minuta, sa stankama, osobito kod novih korisnika.
- Higijena i sigurnost. Naočale dijeli više osoba; potrebno je čišćenje dodirnih površina i slobodan prostor za igru.
- Trošak izrade sadržaja. Modeli, logika i ispitivanje traže vrijeme. Za laboratorij VR-1 planirano je šest tjedana rada tri osobe.
Zapamtite
VR se isplati ondje gdje je prostorni odnos, opasnost ili nedostupnost opreme glavna prepreka učenju. Za vještine koje traže stvarnu silu i osjet (zatezanje, turpijanje, zavarivanje) VR može pripremiti polaznika, ali ne može zamijeniti vježbu na stvarnom materijalu.
Koliko piksela VR mora iscrtati
Zašto VR traži jače računalo od obične 3D aplikacije? Zato što iscrtava dvije slike visoke razlučivosti i to pri višoj frekvenciji. Broj piksela koje grafička kartica mora izraditi u sekundi okvirno je
N = 2 · w · h · k² · f
gdje su w i h razlučivost zaslona po oku, k faktor iscrtavanja po osi (pokretač često iscrtava sliku nešto veću od zaslona kako bi nakon korekcije izobličenja leće ostala oštra), a f frekvencija osvježavanja. Vrijeme okvira je 1000 / f milisekundi. Za usporedbu služi uredski monitor 1920 × 1080 pri 60 Hz, koji traži oko 124 milijuna piksela u sekundi.
Prikaz računa broj piksela po okviru i u sekundi za stereo iscrtavanje i uspoređuje ga s monitorom 1920 × 1080 pri 60 Hz.
Za uređaj A iz laboratorija VR-1 (2 × 2448 × 2448 px, 90 Hz) i faktor iscrtavanja 1,0 dobiva se oko 12,0 milijuna piksela po okviru, odnosno oko 1079 milijuna piksela u sekundi, što je približno 8,7 puta više od uredskog monitora. Vrijeme okvira je 11,1 ms. Ako pokretač iscrtava s faktorom 1,4 po osi, broj piksela raste s kvadratom faktora: oko 23,5 milijuna po okviru i približno 17 puta više od monitora. Uređaj B (2 × 2064 × 2208 px, 90 Hz) pri faktoru 1,0 traži oko 6,6 puta više piksela od monitora, ali ih iscrtava ugrađeno mobilno računalo. Zato je za njega budžet scene znatno stroži: najviše 300 000 trokuta i 150 poziva za crtanje, prema 750 000 trokuta i 1000 poziva za uređaj A.
Ključni pojmovi
| Pojam | Značenje |
|---|---|
| Virtualna stvarnost (engl. virtual reality, VR) | računalno generirano 3D okruženje koje se iscrtava u stvarnom vremenu, stereo, prema praćenoj pozi korisnika |
| Naglavni zaslon (engl. head-mounted display, HMD) | naočale sa zaslonima i lećama ispred očiju, najčešće s ugrađenim praćenjem |
| Stereo par (engl. stereo pair) | dvije slike iste scene iscrtane iz položaja lijevog i desnog oka |
| Imerzija (engl. immersion) | objektivno svojstvo sustava: koliko i koja osjetila obuhvaća |
| Prisutnost (engl. presence) | subjektivni doživljaj boravka u virtualnom prostoru |
| Iluzija mjesta (engl. place illusion) | sastavnica prisutnosti: osjećaj da se korisnik nalazi na mjestu prikazanom u sceni |
| Iluzija vjerodostojnosti (engl. plausibility illusion) | sastavnica prisutnosti: osjećaj da se događaji u sceni zaista događaju |
| Utjelovljenje (engl. embodiment) | osjećaj da je virtualno tijelo ili ruka korisnikovo vlastito |
| Vrijeme okvira (engl. frame time) | vrijeme dostupno za izradu jednog okvira, 1000 / f ms; pri 90 Hz 11,1 ms |
Provjeri se
Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.
Pitanje 1 od 4
Koje svojstvo razlikuje virtualnu stvarnost od stereo filma?
Stereo film također ima dvije slike, ali se ne mijenja prema pokretu glave. VR iscrtava svaki okvir prema izmjerenoj pozi korisnika.
Pitanje 2 od 4
Što je imerzija?
Imerzija se opisuje tehničkim veličinama (vidno polje, kašnjenje, praćenje, zvuk). Prisutnost je doživljaj korisnika.
Pitanje 3 od 4
Robot u sceni prolazi kroz radni stol. Koja se sastavnica prisutnosti time najviše narušava?
Nedosljedno ponašanje scene ruši osjećaj da se događaji zaista događaju, dakle iluziju vjerodostojnosti.
Pitanje 4 od 4
Koliko je vrijeme okvira pri 90 Hz?
Vrijeme okvira je 1000 / 90 = 11,1 ms. Vrijednost 9,0 ms je ciljano vrijeme rada GPU-a i CPU-a u laboratoriju VR-1 (uz rezervu), a ne vrijeme okvira.
Odgovoreno 0 od 4.
Vježbe uz jedinicu
Gradivo ove jedinice priprema za sljedeće vježbe: