VJEŽBA V15 · MODUL 3 · RAZVOJ OKRUŽENJA VIRTUALNE STVARNOSTI
Vježba V15 · 2 sata
Testni slučajevi, mjerenje performansi i izvješće
Gotova aplikacija laboratorija VR-1 ispituje se prema 18 testnih slučajeva na dva uređaja, mjere se vrijeme okvira, pozivi za crtanje i trokuti, a udobnost se provjerava s ispitanicima. Rezultati se predaju kao kratko izvješće s odlukama o ispravcima.
- provesti testne slučajeve T01–T18 s jasnim kriterijem prolaza
- izmjeriti vrijeme okvira, pozive za crtanje i broj trokuta u izgrađenoj aplikaciji na uređaju
- provesti ispitivanje udobnosti prema jednakom postupku za sve ispitanike
- izračunati prekoračenje budžeta okvira i udio prolaza
- napisati izvješće s rezultatima, uzrocima pogrešaka i odlukama
O vježbi
Prije vježbe proći gradivo: 3.7 Testiranje funkcionalnosti i performansi.
Pitanja i zadaci na ovoj stranici su bez odgovora. Rješenje s postupkom otvara se gumbom Prikaži rješenje ispod svakog pitanja, a upute za nastavnika nalaze se na dnu stranice.
Zadatak
Aplikacija VR-1 je dovršena: sklapanje robota MR-1, točke interesa, teleport i vožnja po stolu rade. Prije predaje ispituje se na uređaju A (PC-VR, 90 Hz) i uređaju B (samostalne naočale, 90 Hz). Cilj je stabilnih 90 sl/s (vrijeme okvira 11,1 ms), GPU i CPU ≤ 9,0 ms, a scena ≤ 750 000 trokuta i ≤ 1000 poziva za crtanje na A, odnosno ≤ 300 000 trokuta i ≤ 150 poziva na B. Slučaj koji se izvodi na oba uređaja prolazi samo ako prolazi na oba; T16 izvodi se samo na A, a T17 samo na B.
| Oznaka | Testni slučaj | Kriterij prolaza |
|---|---|---|
| T01 | Instalacija i pokretanje | spremno za rad ≤ 10 s; paket ≤ 1,5 GB (A), ≤ 500 MB (B) |
| T02 | Mjerilo i visina | virtualnim metrom stol 750 mm, robot 220 mm; stvarna ruka na rubu stola |
| T03 | Granica sigurnosti | granica vidljiva, 0,3 m od zida |
| T04 | Praćenje u prostoru | obilazak stola, čučanj, ruke iza leđa i iznad glave: glava bez skokova, kratki gubitak kontrolera bez pada aplikacije |
| T05 | Ruke i tipke | okidač i tipka hvata na oba kontrolera: ruka se zatvara razmjerno pritisku |
| T06 | Hvatanje rukom do 0,8 m | 12/12 dijelova se hvata |
| T07 | Hvatanje zrakom do 3 m | dio dolazi u ruku s 1, 2 i 3 m; s 3,5 m ne |
| T08 | Prebacivanje iz ruke u ruku | 10/10 bez skoka i bez ispadanja |
| T09 | Dio (prekidač) ispod ruba stola | prekidač koji padne uz rub stola može se uhvatiti ili se vraća na stol |
| T10 | Sklapanje | svaki dio uskoči u svoje ležište (prihvat unutar 15 mm i 10°, redoslijed poštovan); brojač 12/12 |
| T11 | Točke interesa | svih 6, kontroler, pogled i miš: isti tekst, posjet zabilježen |
| T12 | Teleport | na pod do 4 m; stol, zid i prostor izvan laboratorija odbijeni |
| T13 | Okretanje u koracima | 12 × 30° = točno 360°, bez glatke rotacije |
| T14 | Kontinuirano kretanje | 1,5 m/s, samo uz vinjetu; po zadanom isključeno |
| T15 | Vožnja robota | sklopljeni robot vozi po stolu i staje prije ruba |
| T16 | Performanse A (najzahtjevniji pogled) | 90 sl/s, GPU i CPU ≤ 9,0 ms, kratki padovi ne ispod 85 sl/s |
| T17 | Performanse B, uključujući pogled na cijeli laboratorij | 90 sl/s, ≤ 300 000 trokuta, ≤ 150 poziva |
| T18 | Udobnost | 8 ispitanika, 10 min: nitko ne prekida zbog mučnine uz zadane postavke |
Oprema i pribor
- uređaji A i B s kontrolerima, računalo s grafičkom karticom od 8 GB
- izgrađena aplikacija za oba uređaja, profiler razvojnog okruženja i prikaz performansi pokretača
- mjerna kocka u sceni, štoperica, obrazac testnih slučajeva i upitnik udobnosti
- sredstvo za čišćenje naočala i stolac za ispitanika
Pravila koja se primjenjuju
Ponovljivost — svaki slučaj ima početno stanje, korake, očekivani rezultat i kriterij prolaza, pa ga drugi ispitivač ponavlja jednako. Mjeri se na uređaju — performanse se mjere u izgrađenoj aplikaciji, ne u uređivaču. Najgori slučaj, ne prosjek — bilježe se najmanji broj slika i udio okvira iznad budžeta. Udobnost — isti postupak za sve ispitanike, prekid na prvi znak mučnine. Higijena — naočale se čiste između ispitanika.
Pažnja
Mjerenje u uređivaču na snažnom računalu daje previše optimistične brojke, a samostalne naočale imaju mnogo slabiji procesor. Ispitanika s nelagodom odmah posjednite i skinite mu naočale; ne nagovarajte ga da nastavi.
Crtež
Postupak
- Izgradite aplikaciju za oba uređaja i zapišite inačice okruženja, pokretača i aplikacije. Bez toga rezultat nije ponovljiv.
- Za svaki slučaj T01–T18 u obrazac upišite početno stanje, korake i očekivani rezultat. Kriterij prolaza preuzmite iz tablice.
- Provedite slučajeve na uređaju A, pa na B. Upišite prolaz ili pad, broj pokušaja i kratak opis svakog pada.
- Za T16 (uređaj A) i T17 (uređaj B) pokrenite prikaz performansi i snimite 60 s: najprije pogled na stol, zatim na cijeli laboratorij. Zapišite prosječni i najmanji broj slika, vremena GPU-a i CPU-a, pozive za crtanje i trokute.
- Za svaki pad odredite uzrok (profiler, ispis, usporedba A i B) i predložite ispravak. Nakon ispravka ponovite taj slučaj i susjedne slučajeve.
- Ispitivanje udobnosti (T18): svaki ispitanik 10 min redom izvodi sklapanje, točke interesa i teleport, a dobrovoljci i 2 min kontinuiranog kretanja. Nakon toga ocjenjuje mučninu, napor očiju i dezorijentaciju od 0 do 3.
- Napišite izvješće od najviše tri stranice: svrha, uređaji i inačice, tablica T01–T18 s rezultatima, performanse, udobnost, pogreške s uzrocima i ispravcima, zaključak.
Pitanja i zadaci
Za računske zadatke koristite izmjerene vrijednosti iz slike V15.1 i tablice.
1. Računski. Na uređaju B pri pogledu na cijeli laboratorij izmjereno je 76 sl/s. Koliko je vrijeme okvira i za koliko prekoračuje budžet?
Prikaži rješenje
t = 1000/76 = 13,16 ms; budžet 1000/90 = 11,11 ms. Prekoračenje 2,05 ms, odnosno 2,05/11,11 = 18,4 %. Slučaj T17 pada.
2. Računski. Prošlo je 16 od 18 slučajeva. Koliki je udio prolaza, koliki nakon ispravka T17 razinama detalja, a koliki kad se ispravi i T09?
Prikaži rješenje
16/18 = 88,9 %. Nakon ispravka T17 17/18 = 94,4 %. Dok nije ispravljen, T09 (prekidač ispod ruba stola) ostaje otvoren i mora biti u izvješću s uzrokom i planom. Nakon ispravka T09 i ponovljenog ispitivanja 18/18 = 100 %.
3. Računski. Na uređaju B pozivi za crtanje pali su s 214 na 138, a scena ima 262 000 trokuta. Kolika je ušteda i koliki udio ograničenja koristi scena?
Prikaži rješenje
Ušteda (214 − 138)/214 = 35,5 %. Pozivi: 138/150 = 92 % ograničenja; trokuti: 262 000/300 000 = 87,3 %. Scena je u granicama, ali s malom rezervom za nove dijelove.
4. Računski. Na uređaju A GPU troši 7,8 ms, a najmanji broj slika je 88 sl/s. Kolika je rezerva prema budžetu okvira i što znači najmanja vrijednost?
Prikaži rješenje
7,8/11,1 = 70 % budžeta, rezerva 3,3 ms (1,2 ms ispod cilja od 9,0 ms). 88 sl/s odgovara 1000/88 = 11,4 ms: pojedini okviri kasne, ali kriterij T16 dopušta kratke padove do 85 sl/s (1000/85 = 11,8 ms), pa uređaj A prolazi. Uzrok tih padova ipak treba potražiti u profileru (npr. učitavanje ili CPU).
5. Računski. U snimci od 60 s na 90 Hz 162 okvira traju dulje od 11,1 ms. Koliki je to udio i zašto prosjek nije dovoljan?
Prikaži rješenje
Očekuje se 60 · 90 = 5400 okvira; 162/5400 = 3 %. Prosjek može biti 89–90 sl/s, a korisnik ipak osjeti trzaje; zato se bilježe najmanja vrijednost i udio okvira iznad budžeta.
6. Zašto se performanse mjere u izgrađenoj aplikaciji na uređaju, a ne u uređivaču?
Prikaži rješenje
Uređivač troši vlastite resurse i radi na računalu, a samostalne naočale imaju drugi procesor, drugi grafički sklop i drugačiji način iscrtavanja. Samo mjerenje na uređaju odgovara onome što doživi korisnik.
7. Slučaj T09 zapisan je kao „prekidač se loše hvata". Prepišite ga u ponovljiv testni slučaj.
Prikaži rješenje
Početno stanje: prekidač leži na stolu uz rub ploče, korisnik stoji uz stol. Koraci: ispustiti prekidač tako da padne uz rub stola, ispod ploče, pa ga desnom rukom pokušati uhvatiti hvatištem; ponoviti 10 puta. Očekivano: hvata se prekidač, ne drugi dio ni ploča stola. Kriterij: prekidač se u svakom pokušaju može uhvatiti ili se vraća na stol, na A i B. Zapisati i uređaj na kojem pada.
8. Od 8 ispitanika jedan je osjetio blagu mučninu pri kontinuiranom kretanju. Kako to zapisati u izvješće i koju odluku donijeti?
Prikaži rješenje
Činjenica: 1/8 (12,5 %), blaga mučnina, samo pri kontinuiranom kretanju. Procjena: uzorak je malen, ali nalaz je u skladu s poznatim uzrocima kinetoze. Odluka: teleport je zadani način, kontinuirano kretanje ostaje izborno uz vinjetu.
Za nastavnika
Otvori upute za nastavnika
Priprema
Pripremite izgrađene aplikacije za oba uređaja, prazan obrazac T01–T18, upitnik udobnosti i predložak izvješća. Najavite da je ispitivanje udobnosti dobrovoljno.
Tijek sata
- 10 min — kriterij prolaza i slika V15.1.
- 35 min — T01–T15 u skupinama od tri: ispitivač, zapisničar, ispitanik.
- 20 min — T16 i T17, snimka performansi na oba uređaja.
- 15 min — ispitivanje udobnosti (T18).
- 10 min — pitanja 1–5 i plan izvješća.
Očekivani rezultati
Popunjen obrazac s 18 slučajeva na dva uređaja, snimke performansi, upitnici i izvješće s razlikom između činjenica, procjena i odluka.
Česte pogreške
- mjerenje samo u uređivaču ili samo na uređaju A
- zapis prosjeka bez najmanje vrijednosti
- neponovljivi opisi slučajeva bez kriterija prolaza
- popravak bez ponovnog ispitivanja
Vrednovanje
| Kriterij | Bodovi |
|---|---|
| Provedeni T01–T18 na oba uređaja | 5 |
| Mjerenje performansi i tumačenje | 4 |
| Ispitivanje udobnosti prema postupku | 3 |
| Uzroci pogrešaka i ispravci | 3 |
| Izvješće | 3 |
| Odgovori na pitanja | 2 |
| Ukupno | 20 |