Testiranje funkcionalnosti i performansi

Što se ispituje i kada

Aplikacija za virtualnu stvarnost ispituje se na tri razine koje se ne mogu zamijeniti jedna drugom:

• Funkcionalnost — radi li ono što je zadano: hvatanje, priklapanje, točke interesa, kretanje, vožnja robota, izbornik.
• Performanse — drži li aplikacija frekvenciju uređaja u najgorem slučaju, a ne samo u prosjeku, te poštuje li ograničenja scene, vremena pokretanja i veličine paketa.
• Udobnost — mogu li stvarni korisnici raditi bez mučnine, umora i opasnosti u prostoru za igru.

Ispitivanje nije zadnji tjedan projekta, nego ciklus koji počinje planom i završava tek kad svi slučajevi prođu. U laboratoriju VR-1, izrađenom u šest tjedana u timu od tri osobe, plan s 18 testnih slučajeva nastao je odmah nakon zahtjeva, prije prve linije logike. Tako je svaki zahtjev (npr. teleport do 4 m) od početka imao i način provjere.

Ispituje se na svim ciljnim uređajima, u VR-1 na uređaju A (PC-VR) i uređaju B (samostalne naočale), i to na izgrađenom paketu, a ne u uređivaču. Uređivač troši dodatno vrijeme i memoriju pa mjerenja u njemu ne vrijede za gotovu aplikaciju. Inačica s mišem korisna je za brzu provjeru logike, ali ne zamjenjuje ispitivanje u naočalama.

Testni slučajevi

Testni slučaj (engl. test case) jedan je provjerljiv zahtjev zapisan tako da ga druga osoba može ponoviti i doći do istog rezultata. Ima oznaku, zahtjev na koji se odnosi, preduvjet, korake, očekivani rezultat i mjerljiv kriterij prolaza. Rečenica „teleport radi dobro" nije kriterij; „luk ne pada dalje od 4 m i odredište na stolu je nevaljano" jest.

Primjer potpunog zapisa, slučaj T12:

• Zahtjev: teleport lukom do 4 m, samo na pod laboratorija.
• Preduvjet: korisnik stoji uz stol, zadane postavke udobnosti.
• Koraci: ciljati redom 2 m, 4 m i 6 m po podu, zatim ploču stola i zid; pri svakom otpustiti palicu.
• Očekivano: skok na 2 m i 4 m; cilj na 6 m, ploča stola i zid nevaljani, bez skoka.
• Rezultat: prošao na A i B.

Izbor iz 18 slučajeva laboratorija VR-1 (cijeli popis je u projektnom zadatku):

Rezultat prvog kruga bio je 16/18, dakle 88,9 % slučajeva. Slučaj koji ne prođe ne briše se i ne ublažava mu se kriterij, nego se zapisuje uzrok, ispravak i ponovljeno ispitivanje. U VR-1 T09 je ispravljen tako da se zona hvata ruke više ne sudara s kolizijskim oblikom ploče stola, a dio koji padne ispod 0,70 m vraća se na polazno mjesto na stolu; T17 je ispravljen razinama detalja za udaljene dijelove laboratorija.

Profiliranje

Profiliranje (engl. profiling) je mjerenje koliko vremena i memorije troši koji dio aplikacije u svakom okviru. Cilj nije dobiti jedan broj sličica u sekundi, nego odgovoriti na pitanje zašto okvir traje koliko traje. Prvo se utvrđuje tko ograničava:

• ograničenje procesorom (engl. CPU-bound) — logika, fizika, animacija i priprema poziva za crtanje traju dulje od iscrtavanja; smanjenje razlučivosti ne pomaže;
• ograničenje grafičkom karticom (engl. GPU-bound) — iscrtavanje trokuta, piksela, sjena i naknadne obrade traje dulje; pomaže manje trokuta, jednostavniji materijali ili manja razlučivost iscrtavanja.

Razvojna okruženja imaju ugrađen profiler i statistiku okvira (broj trokuta, poziva za crtanje, vremena po niti), a pokretači naočala nude vlastite prikaze vremena okvira i ispuštenih okvira. Nazivi i izbornici razlikuju se po alatu i inačici. Postupak je isti:

1. Izgraditi paket s uključenim profiliranjem i pokrenuti ga na ciljnom uređaju.
2. Stati na mjesto najgoreg pogleda. U VR-1 to je kut laboratorija iz kojeg se vidi cijela prostorija sa stolom i robotom.
3. Snimiti nekoliko sekundi, uključujući hvatanje i teleport, jer oni pokreću logiku i fiziku.
4. Očitati vrijeme CPU-a i GPU-a, trokute i pozive za crtanje, pa usporediti s ograničenjima.
5. Promijeniti jednu stvar, ponovno izgraditi i izmjeriti. Nikad više promjena odjednom.

Na uređaju B prije optimizacije aplikacija je radila na 72 sl/s uz 214 poziva za crtanje, iznad dopuštenih 150. Spajanjem mreža i materijala broj poziva pao je na 138, što je 35,5 % manje, a frekvencija je porasla na 90 sl/s uz 262 000 trokuta, odnosno 87 % dopuštenih 300 000. U ispitivanju se zatim pokazalo da pri pogledu na cijeli laboratorij frekvencija opet pada na 76 sl/s (slučaj T17); taj je pad uklonjen razinama detalja, a ne daljnjim spajanjem.

Budžet okvira i ostali mjerljivi zahtjevi

Pri 90 Hz na raspolaganju je 1000 / 90 = 11,1 ms po okviru. Cilj je da i CPU i GPU budu gotovi za najviše 9,0 ms; preostalih 2,1 ms (19 % okvira) ostavlja se pokretaču i sastavljaču slike (engl. compositor) te za neočekivane vršne opterećenosti. Kad okvir ne stigne na vrijeme, pokretač prikazuje prethodnu sliku ili je preračunava prema novom položaju glave; to prikrije poneki izgubljeni okvir, ali ne i trajan manjak.

Uz vrijeme okvira ispituju se i ostali brojčani zahtjevi VR-1: vrijeme od pokreta do fotona najviše 20 ms, pokretanje najviše 10 s i veličina paketa. Vrijeme od pokreta do fotona izravno se mjeri samo posebnom opremom (npr. brzom kamerom koja snima pokret i zaslon istodobno); bez nje se procjenjuje iz statistike pokretača, a u izvješću se jasno piše da je riječ o procjeni.

Ispitivanje udobnosti s ispitanicima

Programer koji svaki dan radi u naočalama loš je ispitanik: navikao se na aplikaciju i na kinetozu. Zato se udobnost ispituje s ljudima koji aplikaciju ne poznaju. U VR-1 sudjelovalo je 8 ispitanika različitog iskustva s VR-om. Dobra praksa za protokol:

1. Priprema. Očišćena oprema i jednokratna zaštita za lice, provjeren prostor za igru i granica sigurnosti 0,3 m od zida, podešen razmak zjenica za svakog ispitanika. Ispitanik zna da smije prekinuti u bilo kojem trenutku.
2. Kratki upitnik prije. Iskustvo s VR-om i trenutno stanje (umor, glavobolja). Za mjerenje simptoma koristi se standardizirani upitnik o bolesti simulatora (engl. simulator sickness questionnaire) ili jednostavna ljestvica nelagode, prije i poslije sesije.
3. Zadaci. Isti redoslijed za sve: sklapanje robota, obilazak šest točaka interesa, teleport na suprotnu stranu laboratorija i natrag, zatim kontinuirano kretanje s vinjetom.
4. Promatranje. Promatrač bilježi zastoje, pogrešna hvatanja, sudare s granicom i znakove nelagode, a ne pomaže osim kad je sigurnost ugrožena.
5. Upitnik poslije i razgovor. Što je bilo teško, što neugodno, što nejasno.

Jedan od osam ispitanika (12,5 %) osjetio je blagu mučninu pri kontinuiranom kretanju. Zaključak nije „kontinuirano kretanje treba ukloniti", nego da ono ne smije biti zadano: teleport je postao zadani način, a kontinuirano kretanje ostalo je izbor uz vinjetu. S osam ispitanika to je pokazatelj, a ne statistički pouzdan udio; u izvješću se tako i piše.

Izvješće o ispitivanju i predaja

Izvješće o ispitivanju (engl. test report) mora omogućiti da netko tko nije bio prisutan zna što je ispitano, čime, s kojim rezultatom i što je ostalo otvoreno. Preporučeni sadržaj:

Uz izvješće se predaje: izvorni projekt (bez privremenih mapa koje se ponovno stvaraju), izgrađeni paketi za A i B, kratka video snimka iz naočala s prikazom glavnih radnji, upute za pokretanje i popis poznatih ograničenja. Naziv datoteka i inačica neka budu jednoznačni, tako da se svaki rezultat u izvješću može povezati s točno određenim paketom.

Budžet okvira iz izmjerenih vremena

Vrijeme okvira je T = 1000 / f. Iskorištenost budžeta je udio duljeg od dvaju vremena (CPU ili GPU) u vremenu okvira. Ako je dulje vrijeme veće od T, ostvariva frekvencija približno je 1000 / t_max; stvarni pokretač može se tada prebaciti i na nižu stalnu frekvenciju, pa je izračun gornja granica. Cilj po jedinici je 0,81 · T, što pri 90 Hz daje 9,0 ms.

T = 1000 / f    u = max(t_CPU, t_GPU) / T · 100 %    f_ostv = min(f, 1000 / max(t_CPU, t_GPU))

Zadane vrijednosti vremena CPU-a i GPU-a u prikazu su primjer za uređaj B nakon optimizacije; zamijenite ih vlastitim mjerenjima.

Za uređaj B uz 8,4 ms GPU-a i 7,2 ms CPU-a iskorišteno je 75,6 % okvira, a 262 000 trokuta i 138 poziva za crtanje su unutar ograničenja: nema prekoračenja. Ako u polje GPU upišete 13,2 ms, ostvariva frekvencija pada na 76 sl/s, kao u slučaju T17. Uz 13,9 ms i 214 poziva dobiva se stanje prije optimizacije: 72 sl/s i dva prekoračenja. Za uređaj A izmjereno je 7,8 ms GPU-a, što je 70 % okvira i rezerva od 3,3 ms.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.

Vježbe uz jedinicu

Gradivo ove jedinice priprema za sljedeće vježbe:

• V15 Testni slučajevi, mjerenje performansi i izvješće · 2 sata