Testiranje funkcionalnosti izrađenih okruženja

Plan ispitivanja

Plan ispitivanja odgovara na pet pitanja: što se ispituje, na kojim uređajima, u kojim uvjetima, tko ispituje i kada. Piše se prije ispitivanja, jer je ispitivanje koje se smišlja u hodu zapravo isprobavanje — a isprobavanje redovito potvrdi ono što se i očekivalo, umjesto da nađe ono što ne radi.

Za projekt AR-1 plan obuhvaća 14 testnih slučajeva koji se izvode na tri uređaja: na tabletu od 10,5 inča, na starijem tabletu od 7 inča i na naočalama. Uvjeti su također zapisani: ćelija zaustavljena, osvjetljenje između 300 i 750 lx, udaljenost snimanja mete od 0,25 do 1,2 m, dakle cijelo radno područje zadano projektom.

Ispitivanje se ne ostavlja za kraj. Čim postoji presjek kroz okruženje koji radi, njemu pripada i prvi testni slučaj. Tako broj slučajeva raste zajedno s okruženjem, a ne nastaje u jednom danu pod rokom. Uz to, svaki nalaz otkriven u trećem tjednu stoji nekoliko sati, a isti nalaz otkriven u šestom stoji nekoliko dana, jer se dotad na njega naslonilo sve ostalo.

Ispitivanje se dijeli na četiri vrste, a svaka odgovara na drugo pitanje. Funkcijsko pita radi li ono što je traženo. Mjerenje pita koliko dobro. Ispitivanje s korisnikom pita snalazi li se čovjek. Ispitivanje u pogonu pita radi li sve to u stvarnim uvjetima, sa svjetlom, bukom i rukavicama.

Testni slučajevi

Testni slučaj kratak je zapis koji se može ponoviti. Ima pet dijelova: oznaku, preduvjet, korake, očekivani ishod i mjesto za stvarni ishod. Piše se tako da ga može izvesti netko tko nije sudjelovao u izradi; ako to nije moguće, slučaj je nepotpun.

Slučajevi pokrivaju i ono što treba raditi i ono što se može pokvariti. Uz slučaj meta se prepoznaje s 0,5 m stoji i slučaj meta je zaklonjena rukom, uz korak se mijenja naprijed stoji i korak se vraća natrag s prvoga. Ispitivanje koje provjerava samo ispravan put ne nalazi gotovo ništa.

Uz svaki se slučaj bilježi i uređaj na kojem je izveden te datum. Isti slučaj na trima uređajima daje tri zapisa, a ne jedan, jer se rezultati razlikuju: ono što na velikom zaslonu prolazi, na zaslonu od 7 inča može pasti. Zapis bez oznake uređaja poslije se ne može ni provjeriti ni ponoviti.

Slučajevi se ne pišu samo za ono što korisnik treba raditi nego i za ono što će raditi pogrešno. Tehničar će pritisnuti gumb dvaput, uređaj će okrenuti naopako, pločicu snimiti s pola metra sa strane i aplikaciju ostaviti otvorenu preko stanke. Svaki od tih postupaka zaslužuje svoj slučaj, jer se upravo na njima okruženja lome.

Mjerila uspjeha i izmjerene vrijednosti

Mjerila uspjeha preuzeta su iz zahtjeva: najmanje 30 sličica u sekundi, najviše 850 MB radne memorije, pokretanje scene do 2,0 s, pogreška poravnanja do 5 mm na 0,5 m i paket do 150 MB. Svako od tih mjerila ima svoju mjernu jedinicu i svoj postupak mjerenja.

Na uređaju A izmjereno je: 34 sličice u sekundi u prosjeku, uz najmanju izmjerenu vrijednost 27, 612 MB radne memorije, pokretanje scene 1,8 s, pogreška poravnanja 4 mm i paket 96 MB. Sva su mjerila zadovoljena, ali jedno traži oprez: najmanja vrijednost od 27 sličica pokazuje da u pojedinim trenucima prikaz pada ispod cilja.

Na starijem tabletu od 7 inča brojke su lošije, ali unutar granica. Na naočalama je prosjek pao na 31 sličicu u sekundi, jer se slika iscrtava dvaput. Zato se u zapisnik uvijek upisuje uređaj uz svaku brojku; mjerenje bez oznake uređaja nema vrijednost.

Kako se mjeri

Broj sličica u sekundi mjeri se ugrađenim brojačem tijekom istog postupka od osam koraka, u trajanju od najmanje jedne minute. Bilježe se prosjek i najmanja vrijednost, jer korisnik ne primjećuje prosjek nego zastoje. Mjeri se na izgradnji za isporuku, na uređaju koji nije priključen na punjač.

Radna memorija očitava se iz razvojnog alata za praćenje uređaja, i to na kraju cijelog postupka, kad su svi koraci bili prikazani barem jednom. Mjerenje na početku uvijek daje lijepu i beskorisnu brojku.

Vrijeme pokretanja mjeri se od dodira ikone do prikaza prvog koraka, deset puta, pa se uzima srednja vrijednost. Pogreška poravnanja mjeri se tako da se uz stvarni rub prihvatnice postavi mjerna letvica, snimi se prikaz s 0,5 m i izmjeri razmak između ruba digitalnog modela i stvarnog ruba. Ponavlja se pet puta, iz triju smjerova.

Prikaz daje opseg ispitivanja u brojkama: koliko se izvršenja obavi, kolika je stopa prolaza i koliko vremena ispitivanje traži. Na projektu AR-1 to je 14 slučajeva na tri uređaja, dakle 42 izvršenja, uz prolaz u 12 od 14 slučajeva.

Ispitivanje s korisnikom

Mjerenja govore kako radi uređaj, a ispitivanje s korisnikom kako radi čovjek. Postupak je jednostavan: tehničaru se preda uređaj i zada zadatak, bez objašnjenja. Ispitivač ne pomaže, samo promatra i bilježi. Pomoć se daje tek kad se korisnik potpuno zaustavi, i to se zabilježi kao nalaz.

Bilježe se četiri stvari: koliko je trajalo, gdje je korisnik zastao, što je pitao i što je sam rekao naglas. Najvrjedniji su trenuci oklijevanja — mjesta na kojima korisnik gleda zaslon i traži nešto što ondje ne piše. Za brojku je dovoljno troje do petero ljudi; nakon petoga se nalazi počinju ponavljati.

Ispitivanje se izvodi ondje gdje se posao doista obavlja. Isti tehničar koji u učionici odradi postupak bez zastoja, u ćeliji zastane dvaput: jednom jer mu je uređaj smetao pri pridržavanju prihvatnice, jednom jer je pod svjetiljkom na pločici nastao odsjaj. Nijedno od toga ne bi se pokazalo za stolom.

Uz opažanja se mjeri i vrijeme. Za AR-1 zabilježeno je koliko traje cijeli postupak od osam koraka i koliko od toga otpada na traženje sljedećeg koraka. Drugi je broj važniji: on govori koliko uputa pomaže, a koliko odmaže. Ako se na traženje troši više od desetine vremena, sučelje treba pojednostavniti, a ne tehničara dodatno poučavati.

Nakon zadatka postavljaju se tri pitanja: što je bilo najnejasnije, što je najviše pomoglo i bi li uređaj koristio u svojoj smjeni. Odgovori se zapisuju doslovno, bez uljepšavanja. Ako tehničar kaže da mu je tablet smetao pri pridržavanju prihvatnice, to je nalaz jednake težine kao i izmjerenih 27 sličica u sekundi.

Zapisnik nalaza, ispravci i ponovno ispitivanje

Rezultat ispitivanja projekta AR-1 jest prolaz u 12 od 14 testnih slučajeva. Dva slučaja nisu prošla i iz njih su nastala dva nalaza. Prvi: pri osvjetljenju ispod 120 lx gubi se praćenje i sadržaj odluta. Drugi: na starijem tabletu od 7 inča tekst upute preklapa gumbe, pa se korak ne može promijeniti.

Nalazi se razvrstavaju po težini. Teški nalaz sprječava obavljanje posla ili ugrožava sigurnost; ispravlja se prije puštanja u rad. Srednji otežava rad, ali ga ne sprječava. Lagani je smetnja koja može pričekati sljedeću inačicu. Oba nalaza s AR-1 su teška: prvi zato što sadržaj koji odluta navodi na pogrešku, drugi zato što onemogućuje nastavak.

Ispravak nije gotov dok se ne provjeri. Nakon ispravka ponavlja se slučaj koji je pao, ali i slučajevi koji bi ispravkom mogli biti pogođeni. Za nalaz N2 to znači ponovno izvođenje svih slučajeva koji se tiču sučelja, jer je promijenjen raspored. To ponavljanje naziva se ponovnim ispitivanjem i bez njega se redovito ispravi jedno, a pokvari drugo.

Zapisnik ispitivanja zaključuje se ocjenom: zadovoljava, zadovoljava uz uvjete ili ne zadovoljava. Na AR-1 zaključak glasi da okruženje zadovoljava uz uvjet da se na radnom mjestu postavi dodatna svjetiljka i da se inačica 1.1 s ispravljenim rasporedom instalira na sve uređaje. Uz zaključak ide i datum ponovnog ispitivanja nakon tri mjeseca rada.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.