Testiranje funkcionalnosti izrađenih okruženja

Plan ispitivanja

Ispitivanje bez plana svodi se na isprobavanje. Netko stavi naočale, pogleda ćeliju, kaže da radi i time je posao naizgled gotov. Plan ispitivanja rješava tri pitanja: što se ispituje, čime se mjeri uspjeh i tko ispituje.

Za HT-1 plan je kratak. Ispituje se šesnaest slučajeva na dvoje naočala, u pravoj radionici, pri uobičajenom osvjetljenju od 200 do 800 lx, a ispituju dvije osobe koje nisu radile na dijelu koji ispituju. Ispitivanje traje dva dana, uz jedan dan za ispravke i ponovnu provjeru.

Plan razlikuje tri vrste ispitivanja. Ispitivanje mogućnosti provjerava radi li svaka pojedina stvar. Mjerenje pokazatelja daje brojke o brzini, memoriji i točnosti. Ispitivanje s korisnikom gleda snalazi li se čovjek koji projekt nije radio. Sve tri su potrebne, jer okruženje može proći prve dvije i propasti na trećoj.

Ispituje se uvijek na uređaju i u prostoru u kojem će se raditi, nikad u simulatoru. Simulator pokazuje ispravno ponašanje programa, ali ne zna ništa o osvjetljenju radionice, o odsjaju s lima ni o tome koliko brzo tehnolog okreće glavu.

Testni slučajevi

Testni slučaj zapisani je niz koraka s očekivanim ishodom. Piše se tako da ga može izvesti netko tko projekt ne poznaje. Ako slučaj traži tumačenje, nije dovoljno napisan.

Slučajevi za HT-1 nastali su iz devet koraka scenarija i iz šest zahtjeva, dakle petnaest slučajeva. Šesnaesti je dodan izvan tog niza: T13, nagla promjena osvjetljenja, ne izlazi ni iz scenarija ni iz zahtjeva nego iz poznate slabosti uređaja. Ukupno ih je šesnaest, a nekoliko ih je prikazano u cijelosti, kao obrazac za ostale.

Slučaj koji je pao ne briše se i ne prepravlja se tako da prođe. On ostaje zapisan, dobiva nalaz i ponavlja se nakon ispravka. Tri slučaja koja su na HT-1 pala odnose se na dvije stvarne pojave: gubitak sidra pri naglom zamračenju i preklapanje izbornika s hologramom na malim udaljenostima.

Uz svaki slučaj bilježi se i okolina u kojoj je izveden: koji uređaj, koja inačica aplikacije, koliko je bilo svjetla i tko je ispitivao. Bez toga se nalaz ne može ponoviti, a nalaz koji se ne može ponoviti u pravilu se ne može ni ispraviti.

Mjerila uspjeha i izmjerene vrijednosti

Mjerilo uspjeha je brojka dogovorena unaprijed. Dogovara se prije mjerenja, jer se poslije uvijek nađe razlog zašto je izmjereno dovoljno dobro. Za HT-1 mjerila su zapisana u zahtjevima, a usporedba s izmjerenim vrijednostima izgleda ovako.

Dvije brojke traže tumačenje. Prosjek od 58 sličica u sekundi nije daleko od cilja, ali najmanja izmjerena vrijednost od 44 pokazuje da postoje trenuci kada prikaz vidljivo zapne. Takvi se padovi javljaju pri prilasku ogradi, gdje se preklapa više prozirnih ploha. Prosjek sam po sebi zato nikada nije dovoljan; uz njega se uvijek bilježi i najmanja vrijednost.

Pomak sidra od 6 mm prelazi mjerilo za jedan milimetar. To nije mnogo, ali mjerilo je mjerilo. Nalaz se zapisuje, a odluka može biti dvojaka: ili se pomak smanji, ili se mjerilo obrazloženo promijeni uz suglasnost onoga tko je zahtjev postavio. Tiho prihvaćanje nije treća mogućnost.

Kako se mjeri

Svako mjerenje mora imati opisan postupak, inače dva čovjeka dobiju dva rezultata. Postupci za HT-1 opisani su kratko i drže se uz zapisnik.

Brojač sličica ugrađuje se u samu aplikaciju, jer vanjski alati na naočalama često nisu dostupni. Brojač ispisuje prosjek i najmanju vrijednost u posljednjih deset sekundi, a zapis se sprema na uređaj. Sam brojač mora biti jeftin, inače mjeri vlastiti utjecaj.

Pomak sidra mjeri se najjednostavnijim priborom: ljepljivom trakom i ravnalom. Na pod se zalijepi križ, hologram se s njim poravna i ostavi. Nakon dvadeset minuta rada izmjeri se razmak između hologramskog i stvarnog križa. Mjeri se na dva metra od sidra, jer pogreška raste s udaljenošću, pa mjerenje uz samo sidro daje lijepe, ali beskorisne brojke.

Mjerenja se ponavljaju barem triput i bilježi se raspon, ne samo prosjek. Jedno mjerenje na naočalama gotovo ništa ne znači, jer na rezultat utječu temperatura uređaja, razina baterije i osvjetljenje u tom trenutku.

Temperatura uređaja zaslužuje posebnu bilješku. Naočale koje su radile pola sata zagriju se, a zagrijani procesor smanji brzinu kako bi se zaštitio. Mjerenje napravljeno na hladnom uređaju zato redovito bude bolje od onoga što korisnik doživi nakon dvadeset minuta rada. Postupak je jednostavan: mjeri se tek nakon deset minuta neprekidnog rada, a u zapisnik se upisuje koliko je uređaj do tada radio.

Mjerenje trajanja baterije traje najdulje i zato se planira odvojeno, najbolje za kraj dana. Uređaj se pusti da radi s uobičajenim prikazom dok se ne isključi, a postotak se zapisuje svakih deset minuta. Iz tog niza vidi se i nešto što sam podatak o trajanju ne pokazuje: pada li baterija ravnomjerno ili se na kraju naglo sruši. Za planiranje smjene važnija je ta krivulja nego jedan broj.

Ispitivanje s korisnikom

Ispitivanje s korisnikom najkraće je i najkorisnije. Pozove se osoba koja projekt nije radila, stavi joj se uređaj i zada zadatak. Ne objašnjava joj se ništa osim kako se naočale stavljaju. Zatim se šuti i gleda.

Za HT-1 zadatak glasi: postavi ćeliju na oznaku na podu, provjeri doseg robota i izmjeri je li prolaz operatera uz ogradu ćelije širi od 900 mm. Mjeri se vrijeme do dovršetka, broj pokušaja koji nisu dali rezultat i broj pitanja koje je korisnik postavio. Na kraju se pita što je bilo nejasno.

Četiri osobe dovoljne su da se pronađe većina ozbiljnih nedostataka upotrebljivosti. Peta i šesta obično ponove ono što su rekle prve četiri. Zato se ne čeka velika skupina nego se ispituje rano i s malo ljudi, pa se ispravci provjeravaju na sljedeće četvero.

Važno je razlikovati što je korisnik rekao od onoga što je učinio. Rečenica sve je bilo u redu uz tri minute traženja gumba znači da gumb nije bio u redu. Bilježi se ponašanje, a mišljenje se uzima kao dopuna.

Zapisnik i ispravci

Zapisnik ispitivanja jedan je dokument u kojem stoji sve: datum, inačica, uređaji, uvjeti, popis izvedenih slučajeva s ishodima, izmjerene vrijednosti i popis nalaza. Piše se tijekom ispitivanja, a ne poslije po sjećanju.

Svaki nalaz dobiva oznaku, kratak opis, težinu i stanje. Težina govori koliko smeta: sprječava rad, otežava rad ili je sitnica. Stanje govori dokle se stiglo: otvoren, u radu, ispravljen, ponovno ispitan, zatvoren. Nalaz se zatvara tek kad je slučaj koji je pao ponovljen i prošao.

Nakon ispravaka ne ponavlja se cijelo ispitivanje nego ciljani dio: slučajevi koji su pali i slučajevi koje je ispravak mogao pokvariti. Za HT-1 je nakon prvog prolaza, u kojem je prošlo trinaest slučajeva uz jedan otvoren nalaz koji sprječava rad, na ponovnu provjeru išlo osam od šesnaest slučajeva. Takva ponovljena provjera traje pola dana umjesto dva.

Na kraju se piše zaključak u nekoliko rečenica: koliko je slučajeva prošlo, koja mjerila nisu ispunjena, što je ispravljeno i s kojim ograničenjima se okruženje predaje. Za HT-1 zaključak glasi da je od šesnaest slučajeva prošlo trinaest, da su dva nalaza ispravljena i ponovno ispitana, a da se pomak sidra i pad brzine uz ogradu predaju kao zapisana ograničenja uz prijedlog nastavka rada.

Zapisnik se čuva uz projekt i nakon predaje. Kad se nakon pola godine pojavi pitanje zašto je nešto riješeno baš tako, odgovor je gotovo uvijek u zapisniku ispitivanja, a ne u sjećanju.

Ključni pojmovi

Provjeri se

Kratka provjera prije prelaska na sljedeću jedinicu. Odgovor se potvrđuje klikom, a obrazloženje se prikazuje odmah.