Testidisaini tehnikad Loeng 1. Magnus Hillermaa 2011

Transcription

1 Testidisaini tehnikad Loeng 1 Magnus Hillermaa 2011

2 » Testide arendamise protsess (Test development process)» Testidisaini tehnikate kategooriad (Cathegories of Test design techniques)» Spetsifikatsioonil põhinevad testidisaini tehnikad (Specification based techniques)» Kogemustel põhinevad testimistehnikad (Experience based techniques)

3 Testide arendamise protsess» Testianalüüs» Testidisain (Test analyses) (Test design)» Testide jälgitavuse loomine (Establish tracability)» Testide realiseerimine (test implementation)

4 Testide arendamise protsess» Testianalüüs (Test analyses) Testitavate tingimuste identifitseerimine (Test conditions) Testidisaini spetsifikatsioon (Test design specification)

5 Testide arendamise protsess» Testianalüüs (Test analyses) Nõuded: Testitavate tingimuste identifitseerimine (Test conditions) 1) Süsteem peab võimaldama olemasolevate lepingutüüpidele vastavate laenulepingute sõlmimist 2) Süsteem peab võimaldama tulevikus vajaminevate lepingutüüpide kiiret ja lihtsat lisamist süsteemi.

6 Testide arendamise protsess» Testidisain (test design) Testitavatest tingimustest testilugude loomine Testilugude spetsifikatsioon (Test case specification)

7 Testide arendamise protsess» Testide jälgitavuse loomine (establish tracability) Millised testilood käivad milliste testitingimuste kohta ja millised testitingumused käivad milliste nõuete kohta

8 Testide arendamise protsess» Testide realiseerimine (Test implementation) Testilugude käivitamise järjekorra ja ajakava planeerimine Testiprotseduuride spetsifikatsioon (Test procedure spec aka test script) Testide käivitamise ajakava (Test execution spec)

9 Testide arendamise protsess» Testilugudest testiprotseduuri (Translate test cases into test procedure) koostamine Grupeeri ja järjesta testilood Lisa testikogume eesmärgi selgitus Prioritiseeri (find the scary stuff first) Määratle tegevused samm haaval Selge jälgitavus nõueteni (clear tracability to requirements)

10 Testide arendamise protsess» Testilugu» Testitingimus (Test case) (Test condition) detailne tegevuse ja oodatud tulemuse kirjeldus lihtsalt midagi mida saab testida

11 Testide arendamise protsess» Kvaliteetse testiloo tunnused (Characteristics of a quality testcase) Käivitamise eeltingimused Sisend (Input) Oodatud tulemus Käivitamise järeltingimused Selge jälgitavus nõueteni (Execution preconditions) (Expected results) (Execution postconditions) (clear tracability to requirements)

12 Testide arendamise protsess Test case ID Description/ requirement Tester TC_4 Logging of termination code Magnus Hillermaa Time Environment Requirement Test Expected result/actual result Prerequirement Postrequirement Status/bug VTE DB EE Record must exist in LEPKOMMENT table with TERMINATION_CODE = N Changes in LAEN.LEPKOMMENT.TERMINATION_CODE must be logged. Select record from LEPKOMMENT table with TERMINATION_CODE = N; update LEPKOMMENT.TERMINATION_CODE := A; check LEPKOMMENT_LOG termination_code change must be logged N/A OK

13 Testide arendamise protsess Tüüpilised vead: - Ei midagi ütlevad testilood >See mis täna tundub iseenesest mõistetav on homme mõistmatu. >Toodangus leitud vigade kohta võimatu analüüsida, kus puudujäägid olid. - Jälgitavuse puudumine >Kui nõuded muutuvad, ei saa aru, milliseid testilugusid peaks ümber tegema >Suure projekti korral ei saa aru, kas kõik nõuded on kaetud.

14 Testide arendamise protsess» Testiprotseduuride spetsifikatsioon (Test procedure spec) testi käivitamiseks vajaminevate tegevuste ja testilugude jada» Testide käivitamise ajakava (Test execution schedule) Määratleb, millal ja kelle poolt testiprotseduurid käivitatakse

15 Testide arendamise protsess Tüüpilised vead: - Hakkan kohe teste käivitama >Nagunii pean kõik selle üle testima, kuna ei mäleta, mida ma täpselt tegin. >Leian vigu, kuid ei oska neid korrata. - Ei hakka eeltingimusi kirja panema >Mõni eeltingimus ununeb mille tulemusena läbitud testide tulemused osutuvad väärtusetuteks - Kolleegid on pahased, kuna põhjustad neile lisatööd - Sind ei usaldata

16 Testide arendamise protsess 1-Testianalüüs (Test analyses) 2-Testidisain Testidisaini spetsifikatsioon (Test design specification) (Test design) Testilugude spetsifikatsioon (Test case specification) *-Testide jälgitavuse loomine (Establish tracability) 4-Testide realiseerimine (test implementation) Testiprotseduuride spetsifikatsioon (Test procedure spec aka test script) Testide käivitamise ajakava (Test execution spec)

17 » Testide arendamise protsess (Test development process)» Testidisaini tehnikate kategooriad (Cathegories of Test design techniques)» Spetsifikatsioonil põhinevad testidisaini tehnikad (Specification based techniques)» Kogemustel põhinevad testimistehnikad (Experience based techniques)

18 Testidisaini tehnikate kategooriad» Mis on testimise eesmärk?» Milliseid vigu otsida?» Milliseid vigu üldse eksisteerib?

19 Testidisaini tehnikate kategooriad» Milleks taksonoomiad kasutada?» Kindlale veatüübile fokuseeritud testimiseks» Testimisideede genereerimiseks

20 Testidisaini tehnikate kategooriad» Milleks taksonoomiad kasutada?» Testide katvuse hindamiseks» Vigade tekkimise põhjuse analüüsiks» Protsessi parendamiseks

21 Testidisaini tehnikate kategooriad» Milleks taksonoomiad kasutada?» Vigade mõju ja tõsiduse mõistmiseks

22 » Mõningad taksonoomiad» Nõuete viga (requirement bug)» funktsionaalviga (functionality bug)» mahuviga (volume bug)» Kasutatavusviga (usability bug)» Turvaviga (security bug)» Jõudlusviga (performance bug) Testidisaini tehnikate kategooriad

23 » Funktsionaalsed testid (functional tests) MIDA SEE TEEB? Testidisaini tehnikate kategooriad» Funktsionaalsuse testimine (functional testing) Kas on võimalik teha nõutud tegevusi?» Koostalitusvõime testimine (interoperability testing) Kas töötab koos teiste süsteemidega?

24 » Funktsionaalsed testid (functional tests) MIDA SEE TEEB? Testidisaini tehnikate kategooriad» Turvalisuse testimine (Security testing) Kas ligipääsu mitteomavatel isikutel on võimalik süsteemi pääseda või sealseid andmeid näha/muuta?

25 Testidisaini tehnikate kategooriad» Mittefunktsionaalsed testid (non-functional tests) KUI HÄSTI SEE TEEB?» Jõudlus- ja koormustestimine (performance/load testing) Kuidas süsteem toimib etteantud koormuse all?» Stresstestimine (stress testing) Kui suurt koormust süsteem talub?

26 Testidisaini tehnikate kategooriad» Mittefunktsionaalsed testid KUI HÄSTI SEE TEEB?» Kasutuskõlblikkuse testimine (usability testing) Kui keerukas on süsteemi kasutamine? (non-functional tests)» Haldustestimine (Maintainability testing) Kui lihtne on süsteemi haldamine/hooldamine?

27 Testidisaini tehnikate kategooriad» Tarkvara omadused (ISO 1926)» Funktsionaalsus (functionality)» Tõhusus (efficiency)» Töökindlus (reliability)» Kasutuskõlblikkus (usability)» Haldustestimine (Maintainability)» Porditavus (Portability) Kas süsteem teeb seda ja ainult seda, mis nõutud? Kui suur on ressursi kasutus ja süsteemi võimekus? Kui suur on süsteemi veataluvus, sobivus teiste süsteemidega? Kui lihtne/kiire taaskäivituvus? Kui keerukas/kiiresti õpitav on kasutamine(tavakasutajale, puudega inimesele jne.)? kui keerukas on analüüsida, testida, muuta? Kui suur on stabiilsus, sobivus teiste süsteemidega? Kui keerukas on integreerimine, installeerimine, asendamine?

28 Testidisaini tehnikate kategooriad» Regressiooni testid» hooldustestid (maintenance tests) Kas ülejäänud süsteem töötab peale muudatusi süsteemi (reression tests) ühes osas? kas muudatused käituvad vastavalt nõuetele?

29 Testidisaini tehnikate kategooriad Miks kasutada testidisaini tehnikaid? Mõõdetav katvus (measurable coverage) Aitab genereerida testi ideid Tõstab testimise tõhusust

30 Testidisaini tehnikate kategooriad Miks kasutada testidisaini tehnikaid? Struktureeritud lähenemine - vähendab eksimisvõimalust Lihtsustab komplekssete nõuete testimist Võimaldab toime tulla kombinatoorilise plahvatusega

31 Katvus (coverage) Testidisaini tehnikate kategooriad 100% Katvus 100% testitud Katvus = Testitud katvus objektide arv Kogu katvus objektide arv X100% Alati peab olema selge, mille suhtes katvust esitatakse (mis on katvus objektid/kriteeriumid?) Soovitav on kasutada katvuseid, milles on võimalik saavutada 100% ulatus

32 Testidisaini tehnikate kategooriad Katvus (coverage) Nõute hulgal põhinev karvus on ebatäpne. auto kindlustusele lisandub kõrgendatud riski maksumus, kui auto on enam kui 5 aastat vana ja kindlustaja on naissoost või kui auto on 10 või enam aastat vana. Kõigi kuni 10 aastaste autode kindlustamine, välja arvatud meessoost autoomanikele kui auto on enam kui 5 aasta vanune, on teenustasuta

33 Testidisaini tehnikate kategooriad Kuidas jagunevad testidisaini tehnikad?» Musta kasti tehnikad (Black box)» Valge/klaas kasti tehnikad (White/glass box) Spetsifikatsioonipõhised (Specification based) Struktuuripõhised (Structure based) Kogemusepõhised (Experience based)

34 Testidisaini tehnikate kategooriad Ideaalses maailmas Nõuded kood Reaalses maailmas Nõuded kood Realiseerimata funk. (musta kasti tehnikad) Valesti toimiv funktsionaalsus (musta ja valge kasti tehnikad) turva vead (valge kasti tehnikad ja turva testimine)

35 Testidisaini tehnikate kategooriad Spetsifikatsioonipõhised tehnikad (Specification based)» Musta kasti tehnikad (Black box) Kasutavad mudeleid või dokumentatsiooni analüüsi, mis kirjeldavad: Lahendatavat probleemi Tarkvara Tarkvara komponente sellest on võimalik süsteemselt tekitada testilugusid ja mõõta nende katvust

36 Kogemustel põhinevad tehnikad Kasutab Testjate Arendajate Tellijate (Stakeholders) (Experience based) Kogemust tarkvara kasutuse ja keskkonna osas Puudub võimalus katvust mõõta! Testidisaini tehnikate kategooriad Adekvaatne» Musta kasti tehnikad (Black box) Kasutatakse spetsifikatsiooni või struktuuripõhise tehnika täienduseks VÕI Spetsifikatsioon puudub

37 Testidisaini tehnikate kategooriad Spetsifikatsioonipõhised tehnikad (Specification based)» Musta kasti tehnikad (Black box) Olekusiirde test (State transition test) Otsustustabeli test (Decision table test) Piirväärtuste analüüs (Boundary value analyses) Kasutusloo-põhine test (Use case testing) Ekvivalentsiklasside analüüs (Equivalence partitioning)

38 Testidisaini tehnikate kategooriad Kogemustepõhised tehnikad (Experience based)» Musta kasti tehnikad (Black box) Uuriv testimine (Exploratory testing) Vea mõistatamine (Error guessing)

39 Testidisaini tehnikate kategooriad» Valge kasti tehnikad (White box) Struktuuripõhised tehnikad (Experience based) Testilugusid on võimalik luua süsteemselt katvuse tõstmiseks Testilugude tekitamiseks kasutatakse koodi, disaini või muud infot, mis kirjeldab, kuidas tarkvara on üles ehitatud Katvus on mõõdetav JA

40 Testidisaini tehnikate kategooriad» Valge kasti tehnikad (White box) Struktuuripõhised tehnikad (Structure based) Lauseadekvaatsus (Statement testing) Otsustuspunktiadekvaatsus Tingimuseadekvaatsus Tingimusteadekvaatsus (Multiple-condition testing) (Condition testing) (Decision testing)

41 Musta kasti tehnikad Testimistehnikad on testijate tööriistakast Igal tehnikal on oma kasutusala

42 » Testide arendamise protsess (Test development process)» Testidisaini tehnikate kategooriad (Cathegories of Test design techniques)» Spetsifikatsioonil põhinevad testidisaini tehnikad (Specification based techniques)» Kogemustel põhinevad testimistehnikad (Experience based techniques)

43 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) Põhjus-tagajärje visualiseerimine (Couse-Effect graphing) (State transition test) Kasutusloo-põhine test (Use case testing)

44 Ekvivalentsiklasside analüüs Jaga sisendid, väljundid vms gruppidesse, mis on sarnased Eeldame, et kui 1 väärtus toimib, toimivad ka kõik teised väärtused sellest grupist

45 Ekvivalentsiklasside analüüs Termosond -3 0*C külm soe kuum 15*C 60*C Üks väärtus igast vahemikust annab suurema katvuse, kui kõik väärtused ühest vahemikust

46 Ekvivalentsiklasside analüüs Mida saab gruppidesse jagada? Sisendandmed Sisestatud kasutaja või mõne muu süsteemi poolt Väljundandmed Ekraanile, failisüsteemi, andmebaasi Lähtetingimused Olemas olevad andmed, failid, keskkonnad jne. Tingimuste kombinatsioonid Kas krediitkaardi andmed (nimi, number, kuupäev) on sobilikud

47 Ekvivalentsiklasside analüüs Harjutus: Kirjuta välja ekvivalentsiklassid Spetsifikatsioon: Pank pakub tasuta pangasiseseid makseid suurema kui 1 aastase staažiga klientidele. Alates 2 aastasest staažist on tasuta kõik siseriiklikuid maksed. 5 või rohkema aastase staažiga kliendid saavad kuldkliendi staatuse. Soodustused puuduvad PS SR KULD 1 aasta 2 aastat 5 aastat

48 Ekvivalentsiklasside analüüs Harjutus: Kirjuta välja ekvivalentsiklassid 0%? Spetsifikatsioon: Pank maksab kuni kroonise konto seisu pealt intressi 3%. Alates kroonist tõstab pank intressi 0,5% ja seda iga järgneva 5 tuhande krooni järelt kuni kroonini. 3% 3,5% 4% 4,5% 4,5%? 0 10K 15K 20K 25K Tehnikate tundmine aitab esitada spetsifikatsiooni kohta täpsustavaid küsimusi

49 Ekvivalentsiklasside analüüs Harjutus: Kirjuta välja ekvivalentsiklassid Spetsifikatsioon: Taimer võimaldab maha lugeda aega 1 minuti kuni 100 päeva ulatuses. Päevad, tunnid ja minutid tuleb sisestada täisarvudes ja erinevatesse lahtritesse. Ting. grupp Tõene klass Vigane klass päev <0 >100 tund 0-24 <0 Mitte täisarv >24 minut 0-60 <0 Päev+tund+ min 1 minut päeva Mitte täisarv >60 Mitte täisarv >100 päeva =0 minutit

50 Ekvivalentsiklasside analüüs Harjutus: Spetsifikatsioon: Kirjuta välja ekvivalentsiklassid Taimer võimaldab maha lugeda aega 1 minuti kuni 100 päeva ulatuses. Päevad, tunnid ja minutid tuleb sisestada täisarvudes ja erinevatesse lahtritesse. Ting. grupp Tõene klass Vigane klass päev 0-99 <0 >100 tund 0-23 <0 Mitte täisarv >24 minut 0-60 <0 Päev+tund+ min 1 minut päeva Mitte täisarv >60 Mitte täisarv >100 päeva =0 minutit

51 Ekvivalentsiklasside analüüs Kuidas katvust mõõta? Näiteks: Selgita, mida ekvivalentsi klassidesse jagati? Näita katvus murru või protsendina Sisendväärtuste ekvivalentsiklasside katvus 10/10 Või 100% väljundväärtuste ekvivalentsiklasside katvus (100% equivalence partition coverage on outputs)

52 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) Põhjus-tagajärje visualiseerimine (Couse-Effect graphing) (State transition test) Kasutusloo-põhine test (Use case testing)

53 Piirväärtuste analüüs Gruppidevaheliste piiride ümbrus on veaohtlik Piirväärtuste analüüsis testitakse väärtusi piiri peal ja/või selle ümbruses

54 Piirväärtuste analüüs 3 väärtusega PA (BVA) väärtusega PA (BVA)

55 Piirväärtuste analüüs Termosondi spetsifikatsioon: t* <= 15 - külm 15 < t* < 60 - soe t* >= 60 - kuum Min accuracy = 1 degree *C cold warm hot 15*C 60*C

56 Piirväärtuste analüüs väär tõene 3 väärtuse PA vs 2 väärtuse PA Arendaja X<1 X<=1 X=1 X>=1 X>1 X<>1 X=0 T T V V V T X=1 V T T T V V X=2 V V V T T T 2 v PA neid vigu ei leia Seda viga ei leia ei 2v PA ega 3v PA Arendaja X<0 X<=0 X=0 X>=0 X>0 X<>0 X=0 T T V T V V X=1 V T T T T T X=2 V V V T T T

57 Piirväärtuste analüüs Arendaja X<1 X<=1 X=1 X>=1 X>1 X<>1 väär -2 tõene X = -2 T T V V V T X = 0 T T V V V T X = 1 V T T T V V X = 3 V V V T T T Arendaja X<0 X<=0 X=0 X>=0 X>0 X<>0 X = -2 T T V V V T X = 0 V T T T V V X = 1 V V V T T T EA ja 2 PA Kombineeritult vajab 1 testlugu rohkem kui 3 PA ning leiab seejuures kõik vead X = 3 V V V T T T

58 Ekvivalentsiklasside analüüs Harjutus: Kirjuta välja testlugude loomisel vajaminevad ekvivalentsiklassid ja 2 v PA piirväärtused Spetsifikatsioon: Programm arvutab, mitu päeva on jäänud jõuludeni. Aktsepteeritud on vaid kuupäevad alates 1. juunist. Sisendiks on 2 täisarvu, mis tähistavad valitud kuupäeva kuud ja päeva.

59 Ekvivalentsiklasside analüüs Lahendus: Vigane Tõene Vigane Kuude ekvivalentsiklassid Päevade ekvivalentsiklassid Kuude 7,8,10,12 korral Kuude 6,9,11 korral väljundi ekvivalentsiklassid Vigane Tõene Vigane Vigane Tõene Vigane Vigane Tõene Vigane

60 Ekvivalentsiklasside analüüs Lahendus: Ting. grupp Tõene klass Vigane klass Tõene PV Vigane PV Kuu 6-12 V1 <6 X1 6 TP1 5 XP1 >12 X2 12 TP2 13 XP2 M.täisarv X3 1 XP3 Päev (kuu:7,8, 10,12) Päev (kuu:6,9, 11) 1-31 V2 <1 X4 1 TP3 0 XP4 >31 X5 31 TP4 32 XP5 M.täisarv X V3 <1 X7 1 TP5 0 XP6 >30 X8 30 TP6 31 XP7 M.täisarv X9 Väljund V4 <-6 X10-6 TP7-7 XP8 >207 X TP8 208 XP9

61 Piirväärtuste analüüs Kuidas katvust mõõta? Selgita, milliseid piirväärtusi testiti? Mitme väärtusega piirväärtusanalüüsi rakendati? Näita katvus murru või protsendina Näiteks: Sisendväärtuste piirväärtuste 2 PV PVA katvus 100% (100% 2-BVA coverage)

62

63 Testidisaini tehnikad Loeng 2 Magnus Hillermaa 2011

64 Testide arendamise protsess 1-Testianalüüs (Test analyses) 2-Testidisain Testidisaini spetsifikatsioon (Test design specification) (Test design) Testilugude spetsifikatsioon (Test case specification) *-Testide jälgitavuse loomine (Establish tracability) 4-Testide realiseerimine (test implementation) Testiprotseduuride spetsifikatsioon (Test procedure spec aka test script) Testide käivitamise ajakava (Test execution spec)

65 » Funktsionaalsed testid (functional tests) MIDA SEE TEEB? Testidisaini tehnikate kategooriad» Mittefunktsionaalsed testid (non-functional tests) KUI HÄSTI SEE TEEB?

66 Testidisaini tehnikate kategooriad» Mittefunktsionaalsed testid (non-functional tests) KUI HÄSTI SEE TEEB?» Jõudlus- ja koormustestimine (performance/load testing) Kuidas süsteem toimib etteantud koormuse all?» Stresstestimine (stress testing) Kui suurt koormust süsteem talub?

67 Ekvivalentsiklasside analüüs -3 0*C külm soe kuum 15*C 60*C

68 Piirväärtuste analüüs 3 väärtusega PA (BVA) väärtusega PA (BVA)

69 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) (State transition test) Kasutusloo-põhine test (Use case testing)

70 Klassifikatsiooni puud Grupeerimisalused Suurus Värv Kuju

71 Klassifikatsiooni puud kuldranett Troopilised Puuviljad Kiivi banaan põhjamaised banaan Pirn Mango ploom Kiivi Grupeeritud andmed esitatakse puu kujul Mango Pirn Talve nauding õun Talve nauding ploom kuldranett

72 Klassifikatsiooni puud Puuviljad Ilma kivita Suure kiviga banaan õun Kiivi Pirn Mango ploom Talve nauding kuldranett Grupeeritud andmed esitatakse puu kujul

73 Klassifikatsiooni puud ATM Testilood kirjutatakse horisontaaljoontele Sisenemine Menüü Õige PIN Vale PIN Tagasta kaart Sularaha Väljavõte Tagasta kaart Viimased toimingud väljavõte

74 Klassifikatsiooni puud Kuidas katvust mõõta? Milliste puuharude milliseid kombinatsioone testiti? Näita katvus murru või protsendina Näiteks: 100% ATM haru kombinatsioonide katvus (100% ATM branch combinatorial coverage)

75 Klassifikatsioonipuu test Hotellis on 2 sed 4 sed, pere(5) ja lux(2) toad. Hotell hinnastab lisaks toa tüübile ka tuba kasutavate inimeste hulga järgi vahemikes 1-2; 3-4; 5. Lisatasu tuleb maksta tubade eest, kus on suitsetamine lubatud. Lux toa kasutajatele on hommikusöök hinna sees, teistele 5 inimese kohta 1)Joonista vastav klassifikatsioonipuu 2)Arvuta mitu testilugu on vaja kõigi kombinatsioonide testimiseks 3)Märgi ära 3 kõige levinumat broneeringut 4)Märgi ära 1 testilugu, mille käivitamisel leiad kõige tõenäolisemalt vea 5)Genereeri kõik kombinatsioonid 6)Genereeri pairwise i testilood

76 Hotellis on 2 sed 4 sed, pere(5) ja lux(2) toad. Hotell hinnastab lisaks toa tüübile ka tuba kasutavate inimeste hulga järgi vahemikes 1-2; 3-4; 5. Lisatasu tuleb maksta tubade eest, kus on suitsetamine lobatud. Lux toa kasutajatele on hommikusöök hinna sees, teistele 5 inimese kohta BEST-TEST Klassifikatsioonipuu test Toa tüüp Klientide arv Suits Hommikusöök 2'ne 4'ne Pere Luks Jah Ei Ei Jah 1 muutuja 4 väärtusega 1 muutuja 3 väärtusega 2 muutujat 2 väärtusega 4 1 * * = 48

77 Muutujapaaride testimine Kombinatoorikaga saadud testilugude minimiseerimiseks kasutatakse muutujapaaride testimist (Pairwise testing) BEST-TEST PAIRWISE iga 2'ne 4'ne Toa tüüp Pere Luks Klientide arv Suits Jah Ei Hommikusöök Ei Jah 13 1 muutuja 4 väärtusega 1 muutuja 3 väärtusega 4 1 * * = 48 2 muutujat 2 väärtusega

78 Muutujapaaride testimine Mille arvelt testilugusid vähendatakse? Tingimus 1 Tingimus 2 Tingimus 3

79 Muutujapaaride testimine Kuidas leitakse minimiseeritult kõigi tundmatute paarid? lihtne ortogonaalmaatriks L 4 (2 3 ) Kasutatakase 2 meetodit: ortogonaalmaatriksid allpairs algoritm A B C TC TC TC TC

80 Muutujapaaride testimine Klassifikatsioonipuude ja tingimuspaaride tööriist CTE XL

81 Muutujapaaride testimine Kuidas katvust mõõta? Millistele muutujatele tingimuspaaride testimist rakendati? Üldiselt ei ole mõtet rakendada vähem, kui 100% ulatuses Näiteks: 100% keskkonna muutujate tingimuspaaride katvus (100% environment variables pairwise coverage)

82 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) (State transition test) Kasutusloo-põhine test (Use case testing)

83 Otsustustabeli test Kasutatakse keerukate ärireeglite kirjeldamiseks auto kindlustusele lisandub kõrgendatud riski maksumus, kõigile, kelle auto on vanem kui 10 aastat ja naissoost kindlustajatele, kelle auto on 5 või enam aastat vana. Kuni 10 aastaste autode kindlustamine on teenustasuta, välja arvatud meessoost autoomanikele, kelle auto on enam kui 5 aasta vanune. Kasutab kombinatoorikat ja seeläbi tagab, et ükski kombinatsioon ei jää läbimõtlemata

84 Otsustustabeli test Järjesta tingimused ja tegevused Spetsifikatsioon: auto kindlustusele lisandub kõrgendatud riski maksumus, kõigile, kelle auto on vanem kui 10 aastat ja naissoost kindlustajatele, kelle auto on 5 või enam aastat vana. Kuni 10 aastaste autode kindlustamine on teenustasuta, välja arvatud meessoost autoomanikele, kelle auto on enam kui 5 aasta vanune. Tingimused kindlustaja Auto vanus 0-4 Tegevused Kõrg. Risk teenustasuta Mees (M) Naine (N) Kombinatsioonide arv = 2*3 = 6

85 Otsustustabeli test Tingimused kindlustaja M M M N N N Auto vanus Tegevused Kõrg. Risk X X X teenustasuta X X X Katvuse selgitus Kokku on 6 testlugu Kui me testime kõik meessoost kindlustajaga testlood saavutame katvuse 3/6 testlugudest = 50%

86 Otsustustabeli test Tingimused kindlustaja - M - - N - Auto vanus Tegevused Kõrg. Risk X X X teenustasuta X X X Tingimused kindlustaja - M - N Auto vanus Tegevused Kõrg. Risk X X teenustasuta X X Ratsionaliseeritud otsustustabel

87 Otsustustabeli test Harjutus: Koosta otsustustabel Spetsifikatsioon: Pank väljastab laene vahemikus EEK. Laenudele alates 8000 EEK ist kehtib 10% intressi soodustus. tingimused 100<X< Y Y N N X>8000 Y N Y N tegevused Intressi soodustus X X Laen väljastatakse X X

88 Otsustustabeli test Harjutus: Koosta otsustustabel ja ratsionaliseeritud otsustustabel Spetsifikatsioon: Sama päeva kohaletoimetamistele ja kallitele pakkidele tuleb võtta allkiri Nii kallid pakid kui ka rasked pakid kindlustatakse

89 Otsustustabeli test Lahendus: tingimused Otsustustabel Samal päeval J J J J E E E E Raske pakk J J E E J J E E Kallis Pakk J E J E J E J E tegevused allkiri J J J J J E J E kindlustus J J J E J J J E Ratsionaliseeritud J E J E E J E E J E J J E E E J J J E E J J E J E

90 Otsustustabeli test Kuidas katvust mõõta? Kõik võimalikud kombinatsioonid Valik testlugusid Kõik erinevad väljundid Näiteks: 3 kõige levinumat kasutuslugu (3.2, 3.3, 4.1)

91 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) (State transition test) Kasutusloo-põhine test (Use case testing)

92 Olekusiirde test Kasutatakse Olekupõhiste süsteemide (paljud riistvaralised süsteemid: lift, digitaalne kell, ATM jne) testimiseks Veebilehtedel navigatsiooni testimiseks Vormipõhiste rekenduste testimiseks

93 Olekusiirde test Olekusiirde mudel sisaldab: Tarkvara võimalikke olekuid Siirded olekute vahel (States) (Transitions) Tegevusi, mis põhjustavad üleminekuid Sündmusi, mis kaasnevad üleminekutega (Events) (Actions) Oota kaarti Kaart sisestatud Küsi PIN i tühista Tagasta kaart Oota PIN i Vale PIN Kuva Veateade Õige PIN Kuva Peamenüü

94 Olekusiirde test Siirete selgitus Siirded (Chaw s 0 switch coverage) Tallinn Siirete paarid London (Chaw s 1 switch coverage) Tallinn London Chicago

95 Olekusiirde test ATM i olekusiirde mudel Kasutaja tuvastamine Tagasta kaart Tagasta kaart Oota kaarti Õige Pin Kuva peamenüü Raha välja Küsi summa Peamenüü Raha välja Konto seis Kuva konto seis tagasi Kuva peamenüü tagasi Kuva peamenüü Konto seis Prindi Prindi konto seis korrektne summa Väljasta raha

96 Olekusiirde test ATM i olekutabel (State table) Tühjad väljad tabelis tuleks katta negatiivsete testlugudega O1) Kasutaja tuvastamine Õige PIN O2 Konto seis Raha välja Tagasta kaart O2) Peamenüü O3 O4 O5 Korrektne summa prindi O3) Konto seis O3 O2 O4) Raha välja O4 O2 O5) Oota kaarti tagasi

97 Olekusiirde test ATM i lihtsustatud olekutabel sellest tabelist negatiivseid testilugusid välja lugeda ei ole võimalik Lähte olek O1) Kasutaja tuvastamine Siht Olek tegevus Sündmus O2 Õige PIN Kuva peamenüü O2) Peamenüü O3 Konto seis Kuva konto seis O4 Raha välja Kuva raha välja O5 Tagasta kaart Tagasta kaart O3) Konto seis O2 Tagasi Kuva peamenüü O3 Prindi Prindi konto seis O4) Raha välja O2 Tagasi Kuva peamenüü O5) Oota kaarti O4 Korrektne summa Väljasta raha

98 Olekusiirde test Kirjuta välja olekutabel Kirjuta välja 0 lülituse katvus Kirjuta välja 1 lülituse katvus Kirjuta välja 2 lülituse katvus O1 Oota kaarti Kaart sisestatud Küsi PIN i tühista O2 Oota PIN i Õige PIN Kuva Peamenüü O3 Peamenüü Tagasta kaart Vale PIN Kuva Veateade

99 Olekusiirde test 1) 0 lülituse siirded O1-O2 O2-O1 O2-O2 O2-O3 O1-O2-O1-O2-O2-O3 O1-O2-O1 O1-O2-O2 O1-O2-O3 O2-O1-O2 O2-O2-O1 O2-O2-O2 O2-O2-O3 1) 1 lülituse siirded O1-O2-O1-O2-O2-O2-O1 O2-O3 O1-O2-O2-O3

100 Olekusiirde test 1) Kirjuta välja testlood eraldi kõikide siirete testimiseks 2)...siirete paaride testimiseks S1 Kasutaja tuvastamine Tagasta kaart Tagasta kaart Oota kaarti Õige Pin Kuva peamenüü S5 Raha välja Küsi summa S2 Peamenüü Raha välja korrektne summa Väljasta raha Konto seis Kuva konto seis tagasi Kuva peamenüü tagasi Kuva peamenüü S4 S3 Konto seis Prindi Prindi konto seis

101 Olekusiirde test 1) Kirjuta välja testlood eraldi kõikide siirete testimiseks S1-S2 S2-S3 S1-S2-S3...

102 Olekusiirde test 1) Kirjuta välja testlood eraldi kõikide siirete testimiseks S1-S2-S3-S3-S2-S4-S4-S2-S5 S1-S2 S2-S3 S2-S4 S2-S5 S3-S2 S3-S3 S4-S2 S4-S4

103 Olekusiirde test 2)...siirete paaride testimiseks S1-S2-S3-S3-S2-S4-S4- S2-S5 S1-S2-S4-S2-S4-S4-S4- S2-S3-S2-S3-S3-S3-S2- S5 S1-S2-S5 S1-S2-S3 S1-S2-S4 S1-S2-S5 S2-S3-S2 S2-S3-S3 S2-S4-S2 S2-S4-S4 S3-S2-S3 S3-S2-S4 S3-S2-S5 S3-S3-S2 S3-S3-S3 S4-S2-S3 S4-S2-S4 S4-S2-S5 S4-S4-S2 S4-S4-S4

104 Olekusiirde testi katvus Siirded Siirete paarid Siirete kolmikud Jne... (Chaw s 0 switch coverage) (Chaw s 1 switch coverage) (Chaw s 2 switch coverage) Olekusiirde testi negatiivsed testlood Ülal nimetatud katvused käsitlevad vaid positiivseid siirdeid Negatiivsed testlood saab kirjutada olekutabeli põhjal Olekusiirde test

105 Musta kasti tehnikad Ekvivalentsiklasside analüüs (Equivalence partitioning) Piirväärtuste analüüs Otsustustabeli test Olekusiirde test (Boundary value analyses) Klassifikatsioonipuu test (Classification tree) (Decision table test) (State transition test) Kasutusloo-põhine test (Use case testing)

106 Kasutusloo-põhine test Kirjeldab süsteemi kasutust kasutaja kõige tõenäolisematele tegevustele tuginedes Sobib hästi integratsioonivigade otsimiseks Alternatiiv tj. 1 Pea tj. alternatiiv tj. 2 Katvust hinnatakse kõigi pea ja alternatiiv tegevusjadade suhtes (flow) alternatiiv tj. 3 Kasutatakse süsteemi- ja aktsepteerimistesti tasemel (system and acceptance test level)

107 Kasutusloo-põhine test Samm Kirjeldus Pea tegevusjada 1 A: sisestab kaardi ja PIN i Alternatiiv tegevusjadad 2 S: PIN valideeritakse 3 S: Kuvatakse peamenüü 4 A: valib kaarditagastuse 5 S: tagastab kaardi 2a 2b 2c Vale kaart S: Kuva veateade ja tagasta kaart Varastatud kaart S: Kuva veateade ja konfiskeeri kaart Vale PIN S: Kuva veateade ja tagasta kaart

108 Kasutusloo-põhine test Testilugudele võib lisada ka tegevusi, mida kasutuslood ei kirjelda Näiteks: A: Sisestab vigase kasutajatunnuse Liiga pikk Liiga lühike Keelatud tähemärgid Numbrid Jne... Alternatiiv tj. 1 Pea tj. alternatiiv tj. 2 alternatiiv tj. 3

109 Kasutusloo-põhine test Kuidas katvust mõõta? Mõõdetakse protsentuaalselt või murruga mingist eristatavast kasutuslugude hulgast Näiteks: 100% laenulepingu avamise kasutuslugude katvus

110 » Testide arendamise protsess (Test development process)» Testidisaini tehnikate kategooriad (Cathegories of Test design techniques)» Spetsifikatsioonil põhinevad testidisaini tehnikad (Specification based techniques)» Kogemustel põhinevad testimistehnikad (Experience based techniques)

111 Musta kasti tehnikad Vea mõistatamine (Error guessing) Uuriv testimin (Exploratory testing)

112 Kogemustel põhinevad tehnikad Vea mõistatamine Testja mõtleb välja tegevused, mis võiksid põhjustada tarkvara vigast käitumist (Error guessing/bug hunting) Puuduvad reeglid ja protseduurid

113 Kogemustel põhinevad tehnikad Vea mõistatamine (Error guessing) Suunised: Varasemad tõrked (Past failures) Kliendi poolt sisestatud vea raportid jms. Intuition 0 ised ja NULL ised sisendid, tühjad failid jne. kogemused See ei töödanud eelmistel kordadel... ajurünnakud

114 Kogemustel põhinevad tehnikad Vea mõistatamine Harjutus: (Error guessing) Testobjektiks on kodulaenu kalkulaator 1 - Laenusaaja peab olema vähemalt 18 aastat vana 2 laenusaaja vanus ja laenutähtaja summa ei tohi ületada 70 aastat

115 Kogemustel põhinevad tehnikad Uuriv testimine (Exploratory testing) kontseptsioon: Let s apply everything we have learned about testing as we learn about the system James Bach Let s design and run tests based upon our experience and knowledge of system. As our system experience and knowledge increases, more tests are generated Lloyd Roden

116 Kogemustel põhinevad tehnikad Uuriv testimine (Exploratory testing) on pigem metoodika, kui tehnika. Kõige olulisem aspekt on õppimine. Testija teeb pidevalt otsuseid, mida ja kuidas edasi testida. Kasutab teisi testidisaini tehnikaid ja heuristikat On planeeritud ja struktureeritud

117 Kogemustel põhinevad tehnikad Uuriv testimine (Exploratory testing) Kolmnurga harjutus

118 Mida tehnikate kasutamisel meeles pidada Lihtsate nõuete testimine = verifitseerimine Testimistehnikate eesmärk on testimist lihtsustada(efektiivistada) Alati tuleks kasutada lisaks tehnikatele ka uurivat testimist Ükski tehnika ei taga vigadevaba tarkvara

119