Visuomenės sveikata Literatūros apžvalga Visuomenės sveikatos programų Rasa Povilanskienė, Vytautas Jurkuvėnas Higienos institutas Santrauka Pagrindinis visuomenės sveikatos programų tikslas yra susirgimų ir mirčių prevencija ir (ar) kontrolė. Visuomenės sveikatos programos orientuojamos į svarbiausių problemų priežasčių šalinimą, dalyvaujant dideliam bendruomenės narių ir organizacijų skaičiui. Planuojant, vykdant ir įgyvendinus visuomenės sveikatos programas vertinamas jų efektyvumas. Programos gali būti apibrėžiamas kaip sisteminis ir objektyvus jos kokybės ar vertės nustatymas, metodiškai renkant, analizuojant ir interpretuojant informaciją. Vertinimu ne tik nustatoma programos vertė, bet ir sukuriamas grįžtamasis ryšys, nusprendžiant, kad kažkas joje yra gerai ar blogai, teisinga ar neteisinga. Platesniu aspektu nusako programos poveikį, vertę ir kokybę jos efektyvumo didinimo, tobulinimo ir vykdymo atžvilgiu. Gerai atliktas suteikia patikimos ir naudingos informacijos, kuri leidžia priimti sprendimus ir užtikrinti nuolatinį programų vykdymo tobulinimą. Straipsnyje apžvelgiami pagrindiniai programų vertinimo tipai, principai, modeliai ir metodai, kuriuos reikia žinoti planuojant visuomenės sveikatos programų vertinimus. Raktažodžiai: visuomenės sveikata, programų, formuojamasis, apibendrinamasis, vertinimo principai, vertinimo tipai ir modeliai. Įvadas Siekiant, kad visuomenės sveikatos programų (programų ) taptų tradicija ir poreikiu, būtina suprasti, jog neefektyvios visuomenės sveikatos intervencijos kainuoja didžiulius pinigus, kuriuos galima investuoti į efektyvesnes visuomenės sveikatos programas. Valdžios institucijoms būtina geriau suprasti potencialią vertinimo naudą ir tai, kaip vertinimo rezultatai gali teigiamai prisidėti prie politikos formavimo ir programų įgyvendinimo tobulinimo, o vertinantiems specialistams būtina ir toliau siekti pažangos vertinimo srityje [1]. Pagrindinis visuomenės sveikatos programų tikslas yra susirgimų ir mirčių prevencija arba kontrolė. Visuomenės sveikatos programos orientuojamos į svarbiausių problemų priežasčių šalinimą, dalyvaujant dideliam bendruomenės narių ir organizacijų skaičiui. Šalia tradicinių visuomenės sveikatos problemų sprendimo būdų (vakcinacijos ir sanitarinių sistemų keitimo) dabar vykdomos sudėtingos visuomenės požiūrio ir elgesio pokyčių siekiančios programos, reikalaujančios sudėtingesnių sprendimų. Kartais programos, kurios gerai funkcionuoja vienoje vietoje, kitoje patiria nesėkmę ir yra neveiksmingos Adresas susirašinėti: Rasa Povilanskienė, Higienos institutas, Didžioji g. 22, 01128 Vilnius. El. p. rasa@hi.lt dėl skirtingų ekonominių, socialinių, demografinių, kultūrinių, organizacinių ir kitų sąlygų. Siekiant nustatyti programų sėkmės ar nepasisekimo priežastis būtina atlikti jų vertinimą [2]. Programos gali būti apibrėžiamas kaip sisteminis ir objektyvus jos kokybės ar vertės nustatymas, metodiškai renkant, analizuojant ir interpretuojant informaciją. Vertinimu ne tik nustatoma programos vertė, bet ir sukuriamas grįžtamasis ryšys, nusprendžiant, kad kažkas joje yra gerai ar blogai, teisinga ar neteisinga [3, 4]. Platesniu aspektu nusako programos poveikį, vertę ir kokybę jos efektyvumo didinimo, tobulinimo ir vykdymo atžvilgiu. Vertinimas turi suteikti patikimos ir naudingos informacijos, kuri leistų priimti sprendimus ir užtikrintų nuolatinį programų vykdymo tobulinimą [2, 5, 6]. Programų ne tik skatina pokyčius, bet ir prisideda prie atskaitomybės kokybės gerinimo. Žvelgiant į praeitį, padeda suprasti programų pasekmes ir atsiskaityti už lėšų panaudojimą, o žiūrint į ateitį, padeda susisteminti sukauptą patirtį, naudingą gerinant įgyvendinamas ir būsimas programas [7, 8, 9]. Programų naudoja nemažai tradicinių socialinių tyrimų metodologijos. Maža to, programos vertinamos atsižvelgiant į politinį ir institucinį kontekstą, nagrinėjami gebėjimo valdyti ir vadovauti, politinių gabumų, jautrumo, įžvalgumo ir kiti įgūdžiai, kuriais socialiniai tyrimai ne visuomet pasitiki [2, 4]. 2009/4(47) 25
Literatūros apžvalga Visuomenės sveikata Vertinant programas dalyvauja trys pagrindiniai dalyviai: a) institucijos, atsakingos už vertinimo planavimą, užsakymą, valdymą, kokybės kontrolę ir rezultatų panaudojimą; b) vertintojai, atsakingi už vertinimo darbų vykdymą; c) suinteresuoti dalyviai, įskaitant politikos formuotojus ir sprendimų priėmėjus, bendradarbiaujančias organizacijas, susijusias su programos įgyvendinimu, galutinius naudos gavėjus ir kitus subjektus, suinteresuotus programos pasekmėmis [7]. Programų vertinimo tipai Literatūroje dažniausiai išskiriami formuojamasis ir apibendrinamasis programų vertinimai, kurie savotiškai klasifikuoja programų vertinimo tipų įvairovę. Formuojamasis orientuojasi į produkto ir tam naudojamų resursų ir veiklų vertinimą, o apibendrinamasis į gautus rezultatus, jų sąsajas su produktu, nevertindamas veiklos, kuri sąlygojo tuos rezultatus (1 pav.). Vertinimo teoretikas Robert as Stakes as yra pasakęs: Kai virėjas ragauja sriubą tai formuojamasis. Kai svečiai ragauja sriubą tai apibendrinamasis [10, 12, 13]. Formuojamasis taikomas planuojant veiklą ar ją vykdant, norint sužinoti, ką reikia patobulinti. Šis rodo, ar visi programos elementai yra reikalingi, suprantami ir tinkami numatomai populiacijai. Jis taip pat leidžia įvertinti programos pateikimą, įgyvendinimo kokybę, programos vykdytojus, veikimo metodus, išteklius bei daryti įvairias modifikacijas planuojant ar vykdant pačią programą. Šitaip padidinama tikimybė, jog programa bus sėkmingai įvykdyta. Pagrindiniai formuojamojo vertinimo privalumai yra greitas grįžtamosios informacijos, paremtos dokumentais, pateikimas vykdytojams. Informacijos rinkimas ir analizavimas padeda atskleisti, kaip įgyvendinama programa. Įvykių pagrindimas dokumentais rodo, kokie metodai faktiškai naudojami, o tai padeda geriau suformuluoti netikėtas problemas ir aiškiai įvardyti, kas yra padaryta pradinėse ir ankstyvose programos vykdymo stadijose [12, 14]. Formuojamasis apima ir planavimą, nes programos įgyvendinimo palyginimas su planu gali sąlygoti planų, programos tikslų, uždavinių ir priemonių peržiūrėjimą. Tokiu būdu formuojamasis prisideda prie tolesnio programos planavimo ir įgyvendinimo tobulinimo [15, 16]. Formuojamasis gali būti skaidomas į smulkesnes dalis: poreikių, proceso (arba įgyvendinimo) ir vertinimo vertinimą (1 lentelė) [3, 4, 12, 14]. Poreikių padeda nustatyti, kam reikalinga programa, ar yra jos poreikis ir kas galėtų patenkinti tą poreikį. Proceso (įgyvendinimo) fokusuotas į programos turinį, įgyvendinamumą, pasekmes, programos įgyvendinimo tikslumą, metodų pritaikymą, tačiau jis gali būti sutelktas išimtinai tik į proceso vertinimą, neatsižvelgiant į programos rezultatus. Vertinimo nustato, ar pats programos yra įmanomas ir įvykdomas ir kaip suinteresuoti dalyviai gali padėti vertinimą padaryti kuo naudingesnį [17, 18, 19, 20]. Apibendrinamasis atliekamas norint nustatyti bendrą programos kokybę arba vertę. Šį vertinimą galima vadinti atsiskaitomuoju, nes jis dažnai atliekamas veiklą reguliuojančių institucijų užsakymu, kurioms reikia atsiskaityti už pasiektus galutinius rezultatus [21, 22]. Apibendrinamasis naudojamas ir pasibaigus kokiai nors veiklai, 1 pav. Pagrindiniai vertinimo tipai [11] 26 2009/4(47)
Visuomenės sveikata Literatūros apžvalga pasiekus rezultatus, kai siekiama išsiaiškinti, ar jie tokie, kokių tikėtasi, ar programa pasiekė lauktą efektą, pasekmes [15, 20]. Keletas konkrečių pavyzdžių, kai reikalingas bendros programos vertės (kokybės) nustatymas (į) [3]: atsiskaitant programos finansuotojams, vadovams, vykdytojams, partneriams, rėmėjams, t. y. investicijų grąžinimas ; priimant tolesnius sprendimus, t. y. sprendžiant, ar konkreti intervencija, paslauga, priemonė ir pan. yra verta įgyvendinti, tęsti, pirkti ir t. t.; pasirenkant tarp alternatyvų: kokias intervencijas įgyvendinti, kokias programas tęsti ir pan.; atliekant konkurencinę analizę: programos produktų, paslaugų ar praktikos palyginimą su konkurentais, siekiant nustatyti jų kokybę, kiekybę, paklausą; naudojant kaip rinkodaros įrankį: programos, jos rezultatų, intervencijų poveikio dokumentavimas, vėliau naudojamas kaip programos ar intervencijos kokybės įrodymas. Apibendrinamasis, kaip ir formuojamasis, gali būti skaidomas į smulkesnes dalis: rezultatų vertinimą, poveikio vertinimą ir ekonominį vertinimą (1 lentelė) [4, 11, 23]. Rezultatų tiria, ar programa pasiekė iškeltų tikslų rezultatus, planuotus efektus ir pasekmes. 1 lentelė. Programų vertinimo tipai ir jų pritaikymas [23] Vertinimo tipas Kada naudojamas? Ką parodo? Kodėl naudingas? Formuojamasis Poreikių Planuojant programą ir vykdant programą Kai programa yra modifikuojama arba taikoma naujai populiacijai Ar siūlomi programos elementai yra reikalingi, suprantami ir priimtini numatomai populiacijai Ar yra programos poreikis ir kas patenkintų tą poreikį Leidžia modifikuoti programos planavimą Didina programos sėkmės tikimybę Padeda nustatyti ir patenkinti visuomenės lūkesčius, norus ir poreikius Leidžia įvertinti programos pateikimą, kokybę, veikimo metodus, išteklius Proceso Įgyvendinant programą Kaip įgyvendinama programa Ar programa vykdoma pagal planą Ar programa yra prieinama ir priimtina tikslinei populiacijai Numato, įspėja arba nustato tikėtinas problemas Vertinimo Planuojant bet kurios programos dalies vertinimą Apibendrinamasis Rezultatų Poveikio Ekonominis Kai programa palietė bent vieną asmenį ar grupę iš tikslinės populiacijos Pasibaigus programai Programos vykdymo metu atitinkamais intervalais Programos pabaigoje Programos pradžioje ir pabaigoje Kiek įmanomas ir įvykdomas remiantis tikslais ir uždaviniais Laipsnį, iki kurio programa gali pakeisti numatomos populiacijos elgesį Ar programa pasiekė planuotus rezultatus, efektus, pasekmes Galutinio tikslo įgyvendinimo laipsnį (pvz., kiek programa sumažino sergamumą) Kokie resursai bus naudojami įgyvendinant programą ir jų efektyvumas, naudingumas (tiesioginis ir netiesioginis) lyginant su rezultatais Didina programos sėkmės tikimybę Leidžia modifikuoti programą ir vertinimą Parodo, ar programa efektyvi, atsižvelgiant į joje numatytus tikslus ir uždavinius Suteikia įrodymų, panaudojamų politikoje ir (ar) priimant sprendimus dėl finansavimo Įtraukia programos vadovus ir rėmėjus lyginant kainą ir resursus su rezultatais 2009/4(47) 27
Literatūros apžvalga Visuomenės sveikata Poveikio yra platesnis nei rezultatų ir vertina programą kaip visumą planuotą ir neplanuotą programos poveikį. Ekonominis apima kainų analizę, kainų ir efektyvumo vertinimą, kainų ir naudingumo analizę ir pan. Jis nustato efektyvumą standartizuojant programos rezultatus ir išreiškiant juos pinigine išraiška [18, 19, 23, 24]. Ne visuose šaltiniuose minimas formuojamasis ir apibendrinamasis programų, nors autoriai aprašo ir išskiria panašius vertinimo tipus [11, 24, 25, 26]. Amerikos ligų kontrolės ir prevencijos centras išskiria tik formuojamąjį vertinimą, o apibendrinamasis, kaip atskiras vertinimo tipas, neišskiriamas [11]. Neretai tiesiogiai naudojami proceso, įgyvendinimo, poveikio, rezultatų, efektyvumo ir kiti vertinimo terminai. Dėl pasitaikančio vartojamų terminų painiojimo vertintojai raginami vartoti nuoseklią kalbą, kad vertinimo rezultatai būtų suprantami ir interpretuojami teisingai [4, 16, 20, 27]. Laiko požiūriu galima išskirti tris vertinimo tipus: išankstinį, tarpinį ir galutinį programos vertinimus. Išankstinis programos atliekamas iki jos įgyvendinimo pradžios. Jo tikslas išanalizavus turimą ar papildomai surinktą informaciją, įvertinti, kaip programos tikslas atitinka strateginiuose planuose iškeltus tikslus, nustatyti jos tinkamumą ir efektyvumą, naudingumą ir suderinamumą su kitomis programomis. Jo metu taip pat turi būti nustatyta, kiek asignavimų, žmogiškųjų išteklių reikės programai vykdyti, ar reikės institucijų struktūrinių pakeitimų, ar programos įgyvendinimo sąnaudos neviršys planuojamos naudos ir kas, kaip ir kada įgyvendins programą [7, 28]. Tarpinis programos paprastai atliekamas rengiant programos įgyvendinimo ataskaitas pasibaigus biudžetiniams metams, kai vertinami programos vykdymo rezultatai. Šio vertinimo tikslas atsižvelgiant į įgyvendinimo eigą, nustatyti, kokių pokyčių reikia, kad būtų užtikrintas programos vykdymo efektyvumas, rezultatyvumas ir naudingumas, taip pat atsižvelgiant į vertinimo išvadas spręsti dėl tolesnio atitinkamos programos vykdymo, jos patikslinimo [6]. Galutinis programos atliekamas įgyvendinus programą, praėjus tam tikram laikotarpiui (terminai priklauso nuo programos svarbos, pasirinktų vertintojų, galimybių surinkti informaciją ir įvertinti galutinį programos poveikį). Vertinimo tikslas nustatyti, ar (ir kokiu mastu) vykdant programą pasiekti numatyti tikslai, kokia nauda ir koks galimas ilgalaikis poveikis. Jo metu lyginami planuoti ir gauti rezultatai, vertinamas pasiekimo laipsnis, prireikus analizuojamos planuotų rezultatų neįgyvendinimo priežastys, lėšų panaudojimo efektyvumas. Galutiniame programos vertinime analizuojama, kas būtų, jei programa būtų neįgyvendinta, sprendžiama, kaip būtų galima pagerinti panašių būsimų programų efektyvumą ir rezultatyvumą [2, 6, 28]. Jeigu pagrindinis vertinimo tikslas atskaitingumas, svarbu, kad būtų nepriklausomas, t. y. tarp vertintojų neturėtų būti gerais ar blogais rezultatais suinteresuotų asmenų. Tačiau kai tikslas yra organizacijos noras tobulėti, mokytis iš savo sėkmių ir nepasisekimų, tai nepriklausomas nėra esminis dalykas vertinime gali dalyvauti ir programos dalyviai, ir suinteresuoti asmenys [3]. Atsižvelgiant į tai, kas vertins programą, svarbu apibrėžti, ar bus atliekamas vidinis ar išorinis. Vidinis, kitaip dar vadinamas savianalize arba savęs vertinimu, tai, kurį atlieka programą įgyvendinančios institucijos darbuotojai (programos rengėjai, koordinatoriai, darbo grupė ir pan.). Tai pačios institucijos iniciatyvos ir motyvacijos rezultatas. Išorinį vertinimą atlieka asmenys, nepriklausantys programą įgyvendinančiai institucijai (nepriklausomi ekspertai, kita institucija ir pan.) [2, 6, 29]. Vertinimo metodai ir modeliai Nėra geriausio vertinimo metodo, modelio ar metodologijos, nes jų taikymas priklauso nuo vertintojo ir konteksto specifikos, vertinamų aspektų ir prioritetų, vertinimui skirtų išteklių, laiko ir kt. Vertinant programą svarbu taikyti mišrius vertinimo metodus (loginius, kiekybinius, kokybinius), pasirinkti tinkamą vertinimo modelį, apgalvotai suformuluoti vertinimo klausimus ir nustatyti vertinimo kriterijus [3, 27, 34]. 2 lentelėje pateikiami pagrindiniai literatūroje siūlomi vertinimo metodai ir jų taikymas atsižvelgiant į vertinimo tipą. 2 lentelė. Vertinimo tipai ir naudojami metodai [7, 30, 31] Vertinimo tipas Išankstinis Tarpinis Galutinis Dažniausiai taikomas metodas Gairių naudojimas (benchmarking), ekspertų nuomonė / pasitarimai, stiprybių, silpnybių, galimybių, grėsmių analizė (SSGG) Antrinių duomenų, dokumentų analizė, apklausos, interviu, fokus grupės, atvejų analizė (case studies) Statistinių duomenų analizė, gairių naudojimas, apklausos 28 2009/4(47)
Visuomenės sveikata Literatūros apžvalga Pasirinkus vertinimo modelį, svarbiausiu klausimu tampa informacijos rinkimas. Tik turint patikimus ir kokybiškus duomenis gali būti tinkamai įvertintas ryšys tarp programos priemonių ir jos pasekmių. Pirmiausia siūloma įvertinti oficialios statistikos, anksčiau atliktų vertinimų ar studijų rezultatų panaudojimo galimybę ir tik vėliau svarstyti papildomų kiekybinių ir kokybinių duomenų rinkimo būtinybę, naudojantis vienu ar keliais žemiau pateiktais duomenų rinkimo metodais [2, 7]. Apklausos (Questionnaire surveys) metodas. Apklausa leidžia gauti atsakomąją reakciją iš institucijų ir galutinių naudos gavėjų, tačiau imtis turi būti reprezentatyvi visos tikslinės grupės atžvilgiu. Todėl šis metodas reikalauja kompetencijos sudarant gerą klausimyną, parenkant tinkamus klausimus, apklausos formą ir pan. Tik tinkamai parengus anketą ir pasirinkus geriausią apklausos metodą galima užtikrinti reikiamą dalyvavimą. Interviu. Šis metodas tinka beveik visuose vertinimo etapuose tiek retrospektyviniams, tiek prospektyviniams duomenims rinkti. Pokalbiai dažniausiai vykdomi su suinteresuotais asmenimis. Interviu ypač naudingas renkant detalią informaciją apie programos procesą, t. y. kaip viskas vyksta ir kodėl. Atvejų analizė (case studies). Metodas dažniausiai taikomas duomenims apibendrinti ir analizei apie konkretų objektą (pvz., instituciją, priemonę, įvykį ir pan.). Panaudojant duomenis, surinktus skirtingais būdais ir iš įvairių informacijos šaltinių (trianguliaciją) bei atliekant analizę iš skirtingų teorinių perspektyvų, gerokai padidėja vertinimo patikimumas. Ekspertų nuomonė (expert panel). Pasirenkami ekspertai pagal tam tikrus kriterijus, pvz., kvalifikaciją, žinias, patirtį ir pan., ir fiksuojamos jų nuomonės apie duomenis, kaip duomenų šaltinis gali būti naudingas vertinant. Fokus grupės (focus groups). Čia remiamasi nedidelių grupių diskusija. Metodas gali būti naudojamas kaip priemonė duomenims apie egzistuojančius arba įvykusius procesus, efektus arba apie galimus numatomus įvykius ar situacijas rinkti. Šie duomenys gali sąlygoti įgyvendinamos programos pasekmes. Taip pat šis metodas gali būti naudojamas rengiant kitus duomenų rinkimo įrankius (pvz., anketas ar klausimynus) [29, 32]. Kad ir kokie duomenų rinkimo metodai būtų pasirinkti, svarbiausia, kad duomenys būtų patikimi ir pagrįsti. Kokybinių duomenų analizė efektyviausia, kai ji vykdoma struktūriškai, aiškiai ir panaudojant įvairius duomenų rūšiavimo ir grupavimo metodus, tarp jų [2, 13, 29]: kodavimą ir grupavimą (coding and abstraction), apimantį sąvokų kategorijų, kurios naudojamos duomenims koduoti, identifikavimą, taip pat duomenų kategorijų grupavimą bendroms išvadoms formuluoti; duomenų matricų (data matrices) sudarymą, apimantį pagrindinių temų (objektų) identifikavimą ir duomenų rūšiavimą; dažnių skaičiavimą (frequency count), nustačius pagrindines temas ir suskaičiavus, kiek kartų tema paminėta duomenyse; kokybinę duomenų laiko eilutės analizę (timeseries qualitative data analysis), chronologinį duomenų tvarkymą ir išdėstymą, kuris suteikia vertingos informacijos apie programos vykdymą, įvykius ir padeda rasti priežastinius ryšius. Kiekybiniai duomenys gali būti analizuojami panaudojant įvairias technikas, kurios gali apimti daugiau nei pirminę duomenų apžvalgą (aprašomąją statistiką), kartu ir ekonometrinį modeliavimą ir pan. [1, 2]. Analizuojant duomenis ne visada būtina rinktis sudėtingą statistinę analizę, kuri gali įnešti painiavos ir nepateikti reikiamų atsakymų. Kartais geriau apsiriboti paprasta, bet nuodugnia statistine analize, tinkančia programos pokyčiams vertinti [29, 30, 33]. Specifinės visuomenės sveikatos programos turi tos srities specialistų parengtas programų vertinimo rekomendacijas, įvardinančias svarbiausius nagrinėtinus klausimus, vertinimo kriterijus ir net vertinimų organizavimą [23, 50, 51, 52]. Platesne, metodologine, prasme labiausiai pripažinti yra Amerikos ligų kontrolės ir prevencijos centro (CDC) ir M. Scriven o KEC modeliai. CDC modelis Jau 1999 m. CDC publikavo visuomenės sveikatos programų vertinimo modelį ir su juo susijusias rekomendacijas [36]. Modelis sudarytas iš šešių etapų ir keturių principų, remiasi logika, kad geras ne apsiriboja tik tikslių įrodymų rinkimu ir svarių išvadų pateikimu, bet teikia ir kitų reikšmingų rezultatų (2 pav.) [11, 27, 35]. 1. Pritraukti dalyvius, suinteresuotus asmenis Svarbu pasiekti, kad vertinime dalyvautų ar nuomonę išsakytų tie, kurie suinteresuoti vertinama programa, konkrečiai tie asmenys, kuriuos programa veikia tiesiogiai. Tai užtikrina vertinimo naudingumą 2009/4(47) 29
Literatūros apžvalga Visuomenės sveikata 2 pav. Amerikos ligų kontrolės ir prevencijos centro visuomenės sveikatos programų vertinimo modelis (CDC, 1999) [36] ir patikimumą. Taip tampa aiškesni vaidmenys, pareigos ir atsakomybės, išvengiama realių ar bręstančių interesų konfliktų. Taigi sėkmingam vertinimui reikia įtraukti suinteresuotus dalyvius planuojant, įgyvendinant ir interpretuojant vertinimą bei jo rezultatus. 2. Aprašyti programą Detalus vertinamos programos aprašymas ir tyrinėjimas, įskaitant tikslus, uždavinius, pokyčių teorijas, planuojamus efektus ir sėkmės rodiklius, yra esminis ir būtinas vertinimo elementas. Šioje dalyje gali būti sudarytas loginis programos modelis, kuris padėtų užtikrinti nešališkumą ir tikslumą, palengvintų supratimą, kaip programa ar jos dalys siejasi su platesniu institucijos, bendruomenės ir kitų panašių programų kontekstu. 3. Susitelkti ties vertinimo planu Ši dalis reikalauja bendradarbiavimo su suinteresuotais dalyviais, siekiant geriau suprasti tikslą, numatomų rezultatų panaudojimą ir naudos gavėjus bei gauti atsakymus į specifinius klausimus. Svarbu nustatyti praktinius dalyvių atrankos, duomenų rinkimo, analizės ir interpretacijos metodus. Tai padeda garantuoti duomenų kokybę ir vertinimo įgyvendinimą. 4. Surinkti patikimus duomenis Patikimų ir tinkamų duomenų rinkimas reikalingas siekiant užtikrinti, jog vertinimo rezultatai yra 30 2009/4(47) naudingi suinteresuotiems asmenims. Svarbu įsitikinti, jog asmenys, atsakingi už duomenų rinkimą, analizę ir interpretavimą, yra kompetentingi ir tinkamai apmokyti dirbti su reikiamais tyrimo metodais. Visame vertinimo procese, o ypač šioje dalyje, turi būti aptarti etiniai aspektai. Būtinas vertinimo dalyvių informuotas sutikimas ar (ir) pasižadėjimas išsaugoti konfidencialumą prieš įsitraukiant į vertinimo procesą (pavyzdžiui, interviu ir pan.), kad būtų apsaugotos dalyvių teisės. 5. Pagrįsti išvadas ir rekomen dacijas Tai apima gautos programos informacijos kritinę analizę ir sintezę. Svarbu aptarti visas svarbiausias alternatyvias duomenų ir rezultatų interpretacijas ir suformuluoti aiškias veiksmų ir pakeitimų rekomendacijas, kurios susijusios su gautais vertinimo rezultatais. 6. Užtikrinti naudą ir pasidalyti patyrimais Kadangi baigus vertinimą būtina suinteresuotus dalyvius informuoti apie vertinimo procedūras ir rezultatus, apie rezultatų įtaką ir panaudojimą naujiems sprendimams ir tolesniems programos veiksmams ir pokyčiams, vėl sugrįžtama į pirmąją modelio ciklo dalį pritraukti suinteresuotus dalyvius [11, 17, 35]. CDC modelio etapai pagrįsti principais (vadinamaisiais standartais): naudingumu, įgyvendinamumu, tinkamumu, tikslumu. Šie principai ne nurodo vertinimo seką, o sumažina pasirinkimą iš daug galimų variantų kiekviename vertinimo etape. Pavyzdžiui, etape pritraukti suinteresuotus dalyvius principai gali praplėsti mąstymo lauką sprendžiant, kas bus programos suinteresuotasis dalyvis, kartu gali jį ir sumažinti, keliant principais pagrįstus klausimus: Kas panaudos gautus rezultatus? (Naudingumas); Kiek laiko ir pastangų gali būti skirta suinteresuotam dalyviui pritraukti? (Įgyvendinamumas); Atsižvelgiant į etiką, su kuriais suinteresuotais dalyviais turi būti konsultuojamasi: ar tais, kurie dirbo su programa, ar bendruomene, kurioje programa veikė? (Tinkamumas); Kaip plačiai reikia pritraukti suinteresuotus dalyvius, kad būtų galima tiksliai ir išsamiai įvertinti programą? (Tikslumas).
Visuomenės sveikata Literatūros apžvalga Taigi CDC modelis remiasi fundamentaliu požiūriu, kad nėra vienintelio programos vertinimo, kurį galima būtų pavadinti teisingu per programos gyvavimo laikotarpį. Bet koks į gali būti tinkamas ir tai priklauso nuo situacijos. Šis modelis yra gana informatyvus, padeda planuoti ir konkretizuoti vertinimą, išskirti pagrindinius elementus ir visapusiškai įvertinti programą. Literatūroje aprašomi panašūs į CDC, bet šiek tiek modifikuoti modeliai, besiremiantys tais pačiais pagrindiniais principais ir etapais, tačiau jie praplečiami, papildomi ar suskirstomi į smulkesnius etapus [27, 37]. Tai rodo, jog CDC modelis yra plačiai paplitęs, daugeliui žinomas ir dažnai naudojamas kaip kitų vertinimo modelių pagrindas [15, 23, 27, 38]. KEC modelis Pastaraisiais metais išpopuliarėjo M. Scriven o KEC modelis (Key evaluation checklist bazinio vertinimo kontrolinis sąrašas, 2003, 2007) (3 pav.), kuris yra nuolat atnaujinamas ir pritaikomas atsižvelgiant į vertinimo kultūros ir įvairių programų pokyčius [3, 39]. M. Scriven o modelis gali būti naudojamas ne tik kaip kontrolinis būtinų sudėtinių dalių sąrašas vientisam vertinimui atlikti, bet ir kaip pagrindas planuojant ir pristatant vertinimą. Jį turi gerai išmanyti vertinimo komandos nariai, kad užtikrintų visapusišką ir patikimą vertinimą [3, 40]. KEC modelis (3 pav.) prasideda parengiamosiomis priemonėmis, trimis pradiniais elementais, kurie turi būti aprašyti vertinimo pradžioje. Šioje dalyje pateikiama vertinimo priežastis ir metodai [3, 39]. 3 pav. M. Scriven o KEC vertinimo modelis (Key evaluation checklist, 2007) [3] I. Santrauka Keli puslapiai apie programą ir rezultatus. A. Parengiamosios priemonės (bazinė informacija apie vertinimo objektą) II. Įžanga Kas suinteresuotas vertinimu ir kodėl? Kokie yra pagrindiniai vertinimo klausimai (kriterijai)? Kam skirtas? III. Metodologija Koks yra bendras vertinimo metodas (pvz., pusiau eksperimentas, dalyvaujant programos dalyviams, ir t. t.?) B. Pagrindai (informacija apie programą, kam ji skirta, ir vertės, kurias taikysime jai vertinti) 1. Pagrindimas ir situacija Kodėl ši programa atsirado (pirmoje vietoje)? 2. Vertinimo objektas ir apibrėžimai Detalus programos aprašymas, kad kiekvienas galėtų suprasti, kas tai ir ką ji daro. 3. Programos naudos gavėjai Kas yra tikrieji ar potencialūs programos recipientai (pvz., demografiniai duomenys)? 4. Ištekliai Kokie ištekliai yra (buvo) galimi sukurti, palaikyti ir padėti programai pasisekti? 5. Vertės Kuo remiantis bus nustatyta, ar programa yra aukštos kokybės, vertinga ir pan.? 6. Proceso Ar geras, vertingas, efektyvus yra programos turinys, modelis ir įgyvendinimas? C. Dalinis (vertinami atskiri elementai) 7. Rezultatų Ar geras ir vertingas yra poveikis (planuotas ir neplanuotas) tiesioginiams recipientams ir kt.? 8 ir 9. Kainų palyginimas Ką ši programa reiškia vartotojams, finansuotojams, personalui ir pan.? Galimų alternatyvų, naudojant tuos pačius resursus, palyginimas ar galima pasiekti panašios vertės ar didesnių rezultatų? Ar išlaidos per didelės, priimtinos ar labai pateisinamos? 10. Tinkamumas eksportui Kokie programos elementai ją daro vertingą ar reikšmingą kitiems? D. Išvados ir reikšmės 11. Bendra reikšmė (sintezė). Kokios yra pagrindinės sritys, kuriose programa gerai veikia ir kuriose dar nepakankamai? Ar tai efektyviausias resursų naudojimas, tenkinant reikalingus poreikius be per didelio neigiamo poveikio? 12. Rekomendacijos ir paaiškinimai Gilesnė analizė: kodėl ir kaip viskas vyko (gerai / blogai, įtraukiant tobulinimo rekomendacijas). 13. Įsipareigojimai Gilesnė analizė: kas buvo atsakingas už gerus / blogus rezultatus. 14. Pranešimai ir tolesnės priemonės Kas gaus vertinimo kopijas ir kokios formos (pvz., raštu, žodžiu, detalizuota versija, santrauka). 15. Meta Kritinis stiprybių, silpnybių paties vertinimo (pvz., ar tinkamai užpildyti visi KEC punktai?) ir išvados apie bendrą vertinimo naudingumą, tinkamumą, teisingumą. 2009/4(47) 31
Literatūros apžvalga Visuomenės sveikata A. Parengiamosios priemonės (I III) I. Santrauka Tai kelių puslapių programos apžvalga su pagrindinėmis įžvalgomis: pagrindimas, bendras programos kontekstas, vertinimo motyvai ir pan. II. Įžanga Šioje dalyje pateikiamas ir aptariamas bendras vertinimo kontekstas: pradinis vertinimo tikslas, vertinimo motyvai, pagrindiniai vertinimo klausimai, pagrindiniai vertinimu suinteresuoti asmenys ir pan. III. Metodologija Aprašoma, koks bendras vertinimo modelis bus taikomas vertinant programą, jo pasirinkimo motyvai. Svarbu aprašyti, kaip bus identifikuojamos, konkretizuojamos, patvirtinamos ir įtraukiamos visos tinkamos ir patikimos programos vertės, taikomi standartai, nes kiekvienas iš jų yra svarbūs bendrai vertinimo išvadai sudaryti. B. Pagrindai (1 5) Ši dalis tai tyrimų komplektas, kuris leidžia praplėsti programos kontekstą ir jos prigimtį tam, kad būtų pradėtas specifinis darbas jau kituose programos vertės nustatymo aspektuose. Šioje dalyje konkrečiau aptariama informacija apie programą, jos paskirtis, vertės, kurios bus taikomos jai vertinti. Aprašomi terminai, vartojamos sąvokos, tikrieji ir potencialūs naudos gavėjai. Taip pat svarbu paminėti ir programai įgyvendinti skirtus resursus, galimybes, kad būtų tinkamai įvertinti ir interpretuoti programos pasiekimai, rezultatai ir nesėkmės. Vertinant reikia atsižvelgti ir į programos vertes, t. y. identifikuoti bendrą programos vertę, atsižvelgiant į kontekstą ir aplinkybes, pavyzdžiui, jeigu tai sveikatos programa, tai vertės kriterijai apims efekto poveikio dydį (apimtį). Taip pat reikėtų nustatyti konkrečius standartus, matuojančius vertinimo kokybės lygį. Visos vertės turi būti įtraukiamos į vertinimą, net ir tokios, kaip pašaliniai efektai, o ne tik planuoti efektai. C. Dalinis (6 10) Dalinis daugiau orientuotas į išvadas ir atskirų vertinimo elementų apibendrinimą, t. y. konkretesnį vertinimą. Čia visi faktai sujungiami ir vertinami, pavyzdžiui, rezultatai (poveikiai, efektai) buvo išmatuoti, nes... keičiama į rezultatai (efektai, poveikiai) buvo nepaprastai naudingi, nes... arba nereikšmingi šiame kontekste, nes... ir pan. Į dalinį vertinimą įeinantis proceso ir rezultatų remiasi jau anksčiau aprašytomis vertėmis ir apima daugiausiai jų tikrosios vertės programai nustatymą. Kainų palyginimas ir programos tinkamumas eksportui yra itin tinkami jos vertei ir patikimumui apibūdinti. D. Išvados ir reikšmės (11 15) Šioje dalyje visi dalinio vertinimo punktai yra sujungiami bendrai išvadai apie vertinamą programą parengti. Taip pat čia turėtų būti įtrauktos rekomendacijos, sėkmių ir nesėkmių priežasčių analizė, atsakomybės dėl jų priskyrimas, įvairios ataskaitos detalės ir paties vertinimo (kritika arba meta) [39]. KEC modelis gali būti koreguojamas ir taikomas pagal poreikius, tačiau Scriven as teigia, jog visapusiškas turi būti atliekamas pagal visus modelio punktus (išskyrus 12 ir 13, kurie yra laisvai pasirenkami), kad būtų galima formuoti patikimas, svarias išvadas. Tačiau tai dar nereiškia, jog visi punktai visada turi būti įtraukti į vertinimą. Tai reiškia, kad sprendimai praleisti tam tikrus punktus turi būti gerai pasverti ir apgalvoti [3, 40]. Kompleksiškai vertinant programas, esminės įtakos gali turėti ir technologinė vertinimo seka. Pavyzdžiui, pradedant nuo programos aprašymo ir jos tinkamumo įvertinimo jau pagal pradines vertinimo reikšmes galima nustatyti programos parengimo spragas, o tai gali paskatinti nedelsiant tobulinti programą arba atitinkamai koreguoti ir tobulinti tolesnį vertinimą. Vertinimo principai Tarptautinėje praktikoje kokybiškas ir visapusiškas grindžiamas pripažintais vertinimo reikalavimais, dar vadinamais principais arba standartais [37]. Šie principai taikomi su vertinimo modeliais vertinimo kokybei užtikrinti. Vertinimo principai susiformavo skirtingų kultūrų kontekste, todėl natūralu, kad jie varijuoja. Europos vertinimo draugija, EVD, (European Evaluation Society, EES) pateikia pagrindinius atskirų Europos šalių naudojamus vertinimo principus [37, 41]. Prancūzijoje vadovaujamasi pliuralizmo (angl. pluralism), įvairių suinteresuotų dalyvių įtraukimo, nepriklausomumo (angl. independence), vertinimo laisvės (nepriklausomybės) nuo programos valdymo ir sprendimų priėmimo procesų, kompetencijos (angl. competence), pripažintų metodų naudojimo, pagarbos (angl. respect) t. y. vertinimo proceso dalyvių pagarbos kitiems, 32 2009/4(47)
Visuomenės sveikata Literatūros apžvalga konfidencialumo (angl. confidence), skaidrumo (angl. transparency), t. y. vertinimo duomenys ir išvados turi būti vieši, atsakomybės (angl. responsibility) (kiekvienas turi būti atsakingas už vertinimo procesą) principais [42]. Vokietijoje remiamasi pagrindiniais keturiais bendraisiais principais: naudingumo (angl. utility), įgyvendinamumo (angl. feasibility), tinkamumo (angl. propriety), tikslumo (angl. accuracy) [37, 43]. Europoje Prancūzija ir Vokietija laikomos senas tradicijas ir aukštą programų vertinimo kultūrą turinčiomis šalimis. Prie jų taip pat priskiriamos Jungtinė Karalystė, Olandija ir Švedija. Neturinčios tradicijų, bet pasižyminčios aukšta programų vertinimo kultūra yra Austrija, Airija ir Italija. Šalys, neturinčios tradicijų ir pasižyminčios neištobulinta programų vertinimo kultūra, yra Graikija, Ispanija ir Portugalija. Pereinamosios stadijos yra Baltijos šalys, Lenkija, Čekija, Vengrija, Slovakija ir Slovėnija [37, 41]. Nors atskiros šalys laikosi savų standartų, daugelis autorių dažniausiai išskiria keturis pagrindinius bendrus vertinimo principus: naudingumą, įgyvendinamumą, tinkamumą ir tikslumą [11, 27, 44, 45, 46]. Bendrieji vertinimo principai [11, 17, 47]: Naudingumas (angl. utility). Vertinimui būdinga tai, kad: suinteresuotiems dalyviams ir susijusiems asmenims tinkama informacija pateikiama laiku; gautais rezultatais pasinaudoja tam tikros asmenų grupės; apima asmenis, kurių poreikiai turi būti tenkinami; aiškiai išdėstytos nuostatos, procedūros ir faktų interpretavimo principai, aiškus sprendimų vertės pagrindas; vertinimo ataskaitoje aiškiai aprašyta programa, jos kontekstas, vertinimo tikslas, procedūros ir pan., pateikta informacija suprantama; iš anksto suplanuotas, jo rezultatai paskelbti taip, kad būtų įtrauktos suinteresuotos grupės ir padidėtų tikimybė, jog vertinimo išvadomis bus pasinaudota. Vertinimo naudingumui užtikrinti naudojami išankstiniai kontroliniai klausimai: Kas suinteresuotas vertinimo rezultatais? Ar laiku pateiks aktualios informacijos? Įgyvendinamumas (angl. feasibility). Vertinimui būdinga tai, kad: vertinimo procedūros suplanuotos / atliktos atsižvelgiant į turimus išteklius, ekspertizės ir laiko apribojimus; numatytos priemonės (ar veiksmai), užtikrinančios įvairių interesų grupių bendradarbiavimą ir (ar) užkertančios kelią, jei kas nors iš šių grupių stengtųsi nutraukti vertinimą, nuteikti vertintojus ar piktnaudžiauti rezultatais; yra efektyvus ir teikia gana vertingos informacijos, pateisinančios panaudotus išteklius; vertinimo procedūros yra praktiškos, renkant informaciją mažai trukdomi su programa susiję asmenys. Vertinimo įgyvendinamumui užtikrinti naudojami išankstiniai kontroliniai klausimai: Ar suplanuotam vertinimui skirta užtektinai laiko ir resursų? Tinkamumas (angl. propriety). Vertinimui būdinga tai, kad: jis orientuotas į vartotoją siekiant padėti efektyviai patenkinti visus suinteresuotus asmenis; oficialios vertinime dalyvaujančios šalys stengiasi užtikrinti, jog vertinant nustatytų faktų visuma (išvados) su tam tikrais apribojimais bus prieinama žmonėms, kurie susiję su vertinimo rezultatais, taip pat kitiems, teisėtai įgaliotiems sužinoti rezultatus, asmenims; interesų konfliktai sprendžiami viešai ir sąžiningai, netrukdant vertinimo procesui ir nedarant įtakos vertinimo rezultatams; apsaugotos dalyvių teisės, gerovė ir informacija, kuri gali turėti įtakos programai; atliekamas teisėtai, laikantis etikos normų, atsižvelgiant į susijusių žmonių interesus; vertinimui reikalingų resursų paskirstymas ir naudojimas yra pagrįstas logiškomis apskaitos procedūromis, etiškumu, visos išlaidos yra tinkamos ir racionalios. Vertinimo tinkamumui užtikrinti naudojami išankstiniai kontroliniai klausimai: Ar vertinant saugomos (dalyvaujančių) įtrauktų asmenų teisės ir gerovė? Ar įtraukia labiausiai tiesiogiai programos paveiktus ir programos pakeitimus, tokius kaip dalyviai ar bendruomenė? Tikslumas (angl. accuracy). Vertinimui būdinga tai, kad: užtikrintas pastebėjimų ir išvadų tikslumas; atliekamas laikantis tikslų ir procedūrų, naudojantis tinkamais informacijos šaltiniais, renkant patikimą informaciją, formuluojant teisingas ir nešališkas išvadas; vykdomas aiškus ir kruopštus dokumentavimas, tikslai ir procedūros kruopščiai aprašomos ir kontroliuojamos, kad būtų galima jas identifikuoti ir įvertinti; 2009/4(47) 33
Literatūros apžvalga Visuomenės sveikata informacijos rinkimo procedūros parinktos, sukurtos ir taikomos tokiu būdu, kad būtų užtikrinama surinktos informacijos vertė ir atitiktis paskirčiai; pateikta informacija sistemingai peržiūrima, išsiaiškinamos ir, jei reikia, ištaisomos rastos klaidos; vertinimo išvados pagrindžiamos taip, kad suinteresuoti asmenys galėtų tai apgalvoti; ataskaitos rengimo procedūros prižiūrimos, kad nė viena ataskaitos dalis nebūtų iškraipyta dėl šališkų įsitikinimų, o ataskaitoje nurodyti faktai būtų tikslūs. Vertinimo tikslumui užtikrinti naudojami išankstiniai kontroliniai klausimai: Ar pateikia pagrįstus ir patikimus rezultatus bei duomenis, atsižvelgiant į poreikius tų, kurie panaudos tuos rezultatus ir duomenis? Be išvardytų bendrųjų vertinimo principų, H. Simons svarbiomis kokybiško programų vertinimo sąlygomis laiko komandinį darbą, žmogiškuosius išteklius ir vertinimo laiką, analizės pagrįstumą, išsamumą ir tobulėjimo siekimą. Dirbant grupėje reikia sukurti tokią bendradarbiavimo kultūrą, kad kiekvienas komandos narys palaikytų šį procesą, neliktų izoliuotas ir prisiimtų bendrą atsakomybę. Visi turėtų siekti tam tikro indėlio į šį procesą jį organizuodami, įgyvendindami, išsakydami savo nuomonę, pasinaudodami vertinimo rezultatais ir pan. Jei siekiama, jog taptų nuolatiniu procesu, jį reikia planuoti iš anksto, kad jis nepareikalautų per daug laiko sąnaudų, neatitrauktų vertinamųjų nuo pagrindinės veiklos. Vertinimui reikalingi asmenys, gebantys jį atlikti, t. y. išanalizuoti rezultatus ir paskleisti gautas išvadas tiems, kurie jomis pasinaudotų. Net ir atlikus visapusius tyrimus ir išsiaiškinus programų vertę ir kokybę pagal įvairias dimensijas, gali likti neišaiškintos kai kurios programos aplinkybės. Tokiais atvejais reikia atlikti papildomą (detalesnį) atskirų dimensijų vertinimą, visų pirma tų, kurių būklė atrodo prasčiausiai. Asmenys, atliekantys vertinimą, privalėtų kaskart vis geriau atlikti savo darbą. Tie, kurie dalyvauja vertinime išsakydami savo nuomonę ir kuriems paskleidžiami vertinimo rezultatai, turėtų gerinti savo supratimą apie vertinimą ir programų kokybę, ateityje jie galėtų tapti reiklesni programų kokybei ir prisidėti prie jų gerinimo [48]. Amerikos vertinimo asociacija (American Evaluation Association) yra suformulavusi principus, skirtus asmeniškai programų vertintojams. Šie pricipai nėra nurodymas, kaip elgtis vienoje ar kitoje situacijoje, tai daugiau rekomendacijos, aktyviai vedančios kasdieninio profesionalaus tobulėjimo link. Išskiriami penki principai, kurių kiekvieną paaiškina keletas teiginių. Kartais principai gali prieštarauti vienas kitam, tačiau pats vertintojas turi pasirinkti atsižvelgdamas į savo vertybes, žinias arba konsultuotis su kitais vertintojais apie tai, kaip spręsti problemą dar prieš pradedant veikti. Amerikiečių vertintojams rekomenduojama: A. Vykdant sisteminius, duomenimis pagrįstus vertinimus, laikytis aukščiausių techninių standartų, taikomų jų naudojamiems metodams, ir pateikti detalią informaciją apie tyrimuose naudojamus metodus ir požiūrį, kad leistų kitiems suprasti, interpretuoti ir kritikuoti jų darbą. B. Vertintojai privalo būti kompetentingi, t. y. išsilavinę, įgiję tinkamų gebėjimų, įgūdžių, patirties, kad galėtų imtis vertinimo užduočių. Jie turi užtikrinti, kad vertinimo komandos nariai būtų supratingi ir tolerantiški kitokiai suinteresuotų dalyvių bei kitų asmenų pasaulėžiūrai, mokėtų taikyti skirtingas vertinimo strategijas; vertintojai turi dėti daug pastangų, kad įgytų reikiamos kompetencijos, todėl turėtų praktikuotis pagal savo profesionalumą ir nevertinti to, kas viršija jų galimybių ribas. C. Vertintojai privalo būti sąžiningi: turi stengtis garantuoti sąžiningą vertinimo procesą, tai patvirtinti savo elgesiu, tardamiesi su suinteresuotais asmenimis ir iš anksto viską sąžiningai suderindami, atskleisdami numatomus vertinimo metodus, pranešdami apie bet kokius planų pakeitimus, paaiškindami jų priežastis ir informuodami apie tikėtiną pakeitimų poveikį. Vertintojai neturi teisės iškreipti savo vertinimo procedūrų, duomenų ar rezultatų. D. Vertintojai turi gerbti vertinamų programų dalyvių, respondentų ir kitų suinteresuotų asmenų orumą, saugumą ir vertę. Taip pat jie turi laikytis profesinės etikos, standartų ir nuostatų, susijusių su rizika, žala, kuri galima vertinimo procese; turi numatyti, jog tam tikri vertinimo rezultatai gali neigiamai paveikti dalį suinteresuotų dalyvių, todėl rezultatai turi būti pranešti taip, kad neįžeistų suinteresuotų asmenų orumo bei vertės; jie turi suprasti ir gerbti skirtumus tarp dalyvių, t. y. jų kultūros, religijos, lyties, amžiaus ir t. t., kad galėtų paaiškinti šių skirtumų reikšmę planuojant, vykdant, analizuojant vertinimą. E. Vertintojai yra atsakingi už bendrą ir viešą gerovę, todėl turi atsižvelgti į bendrų ir visuomeninių interesų bei vertybių įvairovę, kuri gali sietis su vertinimu. Planuodami vertinimą ir rengdami 34 2009/4(47)
Visuomenės sveikata Literatūros apžvalga vertinimo ataskaitas, vertintojai turi įtraukti suinteresuotų dalyvių plataus spektro perspektyvas bei interesus, svarstyti ne tik tiesioginius vertinimo rezultatus bei procedūras, bet ir kitas prielaidas, reikšmes ar šalutinius poveikius, rezultatus, pagal galimybes turi siekti aiškiai ir paprastai pateikti esamą informaciją suinteresuotiems dalyviams ir kitiems asmenims [49]. Visi šie principai yra dalis profesinio tobulėjimo proceso, tačiau turi būti reguliariai peržiūrimi ir koreguojami pagal poreikius. Apibendrinimas Visuomenės sveikatos programos yra būtinos gyventojų sveikatos stiprinimui, ligų prevencijai ir dažniausiai yra finansuojamos iš valstybės biudžeto, todėl svarbu, kad jos būtų nuolat vertinamos. Reikėtų atsiminti, kad iš dalies yra politinė veikla, nes kartais jis atliekamas siekiant palaikyti programos vientisumą ir įtikinti politikus bei suinteresuotus asmenis skirti reikalingus papildomus resursus. Lietuva programų vertinimo srityje yra pereinamoje stadijoje, todėl svarbu dėti visas pastangas formuojant teisingus vertinimo įgūdžius ir gerinant vertinimo bei pačių programų kokybę. Vyriausybės programoje numatyta tobulinti projektų poveikio vertinimą ir vertinti planuojamų didelio masto valstybės investicijų efektyvumą, tačiau konkrečiai apie programų vertinimą užsimenama tik LR Vyriausybės projekte Valdymo, orientuoto į rezultatus, tobulinimas. Projekto įgyvendinimas prisidės prie Vyriausybės ir jai pavaldžių institucijų veiklos efektyvumo stiprinimo, bus tobulinamas biudžeto programų, taip pat sprendimų poveikio vertinimo sistema. Belieka tikėtis, kad Vyriausybės iškelti prioritetai bus įgyvendinti laiku ir pasiekti planuoti rezultatai, priešingu atveju geriau šiurkšti tiesa nei abejingumas ir ignoravimas. Straipsnis gautas 2009-11-17, priimtas 2009-12-15 Literatūra 1. Bendrasis programavimo dokumentas. ES programų Lietuvoje vertinimo gairės. 2007. 2. European Commission. Evaluating EU Activities. A Practical Guide for the Commission Services. 2004. 3. Davidson E Jane. Evaluation Methodology Basics: the nuts and bolts of sound evaluation. Sage Publications, Thousand Oaks, London, 2005;263. 4. William MK. Trochim. Introduction to Evaluation. Research Methods Knowledge Base, 2006. 5. Shackman G. What is Program Evaluation? A Beginners Guide. The Global Social Change Research Project, 2008. 6. Lietuvos Respublikos Vyriausybės nutarimas Dėl strateginio planavimo metodikos patvirtinimo. Žin., 2002, Nr. 57-2312; Žin., 2007, Nr. 23-879, Žin., 2009, Nr. 6-167. 7. European Commission. Ex Ante Evaluation. A practical Guide for preparing proposals for expenditure programmes. 2001. 8. Development Assistance Committee (DAC). Principles for Evaluation of Development Assistance. 1991. 9. Taylor-Powell E, Steele S, Douglah M. Planning a Program Evaluation. University of Wisconsin-Extension, 1996. 10. Puett R. Program Evaluation 101. (Prieiga per internetą http:// www.musc.edu/vawprevention/research/programeval.shtml) 11. CDC. Introduction to Program Evaluation for Public Health Programs: a Self-Study Guide. 2005. 12. Allen Nan S. Formative Evaluation. Beyond Intractability, 2003. 13. Frechtling Westat J. The 2002 User Friendly Handbook for Project Evaluation. Division of Research, Evaluation and Communication National Science Foundation. 2002;84. 14. Wholey Joseph S, Hatry Harry P, Newcomer Kathryn E. Hanbook of Practical Program Evaluation, Second Edition. 2004. Jossey-Bass. A Wiley Imprint. USA. 720. 15. Bodkin A. Evaluation at a Glance. 2008. Heart Health Resource Center. Ontario Public Health Association (OPHA). 16. Quinn Patton M. Overview: Language Matters. 2004. New Directions for Evaluation. American Evaluation Association. 2000;86:5-16. 17. Farell K, Kratzmann M, McWilliam S, Robinson N, Saunders S, Ticknor J. Evaluation Made Very Easy Accessible and Logical (EVAL). 2002. Atlantic Centre of Excellence for Women s Health. 18. Canadian Evaluation Society Project in Support of Advocacy and Professional Development. Final Consultation: Feedback About Evaluation Benefits, Outputs and Knowledge Elements. 2002. 19. Muraskin Lana D. Understanding Evaluation: the Way to Better Prevention Programs. USA. Department of Education, 1993. 20. Bond SL, Boyd SE, Rapp KA. Taking Stock: A Practical Guide to Evaluating Your Own Programs. Horizon Research. American Association for the Advancement of Science (AAAS), 1997. 21. Milstein B, Wtterhall S. CDC Evaluation working group. Health Promotion Practice. 2002;1(3):221-228. 22. Oortwijn WJ, Mathijssen J, Cave J, Scoggins A, Ligtvoet A, Horlings E, Ling T, Frinking E. Interim Evaluation of the Public Health Programme 2003-2008. Inception report. 2006. 23. Centers for Disease Control and Prevention (CDC). Program Operations. Guidelines for STD Prevention. Program Evaluation. 24. Health Canada. Community Action Resources for Inuit, Metis and First Nations: Evaluating. 1998. 25. Thomas R, Gustafson DH, Henderson J, Jimison H, Patrick K. Introduction to Evaluation of Interactive Health Communication Applications. American Journal of Preventive Medicine. 1999;16(1):10-15. 26. McNamara C. A Basic Guide to Program Evaluation. 2002. Free Management Library. (Prieiga per internetą http://www.managementhelp.org/evaluatn/fnl_eval.htm) 27. Debra J Holden, Marc A Zimmerman. Practical Guide to Program Evaluation Planning, Sage Publications, Thousand Oaks, Los Angeles, London, 2009;170. 28. European Commission. Indicative Guidelines on Evaluation methods: Monitoring and Evaluation Indicators. 2006;2. 29. Kellogg WK. Foundation Evaluation Handbook. W. K. Kellogg Foundation. 1998;110. 30. Olney CA, Barnes S. Collecting and Analyzing Evaluation Data (Booklet 3). National Library of Medicine. Outreach Evaluation Resource Center, 2008. 31. Oortwijn WJ, Ling T, Mathijssen J, Lankhuizen M, Scoggins A, Christian van Stolk, Cave J. Interim Evaluation of the Public Health Programme 2003-2008. Final report. 2007. 32. Amnesty International. Evaluation. A Beginners Guide. International Secretariat. United Kingdom, 1999. 2009/4(47) 35
Literatūros apžvalga Visuomenės sveikata 33. USA Department of Education. Evaluation Primer. 1998. 34. Išoraitė M. Loginio programų modelio panaudojimas įgyvendinant veiklos auditą. Viešoji politika ir administravimas. 2004;7:102-111. 35. CDC Evaluation Working Group. Steps in Program Evaluation. 2004. (Prieiga per internetą http://www.cdc.gov/eval/steps.htm) 36. CDC. Framework for Program Evaluation in Public Health. Morbidity and Mortality Weekly Report. 1999;48(RR-11),1-40. 37. European Evaluation Society (EES) http://www.europeanevaluation.org/?page=762049 38. Baker QE, Davis DA, Gallerani R, Sanchez V, Viadro C. An Evaluation Framework for Community Health Programs. The Center for the Advancement of Community Based Public Health, 2000. 39. Scriven M. Key Evaluation Checklist. 2007. 40. Scriven M. The Logic and Methodology of Checklists. Western Michigan University Evaluation Center, 2007. 41. Olejniczak K. Evaluation practice in the European Union Experiences & Prospects. 2007. 42. Societe Francaise de l Evaluation. Charter of evaluation guiding principles for public policies and programmes. 2003. 43. German Evaluation Society. Summary of Evaluation Standards. 2001. 44. Ramlow ME. The Program Evaluation Standards. Joint Committee for Educational Evaluation. 45. CDC Evaluation Working Group. Standards for Effective Program Evaluation. 2004. (Prieiga per internetą http://www.cdc.gov/eval/ standard.htm) 46. Olney CA, Barnes S. Including Evaluation in Outreach Project Planning (Booklet 2). National Library of Medicine. Outreach Resource Evaluation Center, 2006. 47. Improvement, Introduction and Harmonisation of Occupational Standards in the NEU. European Qualifications in Fashions&Beauty Sector. Kokybės užtikrinimo vadovas, 2006. 48. Simons H. School Self-Evaluation in a Democracy/ School-Based Evaluation: an International Perspective. Advances in Program Evaluation. 2002;8:17-34. 49. American Evaluation Association. Guiding Principles for Evaluators, 2004. 50. EMCDDA 2004 selected issue. Evaluation of national drug strategies in Europe. In EMCDDA 2004 Annual report on the state of the drugs problem in the European Union and Norway. 51. Joint United Nations Programme on HIV/AIDS (UNAIDS). National AIDS programmes. A Guide to Monitoring and Evaluation, 2000. 52. Joint United Nations Programme on HIV/AIDS (UNAIDS). A Framework for Monitoring and Evaluating HIV Prevention Programmes for Most-At-Risk Populations, 2008. Evaluation of public health programs Rasa Povilanskienė, Vytautas Jurkuvėnas Institute of Hygiene Summary The leading aim of public health programs is prevention and/or control of diseases and deaths. Public health programs focus on the elimination of causes of most important problems in the presence of large number community members and number of organizations. Public health programs should be evaluated during their early planning, after the program has started and after their implementation. Program evaluation can be defined as systematic and objective determination of the quality or value of the program by gathering, analyzing and interpreting information. Evaluation assesses not only value of the program, but also provides useful feedback by deciding that there is something good or bad, true or false. Broader, by assessing the impact, value and quality of the program, program s efficiency is enhancing and it s implementation is improving. Well-conducted assessment provides reliable and useful information that enables decision-making and ensures continuous improvement of program implementation. The article reviews the main types of program evaluation, principles, models and methods, which need to be known when planning public health programs evaluation. Keywords: public health, program evaluation, formative evaluation, summative evaluation, evaluation standards, types, models. Correspondence to Rasa Povilanskienė, Institute of Hygiene, Didžioji 22, LT-01128 Vilnius, Lithuania. E-mail: rasa@hi.lt Received 17 November 2009, accepted 15 December 2009 36 2009/4(47)