Evaluacije učinka: Da li budžetski novac bacamo niz vodu?

Iako su pojave poput neosnovanog rasipništva, sumnjivih procedura nabavke ili negativni izvještaji revizora institucija na različitim nivoima svakako važne iz perspektive odgovornog trošenja novca, ono što je također bitno u ovom kontekstu, ali uglavnom zanemareno, jeste i efektivnost određenih mjera, odnosno da li smo novac usmjerili na prave programe i utrošenim novcem ostvarili očekivane rezultate. Ovo je posebno važno zbog toga što čak i u situaciji da rezultati revizije pokažu da je sve "čisto", to i dalje ne znači da je novac potrošen na odgovaran način, jer odgovornost podrazumijeva da novac trošimo na programe koji daju bolje efekte od drugih programa.

Vrlo često slušamo kako se određeni programi hvale kao nešto što je vrlo dobro i korisno za zajednicu, bez ikakvih dokaza. Koliko je važno mjeriti da li je određeni program ostvario učinak ili ne pokazuje primjer programa podrške učenicima osnovnih škola u Južnoj Americi kroz podjelu tablet uređaja, koji je pohvalio čak i tadašnji američki predsjednik Bill Clinton, a za koji je procjena učinka pokazala da ima negativne efekte na performanse učenika u školi. Dakle, bez obzira koliko određeni program bio privlačan "na prvi pogled", ne smijemo zaključivati da li na taj program trošiti novac na osnovu dizajna programa, nego na osnovu rezultata njegove evaluacije. Odnosno, "i put ka paklu je popločan dobrim namjerama". A prema riječima američkog ekonomiste i nobelovca Miltona Friedmana, djela političara se ne ocjenjuju prema namjerama, nego prema rezultatima.

Odgovorno trošenje novca podrazumijeva da novac usmjeravamo u one programe kojima ćemo ostvariti zacrtane ciljeve. A doći do odgovora da li smo ostvarili cilj nije tako jednostavno. Praksa institucija poput zavoda za zapošljavanje ili ministarstava u čijoj je nadležnosti socijalna politika izvještavaju o broju korisnika koji su dobili određenu pomoć. To jeste rezultat programa, ali to nam ništa ne govori o tome da li je program imao učinak ili ne, odnosno da li smo novac potrošili na najbolji mogući način. Ovdje se postavlja pitanje "šta bi bilo da novac uopšte nije potrošen"? Npr, šta ako bi se osobe koje su dobile podršku za zapošljavanje zaposlile i bez te podrške? A cilj programa je bio da se onima koji dobiju podršku poveća zapošljivost? Šta ako je šansa onih koji su završili određeni program obuke da nađu posao jednaka šansi onih koji nisu prošli kroz taj program? A povećanje šanse za nalaženje posla je bio cilj obuke? Odgovori na ovakva pitanja nisu jednostavni, ali metodološka rješenja postoje. Upravo su dobitnici Nobelove nagrade za ekonomiju u 2019. godini (Abhijit Banerjee, Esther Duflo i Michael Kremer) ovu nagradu dobili za promociju i razvoj metoda procjene učinka programa usmjerenih na smanjenje siromaštva u svijetu. Specifičnost ovih metoda, koje su u osnovi bazirane na metodama kliničkih testiranja u medicini, jeste da se praćenjem grupe koja je korisnik određenog programa (podrške za zapošljavanje, obuke, socijalne pomoći) i njenim poređenjem sa pažljivo odabranom grupom koja nije korisnik programa (kontrolna grupa) mjeri efekat programa u odnosu na situaciju da taj program nije proveden. I tek na osnovu takvih rezultata možemo mjeriti specifičan doprinos programa rezultatima, odnosno potvrditi da li program daje odgovarajuće efekte. I tek na osnovu rezultata takve evaluacije trebamo odlučivati da li i dalje vrijedi trošiti novac na takav program. Ako programe poput mjera podrške zapošljavanju ili smanjenju siromaštva shvatimo kao lijekove za društvene "bolesti", onda shvatamo važnost provođenja ovakvih procjena učinka programa. Da li bi iko od nas prihvatio da se vakciniše vakcinom protiv korona virusa koja nikako nije testirana? Nažalost, praksa u BiH je da za rješavanje društvenih "bolesti" i dalje koristimo "lijekove" za koje nemamo nikakve dokaze o njihovoj učinkovitosti. I na taj način vrlo vjerovatno bacamo budžetski novac niz vodu.

Shvatajući da je jedini način da se budžetski novac odgovorno troši taj da se usmjerava u programe koji daju odgovarajuće rezultate, Sjedinjene Države su 2012. godine donijele zakon kojim obavezuju sve svoje institucije da odvajaju 5-10% budžeta svakog programa za njegovu evaluaciju. Tako su npr. prije nekoliko godina, prilikom uvođenja novog programa podrške zapošljavanju mladih finansiranom u iznosu od 500 miliona dolara, odvojili 10 miliona za pilotiranje i evaluaciju programa. Tek nakon što je evaluacija pokazala da tako dizajniran program daje rezultate i pravi razliku između situacije sa i bez programa, odlučili potrošiti preostalih 490 miliona. Također, na osnovu rezultata niza evaluacija programa javnih radova, zavodi za zapošljavanje u razvijenim zemljama više ne koriste takve programe u okviru svojih mjera podrške zapošljavanju, jer takvi programi ne doprinose povećanju zapošljivosti nezaposlenih osoba.

Postavlja se pitanje, ako optimistično pretpostavimo da će institucije u BiH uskoro shvatiti važnost provođenja procjena uticaja svojih programa radi izbora onih koji daju bolje učinke, da li imamo kapacitete da počnemo provoditi te procjene? Da. Projekt MEASURE, finansiran od strane USAID-a, koji je proveden u periodu 2015-2019, je kroz seriju obuka od strane vodećih eksperata za metode evaluacije učinka iz Sjedinjenih Država osposobio više od 40 istraživača iz BiH da provode evaluacije koristeći svjetski priznate metode. Većina tih istraživača je sada okupljena u Centru za razvojne evaluacije i društvena istraživanja - CREDI (www.credi.ba) i spremni su da pruže svoje usluge institucijama u BiH.

U cilju povećanja svjesnosti institucija u BiH o važnosti provođenja evaluacija programa i njihovog redizajna na osnovu rezultata evaluacija, čime bi se povećali efekti uloženog budžetskog novca na takve programe, CREDI 28.04.2021. godine, za sve institucije u BiH organizuje besplatan trening iz metoda evaluacije programa obuke i podrške zapošljavanju, uz podršku MarketMakers projekta, kojeg podržava Vlada Švicarske, a sprovodi Helvetas i Kolektiv d.o.o. u BiH i Fondacije Helvetas Moja Budućnost.

Više informacija o treningu možete naći ovdje.