Hankkeiden vaikuttavuuden arviointikehys

Mistä työkalussa on kyse?

Toimintaohjelmat (politiikat) tai kehittämishankkeet on tyypillisesti suunniteltu aikaansaamaan muutoksia, kuten toimeentulon koheneminen, oppimisen parantaminen tai sairauksien väheneminen. Saavutetaanko nämä muutokset todella vai ei, jää usein tutkimatta. Usein niin päätöksentekijät kuin projektipäällikötkin keskittyvät mittaamaan ja raportoimaan hankkeen panoksia, aktiviteetteja ja välittömiä tuotoksia – kuinka paljon rahaa käytettiin, kuinka monta opaskirjasta jaettiin, kuinka monta koulutusta tai seminaaria järjestettiin, kuinka moni osallistui työllisyysohjelmaan – sen sijaan, että arvioitaisiin, saavutettiinko alun perin tavoitellut tulokset tai muutokset esimerkiksi väestön hyvinvoinnissa.

Vaikutusten arviointi tukee näyttöön perustuvaa päätöksentekoa. Näyttöä odotetaan enenevässä määrin niin julkisen sektorin tilivelvollisuuden, määrärahoista päättämisen, toimintaohjelmien suunnittelun kuin poliittisten päätöstenkin tueksi. Seuranta ja arviointi tarjoavat työkaluja, joiden avulla voidaan todentaa ja parantaa toimintaohjelmien ja kehittämishankkeiden laatua, tehokkuutta ja vaikuttavuutta; toisin sanoen keskittymistä tuloksiin. Vaikutusten arvioinnissa arvioidaan yksilöiden hyvinvoinnin muutoksia, jotka voidaan johtaa tietystä hankkeesta, ohjelmasta tai politiikasta. Tämä hankkeen ja muutoksen väliseen syy-yhteyteen keskittyminen on vaikutusarviointien tunnusmerkki, mutta myös haaste niiden toteuttamisessa.

Arvioinnin perustelut riippuvat siitä kenelle se tehdään: rahoittajalle, päätöksentekijöille, alan ammattilaisille, edunsaajille. Joitain tyypillisiä perusteluita vaikutusarvioinnin tekemiseen ovat:

• intervention rahoituksesta päättäminen – esimerkiksi ennakkoarviointi (ex ante evaluation) ennen varsinaisen toimenpiteen toteuttamista, sen todennäköisten vaikutusten arvioimiseksi ja rahoituspäätöksen perusteluksi
• intervention jatkamisesta tai laajentamisesta päättäminen
• kokeiluhankkeiden toistaminen tai laajentaminen 
• onnistuneen intervention soveltaminen toisessa yhteydessä tai tilanteessa
• rahoittajien vakuuttaminen siitä, että kyseessä on viisas sijoitus: saadaan tietoa siitä, mikä toimii ja mikä ei, ja näitä tietoja voidaan hyödyntää tulevien toimeenpano- ja sijoituspäätösten parantamisessa
• jullkishallinnon vastuu ja tilivelvollisuus
• edunsaajien ja yhteisöjen tiedottaminen ohjelman tai hankkeen hyödyistä.
   

Mihin työkalua käytetään?

Arvioinnissa on kysymys työn tulosten todentamisesta ja näkyväksi tekemisestä. Hyvä arviointi auttaa sekä itseä että muita hahmottamaan, mitä toiminnassa on saatu aikaan. Arvioinnilla on merkitystä hankkeen tulosten juurruttamisessa pysyvämpään käyttöön. Siksi arviointi kannattaa ottaa tosissaan, suunnitella jo hankesuunnitelmavaiheessa sekä panostaa siihen resursseja.  

Miten työkalua käytetään?

Hankkeiden vaikuttavuuden arviointikehys on tarkoitettu kehittämishankkeita suunnitteleville, toteuttaville ja arvioiville rohkaisuksi arvioinnin huomioimiseen ja arviointitoiminnon aloittamiseen. Siitä hyötyvät eniten ne, joille vaikutusten arviointi ei vielä ole arkipäivää ja jotka haluavat tutustua aiheeseen.

Hankearvioinnin peruselementit jäsentyvät kehittämishankkeiden elinkaaren mukaan. 

Hankkeen suunnitteluvaiheessa

SUUNNITTELE

• arvioinnin tarkoitus ja käyttäjät
• arvioinnin tekijä
• arvioinnin resurssit

MÄÄRITTELE

• ongelma, joka hankkeen avulla pyritään ratkaisemaan
• hankkeen kohderyhmä ja tavoitteet
• muutosteoria
• arviointikysymykset ja indikaattorit
• hankkeen tulokset

Hankkeen aikana

KERÄÄ DATAA JA SEURAA TOTEUTUSTA

• Tehdään hankkeen sisäistä arviointia, itsearviointia
• Seurataan hankkeen edistymistä (monitorointi), tavoitteiden saavuttamista, toimintaympäristön muutoksia, riskejä
• Harkitse, tarvitaanko väliarviointi
• Tarkista ja muuta tarvittaessa tulosketjua (väliarvioinnin perusteella)
• Kerää osallistujilta tai kohderyhmiltä arviointidataa ja analysoi
• Seuraa ja arvioi hankkeen toteutusprosessia
• Raportoi seurannan tuloksia

Hankkeen päättyessä 

SELITÄ TULOKSIA

• Kerää arviointidataa, analysoi ja visualisoi
• Kuvaa toiminnot, tulokset, vaikutukset ja konteksti
• Selitä hankkeen ja tulosten/vaikutusten yhteyttä ja/tai syy-yhteyksiä
• Sisällytä summatiivisen arvioinnin tulokset osaksi loppuraporttia

Hankkeen jälkeen

RAPORTOI, JAA, EDISTÄ

• arviointitulosten jakaminen ja käytön edistäminen
• jos mahdollisuus (resursseja), arvioi hankkeen tulosten pysyvyyttä pitkällä aikavälillä

 

Vinkkejä

Sivun liitteenä on taulukko, jota voi hyödyntää hankearvioinnin suunnittelussa. Työkalua on kehitelty ja testattu osana SIEPP-hanketta eli Sosiaalisia innovaatioita ja työtä julkisilla hankinnoilla (2017-2020, ESR).