Sosiaali- ja terveysjärjestöissä tulosten mittaaminen on osa arviointiprosessia, jolla on tarkoitus saada tietoa, onko tavoitteet saavutettu.
Tulosten mittaamista pidetään yhtenä arvioinnin haasteena. Osa haasteista tulee kuitenkin ratkaistua jo sillä, että vaikutusketjun logiikka on kunnossa ja tavoite on hyvin asetettu. Jos nämä asiat ovat kunnossa, voi alla olevat kolme kohtaa läpikäymällä tarkistaa, onko tulosten mittaamista koskevassa ymmärryksessä vielä kirkastettavaa.
1. Mittaamiseen liittyvien käsitteiden ymmärtäminen
Tällä hetkellä sosiaali- ja terveysjärjestöissä tulosten mittaamisessa omaksuttavia käsitteitä ovat mittari ja tiedonkeruumenetelmä, jotka helposti sekoitetaan keskenään. Käsitettä indikaattoria käytetään myös jonkin verran. Seuraavien kuvausten on tarkoitus avata, mitä mittarilla ja tiedonkeruulla puhekielisesti tarkoitetaan tällä hetkellä sosiaali- ja terveysjärjestöjen arvioinnissa. Ne eivät ole kuitenkaan virallisia määritelmiä. Indikaattorikäsitteen määritelmä on Valtionavustustoiminnan sanastosta*.
Mittari ilmaisee, mitä asiaa tai millaisia asioita seuraamalla ja arvioimalla saadaan tietoa tavoitteen toteutumisesta ja tuloksista. Esimerkiksi yksinäisyysmittarilla seurataan yksinäisyyden kokemusta ja siihen liittyvää muutosta.
Tiedonkeruumenetelmät ovat vaihtoehtoisia tapoja kerätä tavoitteiden toteutumisesta ja tuloksista kertovaa tietoa. Tyypillisiä esimerkkejä tiedonkeruumenetelmistä ovat kyselyt, haastattelut ja havainnointi. Tiedonkerääminen on arviointitarkastelun lähtötietojen koostamista, joka on keskeinen osa arviointiprosessia.
Indikaattori on ilmiön tai muun kohteen ominaisuus, jota käytetään ilmaisemaan jonkin toisen ilmiön tai muun kohteen olemassaoloa, tilaa tai ominaisuutta tai muutosta näissä*. Esimerkiksi yksittäisen luennon pitävä asiantuntija voisi käyttää indikaattorina osallistujien kokemusta tilaisuuden hyödyllisyydestä, jonka oletetaan ilmaisevan luennon sisällön tarpeellisuutta ja käytäntöön sovellettavuutta.
Arviointiin liitettävät käsitteet ja se, mitä niillä tarkoitetaan, elävät ajassa. Eri tahot käyttävät käsitteitä myös hieman eri merkityksissä. Myös sosiaali- ja terveysjärjestökentällä tarvitaan ajoittain joustavuutta opetella pois tutuksi tulleista käsitteistä ja omaksua vaihtoehtoisia tai kokonaan uusia käsitteitä.
2. Erilaisten mittareiden tunnistaminen
Sosiaali- ja terveysjärjestöissä on olennaista hahmottaa kolmenlaisia mittareita. Kun erilaiset mittarit hahmottaa, on helpompi valita oman toimintansa arviointiin juuri tulosten mittaamisen edellyttämiä tulos- ja vaikutusmittareita.
Toiminnan laajuutta ja kohdentumista kuvaavissa mittareissa kyseessä on tuotoksia ja kohderyhmän tavoittamista koskevat tunnusluvut ja ne ovat usein määrällistä tietoa, jota kerätään järjestön sisäisessä toiminnassa. Tällaisia ovat esimerkiksi jäsenten määrä, järjestettyjen ryhmien määrä ja vapaaehtoisten työtuntien määrä. Toisinaan näistä puhutaan myös prosessimittareina. Näille mittareille on oma paikkansa. Ne kuvaavat järjestölle muun muassa toiminnan volyymista ja kuvaa, miten toiminta edistää tavoitteen saavuttamista.
Tulos- ja vaikutusmittareilla seurataan, onko tulostavoitteita saavutettu tai niitä kohti edetty eli mitä muutosta toiminnalla saadaan aikaan ja kuinka laajasta muutoksesta on kyse. Tulos- ja vaikutusmittarit koskevat juuri tulosten ja vaikutusten mittaamista. Tulos- tai vaikutusmittareita voisi nimettynä olla esimerkiksi seuraavanlaisia: kokemus vaikutusmahdollisuuksista, pystyvyyden tunteen kasvaminen, osallisuuden kokemuksen vahvistuminen, tulevaisuuteen suhtautuminen, elämänhallinnan paraneminen.
Vaikuttavuusmittareissa kyseessä on pidemmällä aikavälillä tarkastella, miten on saavutettu asetettua päämäärää. Kun kyetään vastaamaan yhteiskunnalliseen tarpeeseen ja saadaan aikaan yhteiskunnallista hyötyä, on sen yhteydessä totuttu puhumaan vaikuttavuusmittareista.
3. Sopivien tulos- ja vaikutusmittareiden valinta
Sopivien mittareiden valintaan ei ole yhtä oikeaa tapaa.
Valmiita mittareita voi hyödyntää, mikäli ne sopivat mittaamaan tavoiteltavaa asiaa. Sosiaali- ja terveysjärjestöissä voidaan hyödyntää valmiita mittareita erityisesti toimintaan, jossa kohderyhmä kohdataan. Jos käyttää valmiita mittareita, on tärkeä tarkistaa, mitä mittarilla on tarkoitettu mitattavaksi, mille kohderyhmälle se on ensisijaisesti kehitetty, millaista osaamista sen käyttö edellyttää ja vaatiiko se käyttölupaa.
Sosiaali- ja terveysjärjestöjen laajemman yhteiskunnallisen hyödyn näkyväksi tekeminen voisi helpottua, mikäli saman toimialan järjestöissä voisi tulosten mittaamiseen hyödyntää samoja mittareita. Sosiaali- ja terveysjärjestöjen avustuskeskus STEA on myös pilotoinut yhteisiä valmiita mittareita, jolloin kokeilussa oli mukana elämänlaatumittari, toimintakykymittaristo, kykyviisari, osallisuusindikaattori, yksinäisyysmittaristo ja positiivisen mielenterveyden mittaristo. Pilotointien perusteella yhteisiä pakollisia mittareita sosiaali- ja terveysjärjestöille ei kuitenkaan otettu käyttöön, vaan järjestöt voivat valita mittarinsa parhaaksi katsomallaan tavalla.
Itse kehitetyt mittarit toimivat tuloksellisuuden arviointiin erityisesti tilanteissa, joihin valmiit mittarit eivät sovellu. Sosiaali- ja terveysjärjestöjen toimintaan, jossa a) kohderyhmä kohdataan yksisuuntaisesti kuten esimerkiksi viestinnässä tai b) kohderyhmä on välillinen kuten esimerkiksi ammattilaiset tai päättäjät tai c) tilanteissa, joissa ei ole mahdollista kysyä useampia mittariston kysymyksiä, useimmiten mittareita luodaan itse. Kun mittareita kehittää itse, on hyvä pitää kirkkaana tavoite ja mitä on olennaista saada selville. Näin ei tule selvittäneeksi varmuudeksi liikaa asioita, joilla ei tuloksellisuuden kannalta ole merkitystä ja jotka vain kuormittavat vastaajaa. Mittareita kehittäessä on tärkeä myös abstraktimmat käsitteet (esimerkiksi resilienssi) avata tarkentavilla kysymyksillä, sillä ihmiset ymmärtävät abstraktit käsitteet eri tavoin.
Valitseepa mitä tahansa mittareita, on ymmärrys kohderyhmästä tärkeää. Kohderyhmällä voi olla esimerkiksi erilaisia kognitiivisia rajoitteita, jotka on otettava mittarin valinnassa huomioon. Toisaalta kohderyhmä saatetaan kohdata anonyymisti tai haavoittuvassa tilanteessa, jolloin mitä tahansa ei ole sopivaa edes lähteä mittaamalla selvittää, vaikka kuinka sopiva mittari olisikin käytettävissä. Lisäksi tuloksellisuutta koskevia asioita tulisi seurata siten, että kohderyhmän kynnys osallistua on matala ja esimerkiksi kysymyspatteristot ovat kohtuullisia ja selkeitä.
Ydinasiat
- Kun vaikutusketjun logiikka ja tavoite ovat kunnossa, tulosten mittaamiseenkin pääsee paremmin käsiksi.
- Erityisesti mittarit ja tiedonkeruu on hyvä erottaa käsitteinä toisistaan.
- Käsitteet muuttuvat ajassa ja tarvitaan joustavuutta oppia uusia käsitteitä ja toisaalta oppia pois vanhoista käsitteistä. Jossain määrin uudenlaisiin käsitteisiin voi tutustua Valtionavustustoiminnan sanastosta*. Uusien käsitteiden käyttöönotto vie kuitenkin aikansa, joten rinnakkain voi olla vanhempia ja uusia käsitteitä käytössä.
- Erilaisia mittareita on hyvä tunnistaa, jotta osaa valita tulosten ja vaikutusten mittaamiseen juuri tulos- ja vaikutusmittareita.
- Yhtä oikeaa tapaa valita sopivia mittareita ei ole. Valmiita mittareita voi hyödyntää erityisesti kohderyhmää kohtaavaan toimintaan. Joka tapauksessa kohderyhmäymmärrys on tärkeää mittareiden valinnassa.
*Valtionavustustoiminnan sanasto : 2. laajennettu laitos: http://urn.fi/URN:ISBN:978-952-367-246-8
Julkaistu 31.10.2023