Digitaalisten palveluiden vaikuttavuuden mittaaminen

Etusivu / Artikkelit / Digitaalisten palveluiden vaikuttavuuden mittaaminen
Pirkko Hakkarainen kuva: Marja Merikallio

Pirkko Hakkarainen, A-klinikkasäätiö

Pohdin tässä artikkelissa digipalveluiden vaikuttavuutta eri näkökulmista, konstruktiivisesti. Muutama asia nousee heti kärkeen. Kohderyhmän tarpeiden tunnistaminen sekä palvelun sisällön ja tavoitteiden määrittely ovat tärkeitä paitsi palveluiden lähtökohtien, myös vaikuttavuuden mittaamisen näkökulmasta. Lisäksi kohderyhmien ja palvelujen käyttäjien osallistaminen sähköisten palvelujen kehittämiseen tukee vaikuttavuuden arviointia.

Sähköisten palvelujen vaikutuksia on helpompi selvittää kuin vaikuttavuutta, joka näkyy vasta pitkällä aikajänteellä. Sen vuoksi tavoitteet, tulokset ja vaikutukset ovat keskeisiä.

Puheeksiottamisen verkkokurssin vaikutusten arviointi

A-klinikkasäätiön Puheeksioton perusteet -verkkokurssi on vuonna 2012 käynnistynyt kehitysprosessi, josta on rakennettu toimintamalli tutkimustiedon, asiakasosallisuuden, aiemman hanketiedon sekä moniammatillisen päihdetyön perustalle. Aiempia haasteita pyrittiin ylittämään rakentamalla organisaatioyhteistyöhön perustuva toimintamalli, jolla valmennetaan puheeksioton osaamista ja tuetaan toiminnan systemaattisuutta. Toimintamalli on edellyttänyt yhteistyökumppaneilta sitoutumista, minkä onnistumista myös arvioimme. Oman työmme edetessä on kertynyt muuta uutta tutkimusnäyttöä siitä, että perusterveydenhuollossa alkoholin puheeksiotto on lisääntynyt mutta haasteena on edelleen toiminnan systemaattisuuden puute (Alho, 2017).

Puheeksioton verkkokurssilla on alku- ja loppukysely. Ennen verkkokurssia selvitetään vastaajan päihdeosaamista ja kurssin lopussa kysytään kuusiportaisella asteikolla kurssista koettua hyötyä omaan työhön liittyen. Anonyymissä kyselyssä kartoitetaan myös vastaajan taustatietoja ja pyydetään avointa palautetta. Kun dataa kertyy useiden vuosien ajalta, sitä voidaan peilata toimintaympäristöstä saatavaan tietoon. Puheeksioton perusteet -verkkokurssin lähtökohtana on tieteellinen menetelmä: alkoholin puheeksiotosta ja neuvonnasta hyötyy tutkitusti joka kymmenes ja vaikutus kestää pitkään. Kun ajattelee sähköisen palvelun elinkaarta ja vaikuttavuutta, tutkimuksellinen viitekehys edistää niitä. Se ei kuitenkaan ratkaise vielä koko yhtälöä.

Lisäksi olemme tehneet perusteellisen tapauskartoituksen, miten yksittäisessä perusterveydenhuollon yksikössä verkkokurssi otettiin vastaan ja mitä haasteita puheeksioton toimintaan liitettiin. Myös oppilaitosten kohderyhmille on tehty jälkikysely, jonka mukaan puheeksioton verkkokurssi on paikannut koulutus- ja osaamisvajeita. Molemmissa kartoituksissa osaaminen ja motivaatio tehdä puheeksiottoa oli kohderyhmissä kasvanut, mutta toiminnan ohjaamiseen ja johtamiseen kaivattiin tukea. Tähän tarpeeseen rakensimme johtamisen mallin, joka avaa systemaattisen puheeksioton vaiheita. Olemme myös perehtyneet vuorovaikutustutkimukseen puheeksioton haasteista (Renko 2018,) ja tehneet yhteistyötä tutkijoiden ja asiantuntijoiden kanssa. Aikuissosiaalityöstä tarvitaan lisätietoa toimintamallin kehittämistarpeista.

Sen osoittaminen, missä määrin yksistään A-klinikkasäätiön verkkokurssi toimintamalleineen on vaikuttanut alan toimintaan, on lähes mahdotonta, mutta muutoksen suunta on oikea ja toivotun kaltainen. Olemme tähän mennessä valmentaneet yli 5 000 sote-ammattilaista ja alan opiskelijaa, joiden toteuttamassa asiakastyössä kontakti väestöön moninkertaistuu. Silti arvioimme toimintaamme ja päivitämme sisältöjä ja prosessejamme jatkuvasti, se on myös vaikuttavuuden edellytys.

Milloin sähköinen palvelu on onnistunut?

Kun palvelua tuotetaan pitkäjänteisesti, voidaan tarkastella palvelun elinkaarta ja päivitystarpeita suhteessa toimintaympäristöön ja asiakaspalautteisiin. Sekä digitalisaatio että päihdekulttuuri ovat muuttuneet vuosien varrella. Sähköinen palvelu, joka pystyy reagoimaan muutoksiin, yltää pitkään elinkaareen ja voi tavoitella vaikuttavuutta. Järjestökentässä on usein haasteena, että projektit ovat lyhyitä, jolloin vaikuttavuuden osoittaminen on mahdotonta ja jää projektin jälkeiseen aikaan, jos siihen on resursseja.

Digitalisaation eteneminen kasvattaa usein orgaanisesti palvelujen käyttöä, mutta samalla haastaa palvelujen hyötyä ja saavutettavuutta. Sähköisten palvelujen legitimiteettiin kuuluu myös, että ne edistävät tasa-arvoa. A-klinikkasäätiö on nostanut tämän yhdeksi sähköisten palvelujen kulmakiveksi jo vuosia sitten (ks. esim. ainalähellä.fi)

Tavoitteissa onnistumista voi arvioida myös palvelun kävijämäärien ja alueellisen tasa-arvon toteutumista seuraamalla. Jos kohderyhmä on hyvin laaja ja heterogeeninen, on haastavaa tuottaa sähköistä palveluja, joka toisi tasaisesti hyötyä kaikille. Tällöin on hyvä arvioida, missä määrin sähköinen palvelu on muuttunut ainoaksi kanavaksi ja mille väestönosalle, ja onko sillä joillekin syrjäyttävää vaikutusta.

Sähköisten palvelujen toivotaan ohjaavan kansalaisia omaehtoiseen terveydestä ja hyvinvoinnista huolehtimiseen. Järjestöt tekevät paljon ennaltaehkäisevää työtä. Miten ne voivat osoittaa sähköisten palvelujensa vaikuttavuutta?

Jos sote-palveluketjut eivät ole kunnossa ja monin paikoin ilmenee palveluvajeita, odotukset sähköisten palvelujen suuntaan voivat kasvaa ylimitoitetuiksi. Vaikuttavuuden mittaamisessa ei voi eristää yksittäisen sähköisen palvelun vaikutusketjua. Toimintaympäristö on jatkuvassa muutoksessa. Sen on osoittanut esimerkiksi koronakriisi, joka muutti nopeasti ihmisten käyttäytymistä myös ei-kiireellisten terveyspalvelujen käytössä ja esimerkiksi lastensuojeluilmoitusten tekemisessä – molemmat vähenivät. Myös sattumalla on osuutta yksittäisen sähköisen palvelun käyttöön. Kun suosittu iskelmätähti jäi kiinni autolla ajosta huumeiden vaikutuksen alaisena, Päihdelinkin kävijämäärä kasvoi parissa päivässä merkittävästi, kun ihmiset hakivat sieltä tietoa metamfetamiinista. Kävijäpiikkeihin pyritään kampanjoiden yhteydessä, ja muutokset voivat olla hetkellisiä tai pysyvämpiä. Kävijätilastoja tarkastelemalla voi seurata vaikkapa uusien asiakkaiden määrää palveluissa tai paljonko sivulla vietetään aikaa. Mittaritiedossa voi olla epäloogisuutta suhteessa oman palvelun asiakkuuksiin, joten esimerkiksi Google Analyticsin kävijätilastot eivät ole yhteismitallisia. Googlen algoritmien muutoksia verhoaa liikesalaisuus.

Digitaalisten palvelujen toivotaan tuovan kustannussäästöjä ja mahdollistavan henkilötyön resurssien kohdentamisen vaikeampien sairauksien tai sosiaalisten ongelmien sekä erityistä tukea tarvitsevien asiakasryhmien kasvokkaiseen auttamiseen. Sähköiset palvelut voivat olla hyvinkin kustannustehokkaita. Kun volyymit kasvavat suuriksi, palvelun kustannushinta per henkilö jää alhaiseksi. Kustannusvaikuttavuus ei välttämättä sovi keskenään hyvin erilaisten sähköisten palvelumuotojen arviointiin, mutta sitä voi hyödyntää oman palvelun tai palvelun osan vuosittaisessa tarkastelussa. Aivan samoin kuin esimerkiksi kyselytutkimuksia tai tilastoja on paras verrata vastaavaan aiempaan tuotokseen (vrt. esim. työllisyystilastot).

Digitaalisten palvelujen vaikuttavuutta tukevat hyvät sisällöt, saavutettavuus, käyttäjäystävällisyys ja tunnettuus. Mittaamisessa kannattaa kerätä sekä määrällistä että laadullista aineistoa palvelukokemuksesta ja kehittämistarpeista. Yksittäisten palvelun käyttäjien kokema hyöty, esimerkiksi päihteiden käytön vähentäminen tai lopettaminen, on merkityksellistä. Sähköisten palvelujen mittaamisessa myös ihmisten omat tarinat ovat arvokkaita verkkoauttamistyön onnistumisen arvioinnissa. Jos on rohkaistunut sähköisen palvelun avulla tekemään omassa asiakastyössään päihteiden puheeksiottoa tai kansalainen on onnistunut ohjatussa verkkoryhmässä lopettamaan raskaudenaikaisen päihteidenkäytön tai verkkoneuvonnan ansiosta pidättäytymään kokeilemasta haitallista dopingainetta, se osoittaa muutosta. Muutos on vaikuttavuuden mittaamisen keskiössä, olipa kyse asenteista tai käyttäytymisestä.

Erilaista dataa yhdistämällä voi arvioida omaa toimintaa. A-klinikkasäätiö on syventänyt omaa analyysiään yhdistämällä esimerkiksi sote-ammattilaisille suunnatusta puheeksioton verkkokurssista kerättyä tietoa Terveyden ja hyvinvoinnin laitoksen Tietoikkuna-palvelun kansalliseen dataan. Alla lähteissä on esimerkki Puheeksioton perusteet -verkkokurssi, jonka toimintamalli on validoitu hyväksi käytännöksi EU:n RARHA-hankkeessa. Yhdistämme erilaista dataa PowerBi-työkalulla: omista tietovarannoista on verkkokurssin käyneiden asiakkaiden kokema hyöty (asteikolla 1-5/ kyselyyn vastanneet) ja alueellinen kattavuus (pääasiallinen työssäkäyntialue maakunnittain/kyselyyn vastanneet), THL:n Tietoikkuna-tietovarannosta on poimittu tilasto aikuisväestön alkoholinkäytön AUDIT-pisteistä maakunnittain sekä tieto alkoholin aiheuttamista kustannuksista maakunnittain. Data-analyysin avulla peilaamme, miten olemme onnistuneet tavoittamaan sote-ammattilaisia verkkokurssille eri maakunnista ja miten tulokset suhteutuvat muihin mittareihin. Tarkastelemme tietoja vuositasolla ja voimme esimerkiksi suunnata markkinointia sinne missä on vähiten aktiviteettiä tai eniten alkoholihaittoja. Teemme yhteistyötä myös maakuntatasolla ja sektorilaitosten kanssa. Vaikutusketjut ovat toki moninaiset: jos esimerkiksi toimintayksikön omat tietojärjestelmät eivät taivu puheeksioton kirjaamiseen, myös vaikutusten seuranta ja arviointi vaikeutuu. Tämänkaltaisessa toiminnassa kyse ei ole vain yksittäisen toimijan – esimerkiksi sote-järjestön – toiminnan vaikuttavuudesta. Vaikuttavuutta pitää arvioida kenen tahansa toimijan pitkänä aikajatkumona, myös toimintaympäristön muutoksia tulkiten.

Valmius käyttää sähköisiä palveluita osana palvelun vaikuttavuutta

Yksi keino mitata digitalisaation vaikuttavuutta isossa kuvassa on tarkastella ihmisten valmiuksia käyttää sähköisiä palveluja. Millaisia muutoksia siinä tapahtuu? Voisi olettaa, että mitä enemmän ihminen on sähköisten palvelujen ympäröimä, sitä enemmän hän joutuu niitä käyttämään, mikä edistää ennakkoasenteiden hälvenemistä. Toisaalta huono palvelukokemus voi myös vahvistaa kielteistä asennetta sähköisiin palveluihin. Myös ihmisen omalla toimintakyvyllä on vaikutusta siihen, miten hän ottaa sähköisiä palveluja käyttöönsä. Jos toimintakyvyssä tapahtuu muutoksia, kyvykkyys käyttää sähköisiä palveluja voi kasvaa tai vähetä. Tämän voi olettaa näkyvän esimerkiksi päihde- ja mielenterveystyössä mutta myös muussa sote-järjestötyössä. Iän merkitys digitaalisten palvelujen käyttöön on eräänlainen paradoksi: toisaalta saatetaan ajatella, että sitä mukaa kun digikansa ikääntyy, käytön esteet poistuvat, mutta ikääntyminen jo itsessään heikentää toimintakykyä kohdata uudistuvia digitaalisia palveluja. Ikääntyneille suunnattujen sähköisten palvelujen suunnittelussa tämä paradoksi voi kuitenkin olla hyödyllinen palvelun saavutettavuuden kehittämisessä.

Osallisuus on tärkeää vaikuttavuuden arvioinnissa. Miten kohderyhmiä on kuultu palvelua kehitettäessä, minkä verran sähköinen palvelu pystyy lopulta tavoittamaan kohderyhmäänsä, ovatko kaikki tavoitellut päässeet siitä osalliseksi yhdenvertaisesti? Onko palvelulla mahdollisesti syrjäyttäviä vaikutuksia ja miten niitä on pyritty ennakoimaan? Mikä on kyseisen sähköisen palvelun tarkoitus ja tavoite? Jos digipalvelu on osalle käyttäjistä liian vaikea, se voi helposti syrjäyttää. Miten hyvin tunnetaan nämä syrjäyttävät vaikutukset ja onko korvaava palvelumuoto helposti saatavilla? THL on selvittänyt sähköisten palvelujen käytön esteitä ja havainnut niissä muun muassa alueellisia eroja. Erilaisia vaikutusketjuja tarkastelemalla voi arvioida sähköisen palvelun vaikuttavuutta kohderyhmiin. Onko vaikutus tasa-arvoistava vai syrjäyttävä?

A-klinikkasäätiö on selvittänyt omalla toimialallaan kansalaisten valmiuksia sähköisten palvelujen käyttöön vuodesta 2013 lähtien. Vuoden 2019 lopussa tehty kysely osoittaa, että kansalaisten valmius käyttää sähköisiä palveluja on kasvanut sekä omaa tilannetta ajatellen että etenkin läheisten tukemiseksi. Parilla viime kerralla on kysytty myös asiointiin liittyvistä haasteista sote-palveluissa. Tutkimussarjan tietoa hyödynnetään sähköisten palvelujen kehittämisessä. Vaikuttavuuden näkökulmasta on tärkeää hankkia tietoa paitsi palveluissa jo asioivilta, myös laajemmin väestöltä toimintaympäristöstä.

Yhteisellä asialla

DIgitaalisten palvelujen vaikuttavuuden mittaamisessa on hyvä käyttää monipuolisia keinoja, jotta ylipäätään voidaan osoittaa, miten toimet liittyvät toisiinsa. Palvelujen käytön volyymi kertoo jotain mutta ei kaikkea, kävijäkyselyt kertovat jotain mutta eivät kaikkea, laskettavissa oleva kustannustehokkuus (esim. avustussumma per palveluun tavoitettu asiakas) ei kerro kaikkea, muut omat mittarit eivät kerro kaikkea eivätkä erilaiset kyselyt tai haastattelut kerro kaikkea, yhteistyökumppaneiden kokemukset eivät kerro kaikkea. Mielestäni vasta monipuolisen arvioinnin, oman ja kansallisen/alueellisen datan yhdistäminen, antaa kiinnostavaa tietoa sähköisen palvelun vaikuttavuuden arviointiin. Tämä vaatii pitkäjänteistä kehittämistyötä, jossa toimintaa arvioidaan suhteessa kohderyhmien tarpeisiin ja palvelulle asetettuihin tavoitteisiin. Vaikuttavuuden mittaamisessa mittareiden tulisi pysyä pitkään samoina ja vertailu tehdä aina samoin. Isommassa kuvassa ehkä tärkeintä on kuitenkin: jos on onnistuttu olemaan osana hyvinvoinnin edistymistä, jotain on jo osattu tehdä oikein. Jos on onnistuttu lisäämään yksittäisten ihmisten hyvinvointia, sekin on merkittävää. Jos on onnistuttu lisäämään sähköisen ja kasvokkaisen työn integraatiota niin, että auttamistyöstä on tullut asiakaslähtöisempää, seurattavampaa ja arvioitavampaa, sekin on jo paljon. Esimerkiksi päihdetyössä vain osa apua tarvitsevista kansalaisista hakeutuu palvelujen piiriin –  jos on onnistuttu lisäämään matalan kynnyksen sähköisen palvelun käyttöä tässä kohderyhmässä ja täytetty palveluvajetta, se on jo vaikuttavaa. Näin ollen palaan lähtöpisteeseen: mitä paremmin tunnistaa kohderyhmänsä tarpeita ja voi asettaa palvelulle realistisia tavoitteita, sitä paremmin voi arvioida, onko toiminta ollut vaikuttavaa pitkällä tähtäimellä, toimintaympäristön muutokset huomioiden.

Koska vaikuttavuuden mittaaminen on haastavaa, sähköisten palvelujen, kuten muunkin sote-järjestötyön, suunnittelussa kannattaa hyödyntää jo vaikuttaviksi todennettuja menetelmiä. Niitä kannattaa toki soveltaa kulloisetkin erityistarpeet huomioon ottaen. Kun kehittämiseen on osallistettu myös kohderyhmän edustajia, sähköinen palvelu voi kasvaa laadukkaaksi, saavuttaa luottamusta ja sitouttaa sen käyttöön. Maailmaa ei voi muuttaa yksin – missä tahansa yhteistyössä tarvitaan hyvät perustelut tehdyille ratkaisuille. Järjestöt eivät poikkea siinä muista. Jos perustelut ja vaikutusketjut ovat legitiimit, tie erilaisille yhteistyökuvioille on auki, jolloin toivottuja muutoksia on helpompi saavuttaa.

Kirjoittajasta

Pirkko Hakkarainen on toiminut 10 vuotta A-klinikkasäätiössä, ensin pari vuotta viestintäpäällikkönä ja sitten verkkopalvelupäällikkönä. Olen sosiologi ja minulla on tutkinnot myös markkinoinnista ja media-alalta. Olen työskennellyt viestintä-, markkinointi-, tutkimus- ja päihdetyön tehtävissä yksityisellä, julkisella ja kolmannella sektorilla.

A-klinikkasäätiö on tuottanut sähköisiä palveluja vuodesta 1996 lähtien. Osa palveluista on suunnattu laajasti eri väestöryhmille, osa on tarkasti fokusoituja. Aihealueitamme ovat päihteet ja mielenterveys, pelihaitat, sekä niihin liittyvät psykososiaaliset ongelmat. Teemme verkossa ehkäisevää, ennakoivaa ja haittoja vähentävää työtä kansalaisille ja heidän parissaan työskenteleville ammattilaisille. Tavoitamme joka kuukausi keskimäärin 432 000 yksilöityä kävijää (GA 2019).

Lähteet

©SOSTE Suomen sosiaali ja terveys ry, elokuu 2020
Tämä artikkeli on osa SOSTEn verkkojulkaisua Näkökulmia järjestöjen digitaalisiin palveluihin.