Juveniassa selvitettiin verkkonuorisotyön vaikuttavuuden mittaamisen nykytilaa ja tulevaisuuden visioita sekä luotiin suosituksia vaikuttavuuden arvioinnin kehittämiseksi Verken tilauksesta. Tutkimuksen perusteella verkkonuorisotyön vaikuttavuuden mittaamisessa ollaan vielä alkutekijöissä. Tässä blogissa nostamme tutkimuksesta esiin suosituksia verkkonuorisotyön vaikuttavuuden mittaamisen kehittämiseksi, jotka ovat hyödynnettävissä nuorisotyön kentällä laajemminkin.
Käsitteinä sekä ”verkkonuorisotyö” että ”vaikuttavuus” ovat molemmat haasteellisia määritellä. Vaikuttavuuden käsitteen jäsentämiseksi olemme seuranneet Anoschkinin (2019) ajatusta vaikuttavuusketjusta, joka on kehitetty vaikuttavuuden suunnitteluun, johtamiseen ja arviointiin. Vaikuttavuusketjun eri osa-alueet ovat tarve, visio, tavoite, resurssit, toimenpiteet, tulokset ja vaikuttavuus. Sen avulla voidaan kuvata mitä muutosta halutaan saada aikaiseksi ja miten.
Verkkonuorisotyöstä puhuttaessa ei ole mahdollista määrittää vain yhdenlaista vaikuttavuusketjua. Nuorisotyön kenttä on moniulotteinen sen suhteen, millaista vaikuttavuutta verkkonuorisotyöllä on ja mihin vaikutuksiin sillä pyritään. Tutkimukseen osallistuneet kahdeksan kunta-, järjestö- ja seurakuntaorganisaatiota toteuttavat verkkonuorisotyötä monin eri menetelmin. Näitä oli mediakasvatus, nuorten tieto- ja neuvontatyö, chat-keskustelut, osallisuustoiminta, pelikasvatus, rippikoulutoiminta, verkkoaktivismi ja verkkonuorisotalotoiminta.
Verkkonuorisotyön tavoitteet eivät poikkea muun nuorisotyön tavoitteista
Verkko on nuorisotyön toimintaympäristönä yhä enemmän käytetty, eikä verkkonuorisotyötä ole aina edes mielekästä tarkastella omana työmuotonaan. Käytännössä verkkovälitteisyys ja kasvokkaisuus vaihtelevat luontevasti nuorten ja nuorisotyöntekijän välisissä kohtaamisissa. Myöskin tavoitteet, joihin verkkonuorisotyöllä pyritään, ovat luonnollisesti yhteneväisiä muun nuorisotyön kanssa. Haastateltujen organisaatioiden verkkonuorisotyön tavoitteet kytkeytyivät nuorten osallisuuden vahvistamiseen, yhteisöllisyyden luomiseen ja nuorten tukemiseen vaikeissa elämäntilanteissa. Verkkonuorisotyön vaikuttavuutta pohdittaessa päädytään lopulta puhumaan koko nuorisotyön tarpeesta, tavoitteista, tuloksista ja lopulta vaikuttavuudesta.
Suositus: ”Verkkonuorisotyön vaikuttavuuden arvioinnin kehittämisessä on otettava huomioon koko nuorisotyön vaikuttavuuden arvioinnin kehityslinjat, koska molemmilla on lopulta samat yhteiskunnalliset tavoitteet. Verkkonuorisotyö nähdään yhtenä nuorisotyön menetelmänä muiden joukossa.” (Moisala & Laine 2021, 35.)
Aineiston ja aiempien selvitysten (ks. Lehtonen 2019; Sutinen 2018; Turkkila ym. 2019) perusteella on nähtävissä, että verkkonuorisotyön tavoitteiden kirkastaminen vaatii vielä työtä. Ilman määriteltyjä tavoitteita vaikuttavuuden mittaaminen on käytännössä mahdotonta. Vaikuttavuuden mittaamisessa oleellista on todentaa, onko haluttu muutos saatu toiminnalla aikaiseksi. Toiminnalle asetettu tavoite siis määrittää, mitä mitataan. Koska verkkonuorisotyössä voidaan katsoa olevan yhteisiä tavoitteita, kannattaa käsitteellistämistyö tehdä valtakunnallisessa yhteistyössä kuntien, seurakuntien ja järjestöjen välisellä areenalla, johon myös kehittäjät, päättäjät ja rahoittajat voivat osallistua. Tällainen areena mahdollistaa parhaimmillaan verkkonuorisotyön valtakunnallisen vaikuttavuuden arvioinnin kehittämistyön.
Suositus: ”Verkkonuorisotyön vaikuttavuuden, tarpeiden ja vision yhteinen sanoittaminen on kansallisen kokoontumisareenan yksi tärkeä tehtävä. Areena mahdollistaa verkkonuorisotyön tavoitteiden määrittelyn valtakunnallisella ja yhteiskunnallisella tasolla. Tämä on välttämätöntä, jotta voidaan rakentaa yhdessä vaikuttavuuden mittareita sekä myöhemmin kerätä aineistoa ja analysoida tuloksia.” (Moisala & Laine 2021, 35.)
Vaikuttavuuden mittaaminen ei saa nostaa nuoren kynnystä osallistua verkkonuorisotyöhön
Verkkonuorisotyön vaikuttavuuden mittaamisen kehittämistyössä on huomioitava tietyt realiteetit, kuten nuorten osallistuminen anonyymina ja toiminnan lyhytkestoisuus. Vaikuttavuuden todentaminen vaatii aina tarpeeksi pitkän aikajänteen. Tällöin toimintaan osallistuneiden nuorten tilannetta olisi pystyttävä tarkastelemaan vielä vuosienkin päästä. Jos toiminta perustuu anonyymiin osallistumiseen, ei tämä ole mittaamiselle realistinen vaihtoehto. Nuorten seurantatietojen keräämisen mahdollisuuksia pohdittaessa on kiinnitettävä erityistä huomiota tietosuojaan ja eettisiin kysymyksiin.
Suositus: ”On huomioitava, että nuorilla on hyvin erilaisia tarpeita saapua verkkonuorisotyön piiriin. Nuoret saapuvat vapaaehtoisen palvelun piiriin omasta tarpeestaan, jolloin on myös eettinen kysymys, haluavatko nuoret arvioida kokemustaan ja voidaanko sitä palvelussa pyytää tai velvoittaa. Kun mitataan kokemusta ja koettua todellisuutta, ei päästä samaan tarkkuuteen kuin esimerkiksi talous- tai lääketieteessä. Kokemusta ei kuulukaan kääntää taloustieteen kielelle.” (Moisala & Laine 2021, 36.)
Ennaltaehkäisevän työn vaikuttavuuden todentaminen on kiistämättä haastavaa. Nuorten kasvuun ja hyvinvointiin vaikuttavat lukuisat eri muuttujat yhteiskunnassamme. Haastavien lähtökohtien taakse ei kuitenkaan voida piiloutua, vaan verkkonuorisotyön vaikuttavuuden mittaamista on pyrittävä kehittämään työmuodon realiteetit huomioiden. Vaikkemme koskaan yltäisikään täydellisen aukottomaan vaikuttavuuden osoittamiseen, voimme silti kehittää toimintaa ja perustella työnmuodon tarpeellisuutta parhaan mahdollisen saatavilla olevan tiedon valossa.
Näin tutkimus tehtiin
Tutkimus perustuu nuorisoalan ammattilaisten haastatteluihin. Aineistonkeruu toteutettiin kahdessa vaiheessa. Ensimmäisessä vaiheessa kysyttiin organisaatioiden johdon ja työntekijöiden näkemyksiä siitä, millaisia vaikutuksia verkkonuorisotyöllä tavoitellaan, millaista vaikuttavuutta verkkonuorisotyöllä nähdään olevan ja millä tavoilla vaikuttavuutta arvioidaan organisaatioissa tällä hetkellä. Yksilöhaastatteluja tehtiin yhteensä 15. Aineistonkeruun toisessa vaiheessa toteutettiin neljä fokusryhmähaastattelua, joihin osallistui yhteensä 16 nuorisoalan asiantuntijaa. Heiltä kysyttiin näkemyksiä siitä, millä tavoilla verkkonuorisotyön vaikuttavuutta pitäisi ja voitaisiin systemaattisesti arvioida tulevaisuudessa. Tulokset raportoitiin anonyymisti, jolloin haastatteluun osallistuneita tahoja ei ole mainittu tunnistettavasti.
