Koronapandemia siirsi ison osan nuorisotyön toiminnoista verkkoon reilu kuukausi sitten. Hyvin pian johtajia, päättäjiä ja rahoittajia alkoi kiinnostaa, miten muutos vaikutti nuorisotyön tehokkuuteen, laatuun ja vaikuttavuuteen. Kohdataanko verkossa yhtä paljon nuoria kuin kasvokkain? Miten laadukasta verkkotoiminta on? Millaisia vaikutuksia verkkotoiminnalla voidaan saavuttaa?
Toimintaa on tärkeää tilastoida, jotta se tulee näkyväksi ja sitä voidaan arvioida ja edelleen kehittää. Tilastoinnin avulla pyritään ennen kaikkea vastaamaan kysymykseen “mitä hyötyä toiminnasta on?”. Siksi on erityisen tärkeää miettiä, mitä tilastoidaan: Mitkä mittarit kuvaavat onnistumistamme tai meille asetettuihin tavoitteisiin pääsemistä? Millaisen tiedon pohjalta voimme kehittää omaa toimintaamme?
Poikkeustilanteen alkaessa tavoitteena oli viedä nuorisotyötä mahdollisimman paljon nettiin. Tällöin toiminnan mittariksi riittikin se, miten paljon nuoria tavoitettiin verkkopalveluiden välityksellä. Mittarit itsessään myös ohjaavat, ja parhaimmassa tapauksessa kannustavat, nuorisotyötä toimintaan ja tekemiseen. Esimerkiksi somepäivitysten määrän mittaaminen voi kannustaa työyhteisöä siihen, että sisältöä tuotetaan enemmän ja säännöllisemmin. Nyt kun verkkonuorisotyöllinen toiminta ja tekeminen on jo hieman vakiintunutta, voidaan tilastojen avulla arvioida toteutettua toimintaa syvällisemmin ja pohtia esimerkiksi vuorovaikutuksen laatua.
On hyvä pitää mielessä, että verkkoympäristössä toimiminen ei itsessään ole se perimmäinen tavoite, joten sen mittaamiseen ei kannata keskittyä pidemmän päälle liikaa. Olennaisempaa on pohtia, mitkä ovat ne nuorisotyölliset tavoitteet, joiden saavuttamiseksi käytetään keinona verkkotyötä – ja miten niihin pääsemistä voidaan mitata.
Koska verkkotyön tavoitteet vaihtelevat organisaatiosta ja työmuodosta toiseen, ei ole olemassa yhtä, kaikille suositeltavaa tapaa tilastoida verkossa tapahtuvaa nuorisotyötä. Aivan kuten muussakin nuorisotyössä, tilastoinnin tavat ja tarpeet riippuvat organisaation tavoitteista, kohderyhmästä, käytetyistä menetelmistä ja palveluista. Esimerkiksi nuorisotyö Discordissa voi erota nuorisotyöstä Instagramissa tavoitteiltaan ja menetelmiltään yhtä paljon kuin nuorisotyö kadulla ja nuorisotilalla eroavat toisistaan.
Verkkopalvelut tarjoavat työkaluja automaattiseen tilastointiin
Kävijämäärät, katselumäärät, lukukerrat, palvelussa vietetyn ajan, tykkäykset ja muun reagoinnin saa suhteellisen helposti kerättyä verkkopalveluista itsestään. Palvelun luonne itsessään määrittää, mitä ylipäänsä voidaan tilastoida ja millaisia ratkaisuja tilastoinnissa voidaan käyttää. Esimerkiksi omalle Discord-palvelimelle voi asentaa StatBotin, joka mahdollistaa datan keräämisen. Kannattaa siis käyttää aikaa käytössänne olevien verkkopalveluiden tilastointimahdollisuuksien tutkailuun ja muistaa käydä myös kurkkimassa tilastoja riittävän usein.
Esimerkiksi Instagram tarjoaa paljon tietoa kävijöistä, varsinkin jos organisaatiollanne on käytössäsi yritystili. Kävijätiedoista kannattaa seurata ainakin sitä, minkä ikäisiä kävijöitä Instagram-tilillänne on, eli tavoitatteko kohderyhmänne ikäisiä nuoria. Kävijätiedot paljastavat myös sen, oletteko saavuttaneet oikean alueellisen kohderyhmän. Kurkista myös, mitä somekanavat näyttävät esimerkiksi julkaisujen leviämisestä: onko joku esimerkiksi kokenut postauksen niin hyödylliseksi, että on tallentanut sen Instagramissa, kuinka moni on jakanut Facebook-julkaisua edelleen tai mistä YouTuben näyttökerrat koostuvat.
Verkkopalvelujen tilastointityökaluihin ei pidä kuitenkaan rakastua liikaa. Suuri osa palvelujen omasta statistiikasta on ihan kivaa tietoa, mutta ne eivät kerro suoraan mitään siitä, onko nuoria oikeasti kohdattu ja miten laadukasta verkossa tehty nuorisotyö on ollut, puhumattakaan toiminnan vaikuttavuudesta. Somepalveluiden tilastointityökalut on tehty viestinnän lähtökohdista, ei nuorisotyön. Jos siis nojaudutaan pelkästään sometilastoihin, päädytään mittaamaan jotain muuta kuin oman toiminnan ydintavoitteiden toteutumista.
Sometilastojen liika tuijottaminen saattaa johtaa myös siihen, että ne alkavat ohjata toimintaa nuorisotyöllisten mittareiden sijaan. Toisaalta, verkkoympäristössä ei aina ole helppoa eikä tarkoituksenmukaistakaan erottaa, mikä on viestintää ja mikä on nuorisotyötä. Pitää siis tehdä harkittuja valintoja siitä, mitä tilastoja seurataan ja miten niitä tulkitaan.
Määrittely ja ohjeistus on tärkeää
On hyvä varmistaa, että kaikki työntekijät ymmärtävät tilastoinnin merkityksen ja periaatteet. Siksi on tärkeää käydä yhteistä keskustelua ja luoda ohjeistuksia siitä, miten esimerkiksi verkkokohtaaminen määritellään. Riittääkö siihen Instagram-postauksen tykkäys tai YouTube-videon katselumäärä? Päteekö sama määritelmä kaikkiin nuorisotyöllisessä käytössänne oleviin verkkoympäristöihin?
Entä miten suhtautua verkkokeskustelun hiljaisiin, “ovesta sisään kävelleisiin” nuoriin? Aktiivista kuuntelemista kun on vaikea osoittaa verkossa. Luku- ja näyttökerrat kertovat kyllä jotain, ja verkkovideon katsellut tai muiden nuorten kommentteja lukenut nuori saattaa olla saanut sisällöstä todella paljon oman kasvunsa tueksi – aivan kuten myös livetilanteessa hiljaiset voivat osallistua kuuntelemalla. Ei voida kuitenkaan olettaa, että verkossa jokainen päivityksen nähnyt olisi paneutunut sisältöön tarkemmin.
On myös hyvä muistaa, että jos verkkokohtaaminen rinnastetaan tilastoinnissa kasvokkaiseen kohtaamiseen esimerkiksi nuorisotalolla, on vaarana, että osa verkkovuorovaikutukselle ominaisista nyansseista jää piiloon. Tiukat määritelmät eivät istu erilaisiin verkkopalveluihin, eli määritelmistä olisi hyvä keskustella työyhteisössä ja niitä on oltava valmis muuttamaan uusien toimintaympäristöjen käyttöönoton myötä.
Millä muilla tavoin voi kerätä dataa?
Kun verkkotoiminnoista on kertynyt riittävästi kokemusta, on tärkeää koota tietoa toiminnan laadusta. Kaikkia toiminnan kehittämisen kannalta arvokkaita mittareita ei pysty arvioimaan verkkopalveluiden statistiikan avulla. Toki palvelun suosio, esimerkiksi katselukerrat, kertovat omaa kieltään sen laadukkuudesta, mutta syvemmin laatuun päästään käsiksi vasta käyttäjiltä eli nuorilta sekä nuorisotyöntekijöiltä kerättävän palautetiedon, vertaisarvioinnin, itsearvioinnin tai vaikkapa ulkopuolisen arvioinnin avulla. Yksinkertaisimmillaan palautetta nuorilta voi kerätä esimerkiksi palauteboksilla Insta Storyssa tai laatimalla kevyt palautekysely, jonka nuoret täyttävät vaikkapa Discordin avoimen illan päätteeksi.
Nuorisotyön laadun kehittämiseksi on monella kunnalla ollut jo pitkään käytössä nuorisotyön auditointi- ja itsearviointimalli, johon on luotu oma arviointikriteeristö verkkoperustaiselle nuorisotyölle. Verkkotoimintojen arviointia ja kehittämistä voi myös toteuttaa yhdessä kohderyhmän ja sidosryhmien kanssa erilaisten vuorovaikutteisten menetelmien avulla.
Kun puhutaan tavoitteellisella toiminnalla aikaansaadusta myönteisestä muutoksesta, puhutaan vaikuttavuudesta. Vaikuttavuuden mittaaminen on haasteellista, koska muutoksen osoittaminen vie yleensä aikaa, vaatii pitkäaikaista seurantaa ja riippuu usein monesta eri tekijästä. Jotta vaikuttavuutta pystytään seuraamaan, täytyykin mitä todennäköisimmin yhdistellä useita eri tilastolähteitä ja tiedonkeruun menetelmiä. Verkkotyön vaikuttavuuden mittaaminen ei kuitenkaan ole mahdotonta. Erityisesti juuri nyt toimintojen ollessa täydessä käynnissä on hyvä pohtia, miten toiminnan vaikutuksia mitataan ja tehdään näkyväksi paitsi lyhyellä myös pitkällä aikavälillä. Esimerkiksi Hyvän mitta -sivustolta löytyy paljon hyvää tukimateriaalia vaikuttavuuden pohdintaan.
Tulevaisuudessa tekoäly tulkitsee tilastoja?
Kun dataa verkkopalveluiden käytöstä kertyy paljon ja useista eri lähteistä, sen läpikäynti voi alkaa tuntua työläältä. Ihmisen päättelykyky ei välttämättä enää riitä erottelemaan kaikkea, mikä olisi palvelun kehittämisessä arvokasta tietoa. Ja mitä enemmän tilastoja kerätään, sitä useammin omia palveluita tulisi päivittää sen mukaisesti, sillä data ”happanee käsiin” jos sitä ei hyödynnetä. Tilastojen perusteella tehtäviä päätöksiä kannattaa siis ennen pitkää automatisoida, ja tässä kohtaa ohjaava analytiikka ja tekoäly astuvat mukaan kuvaan.
Onkin selvää, että tulevaisuudessa erilaiset tekoälyä hyödyntävät ratkaisut ovat käytössä myös nuorisotyössä sekä osana palveluita että tiedonkeruun välineenä palveluiden kehittämisessä. Erilaisten tekoälyä hyödyntävien ratkaisujen kehittäminen nuorisotyöllisiin tarpeisiin vie aikaa ja vaatii rahaa. Siksi ratkaisuja ei kannata kehittää vain yhden organisaation tarpeisiin, vaan toteuttaa kehittämistyötä alueellisesti ja valtakunnallisesti sekä yli sektorirajojen. Yhteistyö on tärkeää myös siksi, että datan paljastamat kehittämistarpeet nuorisotyöllisiin palveluihin saattavat olla sellaisia, joita yksikään organisaatio ei ratkaise yksin.
Jos tekoäly ja sen nuorisotyölliset mahdollisuudet kiinnostavat tarkemmin, tutustu esimerkiksi Verken aiheesta tuottamaan videoon tai syvenny tekoälyn maailmaan Verken uusimmassa Mitä nuorisotyön tulisi tietää? -teoksessa.
