I Juvenia utredde man nuläget för att mäta effekten av ungdomsarbete på webben och framtidsvisioner. Man skapade även rekommendationer för utvärdering av effekten på beställning av Verke. På basis av undersökningen är man ännu i början av att mäta effekten av ungdomsarbete på webben. I den här bloggen vill vi lyfta fram rekommendationer för att utveckla mätningen av ungdomsarbetets effekt på webben, som i större omfattning kan användas på ungdomsarbetsfältet.
Begreppen ungdomsarbete på webben och effekt är båda svåra att definiera. För att strukturera begreppet effekt har vi följt tanken av Anoschkin (2019) om effektivitetskedjan som har utvecklats för planering, ledning och utvärdering av effektiviteten. Effektivitetskedjan omfattar följande delområden: behov, vision, mål, resurser, åtgärder, resultat och effektivitet. Med hjälp av den kan man beskriva vilken förändring man vill få till stånd och hur.
När man talar om ungdomsarbete på webben är det inte möjligt att definiera endast en typ av effektivitetskedja. Ungdomsarbetsfältet är flerdimensionellt i förhållande till hurdan effektivitet ungdomsarbete på webben har och vilka verkningar man strävar efter. De åtta kommuner, organisationer och församlingar som deltog i undersökningen genomförde ungdomsarbete på webben med flera olika metoder. Dessa var mediefostran, kunskaps- och rådgivningsarbete för unga, chattar, delaktighetsverksamhet, spelfostran, skriftskoleverksamhet, webbaktivism och ungdomsgårdsverksamhet på webben.
Målen för ungdomsarbete på webben avviker inte från målen för det övriga ungdomsarbetet
Webben används alltmer som verksamhetsmiljö för ungdomsarbetet och det är inte ens meningsfullt att granska ungdomsarbete på webben som en egen arbetsform. Webbmedverkan och att vara ansikte mot ansikte varierar naturligt i praktiken vid bemötanden mellan de unga och ungdomsarbetaren. Även målen man strävar efter med ungdomsarbete på webben är naturligt konvergenta med det övriga ungdomsarbetet. Målet för ungdomsarbete på webben bland de intervjuade organisationerna var i anslutning till att stärka de ungas delaktighet, skapa gemenskap och stöda de unga i svåra livssituationer. När man funderar på ungdomsarbetets effektivitet kommer man slutligen fram till att prata om hela ungdomsarbetets behov, mål, resultat och slutligen om effektivitet.
Rekommendation: ”Vid utvecklande av effektiviteten för ungdomsarbete på webben bör man beakta hela ungdomsarbetets utvecklingslinjer för utvärdering av effektiviteten, eftersom båda slutligen har samma samhälleliga mål. Ungdomsarbete på webben ses som en ungdomsarbetsmetod bland andra.” (Moisala & Laine 2021, 35.)
På basis av materialet och tidigare utredningar (se Lehtonen 2019; Sutinen 2018; Turkkila m.fl. 2019) kan man se att klargörande av målen för ungdomsarbete på webben ännu kräver arbete. Utan definierade mål är det i praktiken omöjligt att mäta effektiviteten. Vid mätning av effektiviteten är det väsentligt att bevisa om man genom verksamheten lyckats få den önskade förändringen. Verksamhetens mål bestämmer vad som ska mätas. Eftersom det kan anses att ungdomsarbete på webben har gemensamma mål lönar det sig att göra konceptualiseringsarbetet tillsammans med kommuner, församlingar och organisationer som även utvecklare, beslutsfattare och finansiärer kan delta i. Ett sådant samarbete möjliggör i bästa fall utvecklingsarbetet för utvärdering av effektiviteten för riksomfattande ungdomsarbete på webben.
Rekommendation: ”En viktig uppgift för det nationella samarbetet är att gemensamt formulera effektiviteten, behoven och visionen för ungdomsarbete på webben. Samarbetet möjliggör definierande av målen för ungdomsarbete på webben på riksomfattande och samhällelig nivå. Detta är nödvändigt för att vi tillsammans kan bygga mätare för effektiviteten och senare samla material och analysera resultaten.” (Moisala & Laine 2021, 35.)
Mätning av effektiviteten får inte höja tröskeln för den unga att delta i ungdomsarbete på webben
Det är vissa realiteter som bör beaktas i utvecklingsarbetet för att mäta effektiviteten av ungdomsarbete på webben, såsom att unga deltar anonymt och att verksamheten är kortvarig. Bevisande av effektiviteten kräver alltid tillräckligt lång tidsintervall. Då borde man kunna granska situationen för unga som deltagit i verksamheten även flera år efteråt. Om verksamheten grundar sig på anonymt deltagande är det inte ett realistiskt alternativ för mätning. När man funderar på möjligheterna att samla in uppföljningsuppgifter av unga måste man fästa särskild uppmärksamhet vid dataskydd och etiska frågor.
Rekommendation: ”Man bör beakta att unga har mycket olika behov av att delta i ungdomsarbete på webben. Unga deltar i den frivilliga tjänsten för eget behov, varvid det även finns en etisk fråga om de unga vill utvärdera sin erfarenhet och om man kan be eller förplikta det i tjänsten. När man mäter erfarenhet och upplevd verklighet uppnår man inte samma exakthet som till exempel i ekonomisk eller medicinsk vetenskap. Och det är inte heller meningen att omvandla erfarenheten till ekonomisk vetenskap,” (Moisala & Laine 2021, 36.)
Det är utan tvekan utmanande att bevisa effektiviteten av förebyggande arbete. Det är flera olika variabler i vårt samhälle som påverkar ungas utveckling och välfärd. Vi kan emellertid inte gömma oss bakom utmanande utgångspunkter, utan vi bör sträva efter att utveckla mätningen av effektiviteten av ungdomsarbete på webben genom att beakta realiteterna. Även om vi aldrig kan påvisa en fullständigt sammanhängande effektivitet kan vi ändå utveckla verksamheten och motivera att arbetsformen är nödvändig enligt den bästa tillgängliga informationen.
Så här genomfördes undersökningen
Undersökningen grundar sig på intervjuer av yrkesfolk inom ungdomsbranschen. Insamlingen av materialet gjordes i två faser. I den första fasen frågade vi om organisationsledningens och arbetstagarnas syn på hurdan inverkan man vill nå med ungdomsarbete på webben, hurdan inverkan ungdomsarbete på webben anses ha och på vilka sätt man i nuläget utvärderar effektiviteten i organisationen. Vi genomförde sammanlagt 15 individuella intervjuer. I andra skedet av materialinsamlingen gjorde vi fyra intervjuer av fokusgrupper med sammanlagt 16 experter inom ungdomsbranschen. Vi frågade om deras syn på vilka sätt man systematiskt borde och kunde utvärdera effektiviteten av ungdomsarbete på webben i framtiden. Resultaten rapporterades anonymt och de sektorer som deltog i intervjun har inte nämnts så att de kan identifieras.
