Mittaaminen on vaarallista puuhaa. Jokainen mittari ohjaa ajattelemaan toimintaa sen kannalta, että mittari näyttäisi positiivisia tuloksia. Siksi täytyy todella toivoa, että mittari oikeasti kertoo siitä, mikä omassa toiminnassa on keskeistä ja mitä halutaan parantaa.
Nuorisotoimialalla on melko jaettu ymmärrys siitä, että alan vaikuttavuuden, laadun ja tehokkuuden mittaaminen varsin hankalaa puuhaa, eikä yksiä, yhteisiä mittareita ole helposti löydettävissä. Nykyinen jatkuvan raportoinnin ja arvioinnin kulttuuri kuitenkin rakastaa numeroita, joten niitä on myös nuorisoalalla tuotettava. Positiivinen seuraus tästä tarpeesta ja jaetusta hankaluudesta on ollut Nuorisotyön tunnusluvut -hanke, jossa on tehty kovasti työtä mittarien löytämiseksi yhteisöllisesti, erilaisilla nuorisotyön kentillä toimivia osallistaen. Työn tuloksena syntyy toivottavasti mittareita, jotka tuottavat sellaisia lukuja ja muita tuloksia, jotka alan toimijat voivat kokea omaa työtään oikeudenmukaisesti kuvaaviksi ja myös edes jossain määrin keskenään vertailukelpoisiksi.
Jäsenet ja toimintaan osallistuneet – millä on väliä?
Nuorisojärjestöjen osalta opetus ja kulttuuriministeriö (OKM) on linjannut, että järjestöjen toimintaa arvioidessa otetaan huomioon toiminnan ”laatu, laajuus, taloudellisuus, ajankohtainen yhteiskunnallinen merkitys ja avustuksen tarve”. Laajuus tarkoittaa tässä eri tavoin järjestön toimintaan osallistuvien nuorten määrää ja yksi osa tästä on järjestön jäsenmäärä sekä nuorten osuus jäsenistä. Ministeriön ohjeessa myös todetaan, että nuorten toiminnassa on vähentynyt pitkäaikainen sitoutuminen yksittäiseen järjestöön, jolloin on tullut tarpeelliseksi pyrkiä hahmottamaan, miten kuvataan kaikkien järjestön tavoittamien nuorten määrää, myös niiden, jotka ovat toiminnassa mukana vain lyhyen aikaa.
Vetovoima-kyselytutkimuksessa purimme järjestöjen toimintaan osallistumisen neljään kategoriaan. Kysyimme järjestöjen jäsenmääriä, toimintaan osallistuvien määriä, vapaaehtoisten määriä ja vielä järjestön päätöksentekoon ja toiminnan suunnitteluun osallistuvien määriä. Kaikkien näiden lukujen osalta on tärkeä tiedostaa, että ne kertovat määristä nimenomaan järjestöjen näkökulmasta – sama osallistuja voi kuulua järjestössä vaikka kaikkiin neljään kategoriaan ja samat nuoret toimivat tietysti myös useissa järjestöissä.
Jäsenmäärä on järjestöjen toiminnan laajuuden mittareista kaikkein yleisin ja siksi varmasti myös kaikkein kritisoiduin. Kun kyselyssämme koottuja tietoja täydennettiin niiden järjestöjen osalta, jotka ovat OKM:n avustamia valtakunnallisina nuorisojärjestöinä, saadaan tulokseksi, että järjestöissä on jäseninä yhteensä 429 119 alle 29-vuotiasta nuorta. Onko se paljon vai vähän?
Ainakin selvää on, ettei luku kerro mitään siitä, miten moni nuori kuuluu nuorisojärjestöön saati siitä, mitä järjestön jäsenyys tarkoittaa niihin kuuluville nuorille. Päivi Kurikan (2000, 101) tutkimuksessa näkyy, että jäsenyys saattaa olla nuorille varsin ristiriitainen asia: nuori saattaa muistaa kyllä, että maksaa jonkin järjestön jäsenmaksun, mutta ei silti välttämättä koe olevansa kyseisen järjestön jäsen. Lisäksi osa järjestöistäkin kertoi, ettei heillä ole muodollista jäsenyyttä, vaan jäsenmäärä tarkoittaa toimintaan säännöllisesti osallistuvien määrää. Kaikissa nuorisotyötä tekevissä järjestöissä nuorten jäsenyys ei ole edes mahdollista.
Toimintaan osallistuneiden nuorten osalta kyselyymme vastanneet järjestöt arvioivat, että heidän toimintansa tavoitti vuonna 2014 yhteensä 701 793 nuorta. Jos jäsenmäärä on vielä järjestöjen, tai ainakin rekisteröityjen yhdistysten, näkökulmasta suhteellisen helppo määrittää, toimintaan osallistuneiden määrän arviointi vaatii väistämättä tulkintaa. Onko jokainen vaikkapa messuständillä tavoitettu nuori osallistunut järjestön toimintaan? Tai jos järjestö organisoi yhdessä muiden järjestöjen kanssa avoimen puistotapahtuman, onko jokainen siihen osallistunut ollut mukana jokaisen järjestävän tahon toiminnassa? Onko osallistuminen yhteen mielenosoitukseen yhtä ”arvokasta” osallistumista kuin toimiminen ohjaajana viikon mittaisella leirillä?
Henkilökohtaisesti olin hiukan hämmästynyt siitä, että vain noin viidennes kyselyymme vastanneista järjestöistä kertoi, että heidän ilmoittamansa toimintaan osallistuneiden määrä perustui osallistujarekisteriin tai vastaavaan lähteeseen. Valtaenemmistö järjestöistä siis arvioi osallistuneiden määrän. Olin kuvitellut, että jatkuva vaatimus toiminnan tehokkuuden ja vaikuttavuuden yhä tarkemmasta kuvaamisesta olisi painostanut järjestöt kehittämään huomattavasti enemmän toiminnan laajuuden mittaamisen tapoja, kuten ylläpitämään valtakunnallisesti koottuja osallistujarekistereitä.
Toisaalta järjestöihin kohdistuu myös vastakkainen paine: järjestöjen odotetaan tuottavan avointa matalankynnyksen toimintaa, johon kuka tahansa saa osallistua – mielellään vielä maksutta. Tämä onkin hyvä tavoite siinä mielessä, että julkisesti tuettujen järjestöjen voisi toivoa tuottavan toimintaa myös muille kuin pienelle ja suljetulle jäsenten piirille. Ja jos on niin, että nuorten asenne jäsenyyttä ja sitoutumista kohtaan on muuttunut kriittiseksi (esim. Myllyniemi & Berg 2013, 43–45), ei jäsenyyden edellyttäminen ole välttämättä viisasta. Niinpä järjestöt ovat hankalassa välikädessä: samaan aikaan pitäisi yhtäältä tarjota kaikilla avointa toimintaa, jossa ei jäsenyyksiä kysellä ja toisaalta raportoida tarkkaan, miten paljon nuoria toimintaan osallistuu.
Osallistujamääristä vaikuttavuuteen – hankala hyppäys
Kokonaan toinen asia on sitten, mitä toimintaan osallistuvien määrät kertovat toiminnan vaikuttavuudesta. Vaikuttavuuden arviointi on OKM:n ohjeissa yksi osa toiminnan laajuuden arviointi, mutta ohje ei kerro tarkemmin, mitä vaikuttavuus tässä yhteydessä tarkoittaa. SITRA:n käyttämässä määritelmässä vaikuttavuus tarkoittaa sitä, miten konkreettiset muutokset muuttuvat hyvinvoinniksi tai yhteiseksi hyödyksi. Jos vaikuttavuuden mittaaminen on yleisestikin hankalaa, nuorisotoimialalla, jossa muutokset nuorten elämässä (ja sitä kautta koko yhteiskunnassa) voiva olla hyvin laaja-alaisia ja johtua hyvin monista yhtä aikaa vaikuttavista tekijöistä, sen arviointi on kyllä lähes mahdotonta.
Kiinnostava kysymys on, miten vaikuttavuuden arvioinnissa tulisi edes periaatteessa ottaa huomioon se, miten moniin nuoriin vaikutus kohdistuu ja miten syvällinen on johonkin yksittäiseen ihmiseen tehty vaikutus. Esimerkiksi yksi kyselytutkimukseemme vastannut järjestötoimija kommentoi oman järjestönsä vapaaehtoistyöhön osallistuneiden määrää seuraavasti:
”Vapaaehtoistyö on muuttunut ryhmämuotoisista tekemisistä yksilöllisen avun tarjoamiseen ja muutos on merkinnyt määrien korvautumista laadulla.”
Onko tällöin toiminnan vaikuttavuus vähentynyt, kun tavoitetaan vähemmän nuoria, vai kenties lisääntynyt, kun yksittäisten nuorten kanssa työskennellään tiiviimmin, jolloin toiminnan vaikutus heihin on saattanut kasvaa merkittävästi? Millä ihmeellä sitä mitataan?
Samoin toisesta näkökulmasta eräs vastaaja kommentoi järjestönsä toiminnan painopisteen muutosta:
”Toimintamme kärki on muuttunut yleisistä musiikkitapahtumista poliittisempiin seminaareihin ja koulutustilaisuuksiin. Sen vuoksi yleisömäärät ovat ehkä hieman pienempiä, mutta tilaisuudet ovat jäsenille sitouttavampia.”
Kun yhtenä nuorten järjestötoiminnan tavoitteena on kasvattaa nuoria osallistumaan yhteiskuntaan, onko tällainen muutos järjestön toiminnassa vaikuttavuuden kannalta positiivinen vai negatiivinen? Nuoria on mukana vähemmän, mutta he tekevät ehkä tarkemmin sitä, mikä on juuri tämän järjestön toiminnan keskiössä – saattaa myös olla, että nuorten roolit järjestössä ovat laventuneet yksinkertaisesta osallistumisesta enemmän toiminnan suunnittelun ja ohjaamisen suuntaan. Lisäksi, voisi ajatella, että musiikkitapahtumia voi järjestää yhtä hyvin vaikkapa yritys, kun taas nuorten poliittista toimintaa organisoimaan tarvitaan juuri järjestö. Siinä mielessä voi ajatella, että kyseisen järjestön toiminnan painopisteen muuttuminen on ohjannut järjestön vaikutusta sinne, missä siitä on eniten hyötyä. Onkohan vaikuttavuuskin samalla lisääntynyt?
Vetovoima-hankkeen tutkija Riikka Taavetti kirjoittaa järjestöihin osallistumista ja niiden kehittämistä koskevan tutkimuksen tuloksista ja havainnoista. Tämä on kirjoitussarjan neljäs osa. Ensimmäisessä kirjoituksessa käsiteltiin järjestötoiminnan haasteita, toisessa vapaaehtoistyön käsitettä ja kolmannessa vapaaehtoisten motivaatiota. Kirjoitukset ovat avoimia kommenteille, keskustelulle, kysymyksille ja uusille näkökulmille.
Kirjallisuus
Arviointi- ja avustustoimikunnan periaatteita nuorisojärjestöjen toiminnan arvioimiseksi. http://www.minedu.fi/export/sites/default/OPM/Nuoriso/nuorisojaerjestoejen_avustustoimikunta/Avustustoimikunnan_materiaaleja/Arviointi-_ja_avustustoimikunnan_periaatteita_nuorisojxrjestxjen_arvioimiseksi.pdf
Aistrich, Matti (2014) Kannattaako vaikuttavuutta yrittää mitata? http://www.sitra.fi/artikkelit/hyvinvointi/kannattaako-vaikuttavuutta-yrittaa-mitata
Kurikka, Päivi (2000) Hällä väliä? Nuorten Suomi 2001 -tutkimuksia nro 5. Helsinki: Suomen kuntaliitto.
Myllyniemi, Sami & Berg, Päivi (2013) Nuoria liikkeellä! Nuorten vapaa-aikatutkimus 2013. Nuorisotutkimusseuran/Nuorisotutkimusverkoston julkaisuja 140. Nuorisoasiain neuvottelukunnan julkaisuja 49. Helsinki: Opetus- ja kulttuuriministeriö & Valtion liikuntaneuvosto & Nuorisoasiain neuvottelukunta & Nuorisotutkimusverkosto. https://tietoanuorista.fi/wp-content/uploads/2014/05/Nuoria_liikkeell%C3%A4_verkko.pdf
Vetovoima-blogi 
6 comments