1. Mitä itsearviointi on ja miksi sitä tulee tehdä?
Käsillä oleva moniste/nettijulkaisu on muodostunut muutaman vuoden aikana apupaketiksi niille kouluille, jotka ovat olleet pohdiskelemassa oman koulunsa arviointijärjestelmän kehittämistä. Vuonna 1996 toin levitykseen Äänekosken lukion arviointimallia esittelevän monisteeni "Koulun itsearviointi - mitä, miksi ja miten?". Tässä uusimmassa versiossa (1999) olen vaihtanut koulu sanan tarkennetusti lukioon, jota tekstini yksinomaan käsittelee. Lisäksi moniste on kokenut lähes täydellisen sekä ulkoisen että sisällöllisen muodonmuutoksen.
Olen vastannut Äänekosken lukion itsearvioinnin työstämisestä, kehittelystä ja ylläpitämisestä jo muutaman vuoden ajan (täysipainoisesti vuodesta 1995). Näimme hyväksi, että työ on yhdellä ihmisellä ns. sydämen asiana. Tällöin arvioinnista tulee otettua selkeästi vastuuta eikä asia jää ikään kuin ei kenenkään hoidettavaksi. Siinä, että arviointi on yhden ihmisen hanskassa on sekä hyvät että huonot puolensa. Hyvänä puolena on selkeä vastuunottaminen ja arviointiammattitaidon kehittyminen, huonona puolena se, että jos tällä yhdellä "hanska on hukassa, niin koko arviointi on hukassa".
Uusi Lukiolaki (1.1.1999) yksiselitteisesti määrää arvioinnin osaksi lukiota:
16 §
Koulutuksen arviointi
Koulutuksen arvioinnin tarkoituksena on tukea koulutuksen kehittämistä ja parantaa oppimisen edellytyksiä.
Koulutuksen järjestäjän tulee arvioida antamaansa koulutusta ja sen vaikuttavuutta sekä osallistua ulkopuoliseen toimintansa arviointiin.
Opetushallitus huolehtii asianomaisen ministeriön päättämien perusteiden mukaisesti arvioinnin kehittämisestä ja ulkopuolisten arviointien toimeenpanosta. Ministeriö voi antaa yksittäisen arvioinnin suorittamisen myös muun kuin opetushallituksen tehtäväksi.
Arviointien keskeiset tulokset tulee julkistaa.
Arvioinnin tarkoituksena on yksinkertaisesti lukiokoulutuksen tuloksellisuuden parantaminen. Arviointi on siis erityisesti opetuksen suunnittelun, toteutuksen ja kehittämisen väline. Arviointi sinänsä ei ole itsetarkoitus, vaan pyrkimyksenä on arvioinnin tulosten kautta lukiokoulutuksen laadun parantaminen paikallistasolla. Suomalaisessa koulujärjestelmässä on pyritty siirtämään vastuu yhä voimakkaammin kunnille ja muille koulutuksen järjestäjille. Julkinen arviointi lisää koulutuksen järjestäjän vastuullisuutta. Järjestäjän on pyrittävä kaikin tavoin ylläpitämään, ajanmukaistamaan ja kehittämään antamaansa lukiokoulutusta. Kansallisesti arvioinnilla turvataan opetustoimen yhdenvertaisuus ja tasa-arvoisuus.
Arvioinnin kautta:
• Lukio pyrkii parantamaan ja kehittämään toimintaansa ja saamaan aikaan toivottua tulosta.
• Lukio pyrkii positiiviseen kehitykseen jopa tavoitetasoa myöten (Usein arviointi jähmetytetään tavoitteiden toteutumisen arviointiin. Itse näen tärkeäksi tekijäksi mahdollisuuden puuttua myös tavoitteisiin itseensä, mikäli arvioinnin tulokset niin edellyttävät).
• Lukio selvittää koulutuksen ja oppimisen sen hetkistä tilaa, jotta ongelmakohdat ja toisaalta hyvät puolet paljastuisivat. Palautteen kautta koulutusta voidaan näin kehittää haluttuun suuntaan.
• Lukio löytää omat vahvat puolensa, mutta myös parantamista edellyttävät alueensa.
Oppilaitoksen itsearvioinnin peruslähtökohta on siis auttaa kehittämään ja parantamaan toiminnan laatua. On esitetty näkemyksiä, että tämän päivän koululaitoksessa arviointi on välttämättömyys yhteisön elossa ja kilpailukykyisenä pysymiseksi.
Arvioinnin lähtökohta (MIKSI ARVIOIDAAN?):
Lukion toiminnan laadullinen (ja määrällinen) kehittäminen ja parantaminen
Laatuajattelun peruslähtökohtana on pyrkimys kestävään ja jatkuvaan kehitykseen valittujen arvojen pohjalta. Siksi meidän on tärkeä tietää arvoperusta, jonka pohjalta me hahmotamme, millaiseksi me koulumme haluamme luoda, mitkä seikat ovat mielestämme arvokkaita ja tärkeitä. Lisäksi tämä arvoperusta meidän tulee liittää näkyyn, joka meillä on työyhteisöstämme, lukiostamme. Näky (visio) on kuva siitä, millä tavalla haluamme työyhteisömme toimivan tulevaisuudessa. Näky ja arvot ovat siis selkeästi sidoksissa toisiinsa. Mutta, jotta voisimme kulkea näyn viitoittamaa tietä, meillä täytyy olla tietoa siitä, missä kuljemme nyt. Nykytilan selvittäminen onkin sitten arvioinnin tarkoituksena.
Laadusta ja itsearvioinnista on tänä päivänä olemassa huikea joukko kirjoja, lehtiä, monisteita, esitteitä, plakaatteja ja traktaatteja. Siksi en näe tarpeelliseksi lähteä kovin yksityiskohtaisesti esittelemään arvioinnin perusteita. Otan mieluummin esiin oman käytännön työn esiin nostattamia löytöjä.
Arviointi ei saa olla:
• kiviriippa, jota pitää vetää perässä, koska laki niin vaatii eli ei arviointia arvioinnin vuoksi
• koulutuksen järjestäjän valvontakeino, jolla osoitetaan ovea yksittäisille työntekijöille
• keino nuijia tai murskata yksittäisen opettajan persoonallisuus
• tapa etsiä syyllisiä
• keino laistaa virheitä ja epäkohtia (etsimällä vain hyviä puolia)
Arvioinnin jatkuvuuden vuoksi arviointityö ei saa olla liian raskasta kouluyhteisölle. Olen nähnyt kymmeniä erilaisia arvioinnin toteutustapoja eri puolilta Suomea, mutta Äänekoskella päädyimme lopulta hyvin yksinkertaiseen malliin, joka kuitenkin mielestämme tuottaa juuri sitä tarpeellista tietoa, jota kaipaamme. Olen päätynyt seuraaviin itsearvioinnin toteutuskriteereihin:
Arvioinnin tulee olla:
• Helppoa: tiedonhankinnan tulisi olla mahdollisimman helppoa ja vaivatonta, jotta itse koulutyö ei kärsisi, jotta opiskelijat/muut kohderyhmät eivät kokisi jo itse tutkimusta negatiivisena ja jotta tutkimuksen tulosten analysointiin ei menisi suhteettomasti aikaa ja työtunteja.
• Edullista: tiedonhankintamenetelmän tulisi olla mahdollisimman edullinen, mutta samalla kuitenkin paras ja tarkoituksenmukaisin.
• Luotettavaa eli pysyvää ja pätevää: Menetelmän tulisi olla siis virheetöntä tietoa antavaa (reliabiliteetti) ja toisaalta mitata juuri sitä, mitä menetelmä on tarkoitettukin mittaamaan (validiteetti).
Seuraavaksi lähden esittelemään aivan käytännössä Äänekosken lukion itsearvioinnin kehittelemistä ja toteuttamista.
2. Miten itsearviointia on toteutettu Äänekosken lukiossa?
2.1. Lähtökohtana opetushallituksen arviointimalli
Äänekosken lukio valittiin yhdeksi opetushallituksen kokeilukouluksi, jonka pyrkimyksenä oli olla etsimässä soveltuvia ja luotettavia menetelmiä itsearviointiin ja selvittää yleensä käytännössä, mitä kaikkea arvioinnin piiriin kuuluu. Varsinainen arvioinnin kehittämistyö aloitettiin Äänekoskella syksyllä 1994.
Oppilaitoksen itsearvioinnissa on kyse oman toiminnan laadun ja tuloksellisuuden arvioinnista. Opetushallitus määritteli (1995) opetustoimen tuloksellisuuden arvioinnin seuraavasti: "Opetustoimen tuloksellisuuden arvioinnissa on kyse kasvatuksen, opetuksen ja koulutuksen tavoitteiden saavuttamisen ja koulujärjestelmän toiminnan tulkinnallisesta analyysistä. Tuloksellisuutta arvioidaan tehokkuuden, vaikuttavuuden ja taloudellisuuden ulottuvuuksilla käyttäen arviointiperusteena niitä tavoitteita, joita virallisorganisaatio on asettanut. Itsearviointikohteita ovat asetetut tavoitteet ja niiden saavuttaminen, oppilaitoksen toimintaprosessien ja tuotteiden tila sekä erilaisten kehittämishankkeiden onnistuminen."
Äänekoskella lähdettiin liikkeelle selkeästi opetushallituksen tuloksellisuuden arviointimallin pohjalta, jonka mukaan opetus on tuloksellista silloin, kun se on
• taloudellista eli kun oppilaitoksen resurssit on kohdistettu koulutukselle asetettujen tavoitteiden kannalta optimaalisesti ja resurssien määrä on tarkoituksenmukainen tuotettujen koulutuspalveluiden määrän sekä palvelutuotannon rakenteen ja organisoinnin kannalta.
• tehokasta eli kun oppilaitoksen toiminnan joustavuus ja ajoitus ovat mahdollisimman tarkoituksenmukaiset
• vaikuttavaa eli kun oppilaitoksen tuottamat valmiudet edistävät laadullisesti ja määrällisesti yksilön henkistä kasvua sekä yhteiskunnan, kulttuurin ja työelämän kehitystä.
Opetushallituksen arviointimallista on sittemmin kehitelty jos jonkinlaista kaaviota, jossa em. kolme kohtaa toistuvat yhä tarkennetummin. Yksi tunnetuimmista lie seuraava:
TULOKSELLISUUS: (lähtökohtana toiminta-ajatus)
1) TALOUDELLISUUS
- koulutusresurssien määrä, kohdentuminen ja käytön tehokkuus
- yksikkökustannukset
- koulutuksen rahoituslähteet
- koulutuksen vaihtoehtoiset tuotantotavat
2) TEHOKKUUS
- koulutustarjonta
- oppilasmäärä
- pedagogiset järjestelyt ja opetuksen laatu
- koulutuspituudet
- keskeyttäminen
- henkilöstö
- tilat ja laitteet
- säädökset ja sopimukset
- oppilaitoksen johtamiskulttuuri
3) VAIKUTTAVUUS
- opetussuunnitelma
- oppimistulokset
- oppimaan oppimisvalmiudet
- kommunikaatiovalmiudet
- itsensäkehittämishalukkuus
Äänekoskella em. mallin mukaan määriteltiin, mitä mitataan ja miten mitataan.
Tuloksellisuuden tekijät (MITÄ ARVIOIDAAN?): taloudellisuus, tehokkuus ja vaikuttavuus.
Taloudellisuudessa keskeiseksi arvioinnin kohteeksi nähtiin yksikkökustannukset. Mittaimeksi käyttökustannukset opiskelijaa kohden vuodessa sekä yleensä lukiomenojen osuus kunnan budjetista. Tiedot saatiin tilinpäätöksistä ja valtionosuusrekistereistä.
Tehokkuudessa arvioinnin kohteeksi tulivat mm. (1) saavutettavuus ja (2) reagointikyky, mittaimena lukion aloittajien määrä ikäluokasta (keskiarvoraja huomioiden) ja ulkopaikkakuntalaisten määrä, ja tiedon lähteenä koulun omat selvitykset ja koulutoimisto. Kolmanneksi (3) haluttiin selvittää tutkinnon suorittaminen, mittaimena läpäisy- ja keskeyttämisprosentit syineen ja tiedon lähteenä koulun omat selvitykset ja tilastokeskus. Lisäksi valittiin arvioitavaksi (4) koulun pedagogiset järjestelyt, (5) henkilöstö voimavarana ja (6) tilat ja laitteet. Näihin kuhunkin löydettiin omat mittaimet ja keinot hankkia tietoa. Henkilöstön kohdalla esiin astui myös varsinainen koulun itsearviointi.
Vaikuttavuuteen liitettiin (1) koulutustarpeen ja tutkintojen vastaavuus, mittaimena mm. aloittavien määrä ikäluokasta ja sijoittuminen jatko-opintoihin, (2) oppimaan oppimisvalmiudet ja (3) varsinainen koulun itsearviointi. Tässä monisteessa käsittelen erityisesti juuri koulun (lukion) itsearviointia.
2.2. Arvoista arviointiin
Kun opettajat ja työyhteisö alkavat pohtia oman koulun itsearviointia, herää varmasti ajatuksia, että "olemmehan pärjänneet ennenkin", "arviointiahan on suoritettu ennenkin nostamatta siitä niin suurta hälyä", tai "jokainen opettajahan arvioi jatkuvasti omaa työtänsä". Tämä kaikki on totta. Nyt arvioinnissa pyritään kuitenkin mutu-tiedon sijasta eksaktiin tietoon, jota saadaan varta vasten laadituilla mittareilla.
Arviointia toki saa ja tulee kritisoida. Arvioinnin taustalta löytyy aina jonkinlainen arvomaailma, joka heijastuu siinä, mitä asioita ollaan halukkaita mittaamaan. Liikemaailmassa itsearviointia on tehty nimenomaan taloudellisen tuloksen parantamiseksi, imagon luomiseksi. Itse olen peräänkuuluttanut kasvatuksellisia ja inhimillisen ihmisen huomioivia arvoja ns. "vanhoja kouluarvoja" lukioiden kilpailumentaliteetin ns. markkinatalousarvojen sijaan. Onko tavoitteena kilpailla Hesarin tilastoissa, oman kaupungin muiden tai naapurikuntien lukioiden kanssa vai onko tavoitteena olla "hyvä yleislukio, josta lähtee maailmaan iloisia ja tasapainoisia nuoria aikuisia, joilla on tietoa, taitoa, tunnetta ja tahtoa" (Äänekosken lukion tavoitteita OPS:ssa). Mielestäni arvioinnin tulee tuottaa tulosta nimenomaan opiskelijan, työyhteisön (rehtori, opettajat, muu henkilökunta) ja huoltajien parhaaksi. Siksi jokainen lukio suunnittelee itse oman toimivan itsearviointityylinsä, joka auttaa juuri ko. yhteisön arvopohjalta nousseitten tavoitteiden toteutumisessa.
Koulun itsearviointi nousee koulun omalta arvo- ja tavoiteperustalta, joka taas on riippuvainen mm. yhteiskunnallisista ja kulttuurisista, aikasidonnaisista arvoista.
Arvot näkyvät opetussuunnitelmassa, sekä valtakunnallisessa että kunta- ja koulukohtaisessa, sekä koulun tavoitteissa, ja niissäkin sekä yleis- että ainekohtaisissa. Koulu pyrkii kaikessa opetus- ja kasvatustyössään toteuttamaan yhteisiä tavoitteitaan. Arviointi kertoo eri ryhmien "asiakastyytyväisyydestä", mielikuvista ja mielipiteistä suhteessa arvojen ja tavoitteiden toteutumiseen koulussa. Arviointi voi osoittaa toteutuksen heikkoudet, mutta haastaa myös pohtimaan tavoitteiden ja jopa arvopohjan perusteltavuutta ja toimivuutta. Tämä tulee hyvin esiin mm. opiskelijoiden tai huoltajien omien mielipiteiden kuuntelemisessa.
Kysymys arvoista ja tavoitteista nousi esiin huoltajakyselyn yhteydessä, kun joillekin huoltajille oli lukioaineiden opiskelua tärkeämpää nuoren autokoulun käyminen. Autokoulun olisi pitänyt ohittaa varsinaiset lukion aineopinnot siten, että ajotunneilla käyminen olisi täysin hyväksyttävä syy olla poissa koulusta. Asiasta keskusteltiin opettajakunnassa ja todettiin ristiriidassa huoltajien näkemyksen kanssa, että opettajakunnan arvomaailmassa lukio-opetus ajaa autokoulun ohitse (jonka tunteja voidaan järjestää sopimuksen mukaan kouluajan jälkeenkin). Vastaavia ongelmia on ollut tietysti myös muiden poissaolojen suhteen. Tulisiko meidän siis kuunnella asiakkaittemme ääntä mm. siinä, että vapaaehtoisessa lukiokoulutuksessa opiskelija saa poissaolojaan selvittämättä olla poissa tunneilta sen vaikuttamatta numeroarvosanaan, kun kerran toiset huoltajat ja opiskelijat näin haluaisivat. Vai, tulisiko tavoitteenamme olla kasvattaa nuoria vastuullisuuteen?
Arvioinnin suunnittelussa on tärkeää (1) huomata arvoperusta ja siitä nousevat tavoitteet, (2) luoda mahdollisimman kätevä ja helppo, silti toimiva ja tehokas tapa arvioida ja (3) nostaa lähtökohdaksi käytännönläheisyys ja hyöty.
2.3. Itsearviointityön prosessikuvaus Äänekosken lukiossa
Seuraavaksi tarkastelen arviointityön etenemistä Äänekosken lukiossa. Haluan selvittää prosessin kohtalaisen tarkasti, jotta ne oppilaitokset, jotka vasta aloittavat arvioinnin kehittämistä voisivat halutessaan saada toimintatavoistamme apua. Varsinkin kehittelyn alkuvaiheessa oli tietynlaiseksi muotisanaksi noussut "asiakastyytyväisyys", jota tässäkin viljelen melkoisen paljon. Mielestäni sana "asiakas" soveltuu kuitenkin huonosti koulumaailmaan, ja uskoisinkin, että on parempi käyttää termejä "opiskelija", "huoltaja" jne. koska ns. asiakasryhmämme ovat lukiossa melkoisen tarkkaan määriteltyjä.
PROSESSIKUVAUS (sovellettuna opetushallituksen itsearvioinnin prosessikuvauksen kolmivaiheisuuteen):
Prosessikuvauksessa etenen siten, että varsinaisen tapahtuman alla on aina lyhyt selvitys siitä, miksi tietty asia on tärkeä ja mitä tapahtuma on sisältänyt.
1. Aloitusvaihe
• Koko opettajakunnan arvokeskustelu ja arviointiasian esiin ottaminen
- Miksi arviointia? Mitä pelkoja, kysymyksiä ym. herää?
• Työryhmän valinta, keskustelu ja arviointiin perehtyminen sekä arvioinnin idean sisäistäminen
- Kouluttautuminen, lukion tavoitteisiin ja toiminta-ajatukseen perehtyminen
• Työryhmän keskustelujen ja alustavien suunnitelmien väliraportointi koko työyhteisölle (opettajainkokouksissa)
- Pelkojen ja ennakkoluulojen vähentäminen, työyhteisön motivointi
2. Toimeenpanovaihe
• Arviointijärjestelmän luominen työryhmässä
- Tiedonhankintamenetelmien valinta ja suunnittelu (mm. kyselylomakkeen kehittäminen; validiteetti, reliabiliteetti)
- Arvioinnin kohteiden valinta
• Arvioinnin päävastuuhenkilön valinta
- Henkilö ottaa päävastuun tutkimuksen toteuttamisesta, tulosten analyysistä ja raportoimisesta.
• Työyhteisön "hyväksyntä" arviointimallille ja -menetelmille
- Opettajakunnan positiivinen suhtautuminen työnsä arviointiin. Asennoidutaan odottamaan ja vastaanottamaan tulokset.
• Tiedonkeruu ja analyysi, joista vastaa arvioinnin vastuuhenkilö
- Kyselyn toteuttaminen kohderyhmillä - häiriömuuttujien poistaminen
• Tulosten analyysi ja päätelmät - lähtökohtana avoimuus, kriittisyys, rehellisyys ja muutoshalukkuus
• Arviointitulosten julkistaminen ja käyttö
- Raportointi ao. yhteisössä kaikille osapuolille, mahdollinen rajattu julkinen raportointi
- Ongelmakohtien korjaaminen, vahvuuksien huomioiminen
3. Vakiintumisen vaihe
• Arviointityö muuttuu käytänteeksi. Arviointia tehdään jatkuvasti, jolloin saadaan vertailukelpoista aineistoa.
Arvioinnin antia puidaan, arviointia kehitetään, ongelmia puidaan ja ratkotaan.
• Vastuuhenkilö pitää huolen, että arviointia toteutetaan säännöllisesti, arviointi on osa koulun arkipäivää, arviointia kehitellään eteenpäin, arvioinnin tuloksia analysoidaan eteenpäin laajemmasta, avartuneemmasta näkökulmasta käsin, arvioinnin tuloksia julkistetaan ja hyödynnetään kouluyhteisön kehittämiseksi.
• Arviointi auttaa käytännössä kehittämään ja parantamaan lukion toiminnan laatua.
Syksyllä 1994 perustettiin kolmen opettajan työryhmä, jonka tehtäväksi tuli laatia mittarit asiakas- ja työyhteisötyytyväisyyden selvittämiseksi. Ryhmään valittiin empiiriseen metodiin ja yleensä kyselytutkimuksiin perehtyneitä opettajia. Myöhemmin katsottiin parhaaksi, että yksi opettaja perehtyy arviointiin muita tarkemmin koulutuksen, kirjallisuuden ja käytännön kokemuksen kautta. Hänestä tuli sitten ns. arvioinnista vastaava opettaja.
Toteutuksen vastuu (KUKA VASTAA ARVIOINNISTA?): Koulutuksen järjestäjä, mutta käytännössä
rehtori, kolmen opettajan työryhmä, arvioinnin vastuuhenkilö
Koska tarkoituksena on mitata juuri asiakastyytyväisyyttä, nähtiin tärkeimmäksi kohderyhmäksi lukion opiskelijat. Tutkimukseen päätettiin ottaa mukaan kaikki 1. vuoden opiskelijat (1. jakson jälkeen; myöhemmin muutettiin kyselyn toteutusajankohdaksi 2. jakson puoliväli), jolloin heidän osaltaan selvitettäisiin lähinnä mielikuvia ja lyhyen kokemuksen tuomia mielipiteitä lukio-opiskelusta. Toiseksi pääryhmäksi valittiin 3. vuoden opiskelijat (toteutus 3. opiskeluvuoden neljännessä jaksossa), jolloin tutkimus kertoisi selkeästi ammattilaisten mielipiteet opiskelusta Äänekosken lukiossa. Toiseksi kohderyhmäksi valittiin "itseoikeutettuina" lukion koko opettajakunta viranhaltijoista tuntiopettajiin. Työryhmässä pidettiin tärkeänä, että opettajat saisivat tuoda esiin omat mielipiteensä työstään, työtovereistaan, oppilaistaan, työpaikastaan, omasta itsestään sekä johtamisilmastosta. Muiksi kohderyhmiksi valittiin huoltajat, Äänekosken lukiosta opiskelijoita vastaanottava oppilaitos, Äänekosken Kauppaoppilaitos, sekä virka- ja luottamushenkilöt. Huoltajista juuri kolmannen vuoden opiskelijoiden vanhemmilla uskottiin olevan luotettavin kokemus koulun ja kodin yhteydestä tai yhteyden puuttumisesta. Kauppaoppilaitos valittiin mukaan oman paikkakunnan tärkeänä lukion opiskelijoita vastaanottavana oppilaitoksena. Lisäksi haluttiin kuulla vielä koulun ja kaupungin luottamushenkilöiden (johtokunnan, koululautakunnan, koulutoimenjohtajan) ääni Äänekosken lukion arvioinnissa.
Kohderyhmät (KETKÄ LUKIOITA ARVIOIVAT?): 1) opiskelijat, 2) opettajat, 3) huoltajat,
4) luottamushenkilöt, 5) vastaanottava oppilaitos
Työryhmässä pidettiin tärkeänä erityisesti seuraavia asioita pohdittaessa mittaria (mittareita), jolla asiakastyytyväisyyttä selvitettäisiin: helppous, edullisuus ja luotettavuus (ks. edellä itsearvioinnin toteutuskriteerit s. 2).
Työryhmässä päädyttiin kyselylomakkeeseen, jossa on kaksi osaa: 1) strukturoitu semanttinen asteikko sekä 2) avoimia, mutta tutkimuksen tavoitteiden kannalta tärkeisiin asioihin johdattelevia kysymyksiä. Strukturoituun osaan valittiin 30 väittämää, strukturoimattomaan vain 3-4.
Kysymyksiä laadittaessa pidettiin koko ajan mielessä Äänekosken lukion ARVOT ja TAVOITTEET sekä KÄYTÄNNÖNLÄHEISYYS (ts. toiminta).
Työryhmä tutustui muissa lukioissa ja oppilaitoksissa käytettyihin kyselymalleihin. Lopulta päädyttiin laatimaan oma väittämäpatteristo. Kukin työryhmän jäsen esitti n. 20 väittämää, joista seulottiin 30. Kukin valittu väittämä analysoitiin vielä erikseen ja yritettiin pohtia mahdollisuuksia väärinymmärtämiseen jne.
Kyselyn tietokoneanalyysiin oli vaihtoehtoina lähinnä Odin sekä Microsoft Excel -ohjelmat. Silloisen Keski-Suomen Lääninhallituksen teettämä Excelin makrosovellus koettiin tutustumisen jälkeen yksinkertaisimmaksi vaihtoehdoksi. Odinin vahvoja puolia olisivat olleet mm. tietokonepohjainen tutkimus, jossa opiskelijat ja opettajat olisivat voineet vastata kysymyksiin suoraan päätteeltä (esim. ATK-luokassa), ja vastausten tilastollisen käsittelyn monimuotoisuus. Lisäksi Odinin yksi versio lähetettiin kouluille ilmaiseksi, kun taas Excelin lisenssi maksaa huomattavan summan. Exceliin ja sen makrosovellukseen päädyttiin kuitenkin helpon tulosten syötön ja selkeän tulosteen ansiosta.
Tiedonhankintamenetelmät (MITEN ARVIOIDAAN?): Kyselylomakkeet
ja muu arviointi (havainnointi, haastattelut - ei systemaattista)
Itsearviointia lähdettiin toteuttamaan Äänekosken lukiossa seuraavalla tavalla:
Kevät 1995
- Opiskelijakysely 1. vuoden opiskelijoille (nyt vasta 4. jaksossa)
- Opiskelijakysely 3. vuoden opiskelijoille (4. jaksossa)
- Opettajakysely (6. jakso)
Syksy 1995
- Opiskelijakysely 1. vuoden opiskelijoille (1. jakson jälkeen)
Kevät 1996
- Opiskelijakysely 3. vuoden opiskelijoille (4. jaksossa)
- Huoltajakysely 3. vuoden opisk. huoltajille (4.jaksossa)
Kevät 1996
- Äänekosken Kauppaoppilaitos
- Virkamiehet ja luottamushenkilöt
Syksy 1996
- Opiskelijakysely 1. vuoden opiskelijoille (2. jakson alussa)
Ja tästä eteenpäin säännöllisesti siten, että opiskelija- ja huoltajakyselyt vuosittain ja muut kohderyhmät kolmen vuoden välein.
Opiskelijoilta on tullut jonkin verran kritiikkiä lukiossa toteutettavien kyselyjen määrästä. Ei niinkään itsearviointiin liittyvästä kyselystä, vaan siitä, että esim. Äänekosken lukiossa oppilaanohjauksen yhteydessä tehdään jo yksi kohtalaisen laaja kysely opiskelijan taustasta, tavoitteista, menestymisestä, toiveista jne. Yleensä näyttää siltä, että joillakin opiskelijoilla on itsearviointikyselyäkin vastaan se asenne, että mielipiteensä saa kyllä nyt laittaa paperille, mutta mitään käytännön hyötyä siitä tuskin on. Siksi onkin parasta, että opiskelijoille perustellaan, miksi itsearviointia suoritetaan sekä osoitetaan, että opiskelijan mielipide tulee kuulluksi
Tulosten analysointi ja tulkinta on totta kai erityisen tärkeää. Opiskelijakyselyt on käyty lävitse seuraavasti: vastuuhenkilö on yhdessä esimerkiksi kouluavustajan kanssa suorittanut tietokoneajot, jonka jälkeen vastuuhenkilö on koonnut avoimista vastauksista opiskelijoiden tuntemuksia, purnaamisia jne. heijastelevan "likiarvon" sekä analysoinut strukturoidun kyselyn tulosteen. Kukin ryhmänohjaaja on saanut tutkittavakseen opiskelijaryhmänsä kyselylomakkeet sekä avointen että strukutroitujen vastausten osalta. Ryhmänohjaajille on jaettu lisäksi tulosteliuska kaikkien saman vuoden opiskelijoiden vastauksista (ns. arviointien yhteenveto). Täten he ovat voineet vertailla oman ryhmänsä vastauksia koko vuosikerran tuloksiin. Lukion rehtori on käynyt lävitse atk-tulosteet. Opettajakyselyn tulosten analysoinnista ovat vastanneet rehtori ja vastuuopettaja yhdessä. Kenellä tahansa opettajalla on mahdollisuus tutustua arviointien tuloksiin, sillä opettajainhuoneen kirjahyllyssä on mappi, joka sisältää tuoreimpien arviointikyselyjen alkuperäiset vastauslomakkeet ja tietokonetulosteet. Useimmat opettajat ovatkin selanneet mappia erityisesti juuri opiskelijoiden ja huoltajien antamien avointen vastausten kohdalta.
Varsinaisen tutkimustulosten julkistamisen sekä tulkinnan vastuuopettaja on esittänyt koko opettajakunnalle joko lukion VESO-päivänä ja/tai tavallisesti opettajainkokouksessa.
Tulkinnassa on otettu lähtökohdaksi seuraavat periaatteet:
• avoimuus, rehellisyys ja rohkea itsekritiikki (vaikka analysointi tekisi kipeää)
• tulosten konkretisoiminen ja vieminen käytännöntasolle eli miksi opiskelijat kokevat näin ja näin (tästä seuraa kunkin opettajan itsetutkistelun paikka)
• tavoitteena toiminnan ja työskentelyn todellinen muuttaminen asiakastyytyväisyyden ja tuloksellisuuden parantamiseksi
Erityisesti avointen vastausten analyysi ja "julkistaminen" voi olla vaikeaa, sillä opiskelijat kirjoittavat hyvinkin suorasanaista kritiikkiä eri opettajista, oppiaineista ja kurssien toteutustavoista. Mikäli samalla ongelmalla on frekvenssiä, tulisi asia totta kai ottaa esiin, mutta tuolloin on huomioitava myös opettajan persoona, hänen eheytensä ja asia tulisi siis käsitellä hienotunteisesti. Arvioinnista vastaava törmää jatkuvasti tällaisiin usein hyvinkin vaikeisiin tilanteisiin.
Tulosten tulkinta ja julkistaminen (MIHIN ARVIOINTI JOHTAA?):
Tieto nykyhetken tilasta, vahvuuksista ja heikkouksista.
Johtaa "valokuvattavissa" oleviin muutoksiin - jatkuvaan kehitykseen ja toiminnan tehostumiseen.
Opiskelijakyselyn tuloksia on julkistettu myös vanhempainilloissa. Myös opiskelijoilla itsellään on oikeus saada tietoa tutkimuksen tuloksista. Tuloksia on julkistettu opiskelijoille mm. opo-tunneilla ja oppilaskunnan hallituksen kokouksissa. Tulosten pohjalta oppilaskunta voi olla omalta osaltaan hakemassa rakentavia ratkaisumalleja tutkimuksen esiin nostattamiin tarpeisiin ja ongelmiin. Arvioinnin tulisikin olla avointa siten, että sekä kouluyhteisön sisällä että kaikissa muissakin sidosryhmissä saataisiin rehellistä tietoa tuloksista.
3. Itsearvioinnin anti lukiomme kehittämisessä
Edellä esitellyillä arviointikyselyillä on pyritty selvittämään nimenomaan ns. asiakastyytyväisyyttä. En ole tässä monisteessani käsitellyt sen enempää opiskelijakustannuksia kuin yo-kirjoitusten tulosten vertailuakaan. Sen sijaan erityisesti lukiotamme on kiinnostanut opiskelijoiden, huoltajien ja opettajien tyytyväisyys omaan työympäristöönsä ja työ/opiskeluelämäänsä.
Mikä on ollut varsinainen itsearvioinnin anti kouluyhteisöllemme? Esittelen annin ryhmäkohtaisesti seuraavalla ajatuksella: mikä on arvioinnin anti esim. rehtorille tai opettajalle? Arvioinnin kautta…
REHTORI
- saa relevanttia tietoa oman lukion tilasta tässä ja nyt
- voi tulevaisuuden suunnittelussa ja päätöksenteossa keskittyä yhteisön kehittämisen kannalta keskeisiin alueisiin
- löytää päätöksenteolle perusteita, joihin hän voi tarvittaessa nojata
- huomaa ajoissa puuttua ongelmatilanteisiin niiden ratkaisemiseksi rakentavalla, kaikkia osapuolia tyydyttävällä tavalla
- voi esim. opiskelijakyselyn tulosten perusteella olla kannustamassa opettajakuntaa tai toisaalta osoittaa asioita, joissa kaivataan parannusta
- tiedostaa paremmin opettajakunnan ja koko työyhteisön hengen ja voi tarvittaessa etsiä keinoja yhteishengen parantamiseksi
- saa osviittoja johtaa yhteisöä tuloksellisesti, siten että toiminta on tehokasta, vaikuttavaa ja taloudellista
OPETTAJA
- osaa ottaa huomioon opiskelijan ehkä hyvinkin erilaisen näkemyksen lukio-opiskelusta ja elämän prioriteeteista
- löytää oman opetustyönsä vahvuudet ja heikkoudet
- kykenee tarpeen mukaan ja halutessaan muovaamaan opetustaan opiskelijoiden ja huoltajien toiveita vastaavammaksi
- kohtaa todellisen tilanteen, joka saattaa tuntitilanteessa jäädä piiloon, esim. purnaaminen tai arkuus autoritäärisen opettajan tunneilla
- voi käytännössä etsiä kaikkia osapuolia tyydyttävämpiä ratkaisuja työssään, esim. monipuolistaa opetusmenetelmiään, vähentää opiskelijan työtaakka kotiläksyjen osalta, antaa positiivista palautetta tunneilla
- löytää suunnan haluamalleen kehittymiselleen omassa työssään
- kohtaa työyhteisönsä, erityisesti kollegojensa käsitykset, jotka saattavat olla ristiriidassa oletettujen käsitysten kanssa
OPISKELIJA
- saa ilmaista sekä positiiviset että negatiiviset tunteensa ja kokemuksensa avoimesti (jo tämä asioiden sanoiksi pukeminen auttaa)
- tiedostaa oman asenteensa lukio-opiskeluun ja ymmärtää sen vaikutuksen omaan työskentelyyn, menestymiseen
- tutustuu oman ryhmänsä ja laajemmin vuosiryhmänsä käsityksiin ja voi peilata omiaan kokonaisuuteen ("muutkin valittavat samasta", "muut kokevatkin asian toisin" -periaatteella)
- pohtii omaa minäkuvaansa ja tulevaisuudensuunnitelmiaan
- kokee voivansa vaikuttaa asioihin, erityisesti jos ja kun hän huomaa mielipiteensä tulleen kuulluksi työskentelyn muuttuessa käytännössä
Vastaavanlaisia pohdintoja voisi esittää arvioinnin annista myös huoltajien ja muiden sidosryhmien näkökulmasta. Keskeistä kuitenkin on juuri em. kolmelle ryhmälle tuleva anti, sillä käytännössä koulutyö pyörii heidän ympärillään. Joissakin vastauksissa kohderyhmästä riippumatta kyseenalaistettiin toki koko tällainen itsearviointi.
Miten sitten arvioinnin antia on hyödynnetty? Kirjoitan nyt todellisesta käytännöstä Äänekosken lukiossa. Esitän ensin arvioinnissa esiin tulleita koulumme ongelmakohtia ja sitten tavan, jolla asiaan on mahdollisesti puututtu.
Suurimman hyödyn arviointi on tuonut lukioyhteisön tilan hahmottamisessa. Tiedämme nyt omat heikkoutemme ja vahvuutemme. Vahvuuksia on runsaasti ja niiden kautta saatu positiivisuus on vaikuttanut myönteisesti työyhteisön ilmapiiriin. Keskeistä tuloksellisuuden ja asiakastyytyväisyyden lisäämisessä on tietysti heikkouksiin puuttuminen. Selkeitä heikkouksia ovat olleet kohderyhmien mielestä erityisesti seuraavat asiat (koottu sekä strukturoidusta että strukturoimattomasta osiosta):
Opiskelijakyselyt:
(1) lukiossa opiskeltavien asioiden etäisyys todellisesta elämästä
(2) opiskelumotivaation puuttuminen useilta opiskelijoilta
(3) opetusmenetelmien yksipuolisuus
(4) vähäiset mahdollisuudet vaikuttaa tuntiopetukseen
(5) opetustilojen epäajanmukaisuus
(6) yksittäisissä aineissa esiintyvät ongelmat opettajan ja opiskelijoiden välillä
(7) kotitehtävien liiallinen määrä joissakin oppiaineissa
(8) myönteisen palautteen vähyys joidenkin aineiden tunneilla
(9) pitkät työpäivät (jopa 8-17) ja paljon hyppytunteja
(10) opetusryhmät ovat liian suuria (monilla kursseilla 30-36, joskus yli 36)
Opettajakysely:
(2) oppilaiden innostuksen puuttuminen tuntityöskentelyssä
(5) opetustilojen epäajanmukaisuus
(11) vähäinen yhteydenpito huoltajiin
Huoltajakysely:
(7) kotitehtävien liiallinen määrä joissakin oppiaineissa
(9) jaksojen ja päivien liian suuret tuntimäärävaihtelut sekä liian pitkät päivät
(6) yksittäisissä aineissa esiintyvät ongelmat opettajan ja opiskelijoiden välillä
(12) koeviikon kokeminen liian raskaana huolettavan osalta
(11) yhteydenpitoa koulun ja kodin välillä erityisesti ongelmatilanteissa lisättävä
Virka- ja luottamushenkilöt:
(5) opetustilojen epäajanmukaisuus
- (huom. yleensä virka- ja luottamushenkilökyselyssä heijastui tietämättömyys juuri Äänekosken lukion tilasta, mm. siksi hyvin vähän erityistä antia)
Äänekosken kauppaoppilaitos:
(3) opetusmenetelmien yksipuolisuus (jollaiseksi lukio-opetus arveltiin)
- kritiikkiä lähinnä opiskelijoiden tottumisesta liian valmiiseen, ts. lukiossa annettavan opetuksen tulisi olla enemmän omatoimista
Suurin osa kritiikistä osuu yksittäiseen tuntityöskentelyyn. Opettajakuntaa on informoitu tilanteesta, mutta lopullinen vastuu arvioinnin vaikutuksesta työskentelyyn jää kunkin opettajan harkinnanalaiseksi. Erityisesti kohdat 1, 3, 4, 6, 7, 8 ja osittain myöskin 2 ovat tällaisia. Varsinaista yhteistä linjaa ei em. kohdissa ole otettu, mutta esimerkiksi kotitehtävien ja opiskelijoiden työmäärän suhteen on pyritty, mikäli mahdollista, tasaamiseen, siis tiedostamaan toisissa aineissa olevat opiskelijoiden työmäärät. Tutkielmien ja portfolioiden laatimisesta neuvotellaan opettajien ja opiskelijoiden kanssa, jotta samalla opiskelijalla ei olisi yhdessä jaksossa esimerkiksi kolmea laajaa työtä. Tutkielmien määrä on pyritty pitämään yhdessä tai korkeintaan kahdessa per jakso. Opetusmetodien yksipuolisuudesta on keskusteltu, mutta totta kai siinäkin harkinta jää yksittäiselle opettajalle. Oppilaskunnan hallituksen osuutta mm. kohdan 6, opiskelijoiden ja yksittäisen opettajan välisissä ongelmatilanteissa on käytetty useiden yksittäisten opiskelijoiden tuotua asioita hallituksen puitavaksi. Tällöinhän kuvioon astuvat opiskelija(t), ao. opettaja ja rehtori.
Opetuksen puitteisiin liittyvät työjärjestysasiat (9) sekä ryhmäkoot (10). Resurssit (eli pääasiassa raha) sanelevat hyvin pitkälti työjärjestykseen ja käytäntöön liittyviä asioita. Valinnaisuutta on jouduttu karsimaan, kursseja ei ole voitu aina toteuttaa edes 15 opiskelijankaan määrällä (paitsi kaksi tai kolmevuotisperiodissa). Ryhmäkoot on jouduttu pitämään suurina juuri taloudellisten resurssien vähyyden vuoksi. Opiskelijoiden työjärjestysten rationalisointia on pyritty ohjaamaan sekä rehtorin että ryhmänohjaajien toimesta. Jotta hyppytunteja ei pääsisi syntymään työjärjestyksiin liikaa, on opiskelijoita ohjattu täyttämään aukot kurssitarjottimelta mahdollisimman järkevillä, opiskelijan suunnitelmiin soveltuvilla valinnoilla.
Opetustilojen epäajanmukaisuus (5) oli muutaman vuoden ajan kaikkein voimakkaimmin esiin noussut asia kyselyissä. Hiskinmäen koulun remontin myötä ongelma on poistunut/poistumassa. Opiskelijat ovat olleet erittäin tyytyväisiä uusiin tiloihin, joiden rakentamisessa kuultiin oppilaskunnan ääntä (mm. kirjastolukusali, kaapit opiskelijoille). Arvioinnin tuloksia voitiin hyödyntää myös remontin tärkeyden ja kiireellisyyden osoittamisessa. Uusimpien (1999) tutkimusten mukaan opetustiloihin ollaan nykyisin hyvin tyytyväisiä ja niitä pidetään ajanmukaisina.
Kodin ja koulun väliseen yhteydenpitoon (11) on kiinnitetty erityistä huomiota. Opettaja ottaa yhteyttä vanhempiin, mikäli opiskelija on poissa pitkään ilman perusteltua syytä. Vastaavasti arvioinnin palautteiden pohjalta lisättiin yksi vanhempainilta aiempien kahden tilalle siten, että jokaisen vuosikurssin huoltajat kutsutaan nykyisin omaan vanhempainiltaan.
Huoltajilla esiintyvä huoli koeviikon raskaudesta (12) ei ole ollut juurikaan opiskelijoiden omana huolenaiheena. Koeviikon suunnitteluun on kuitenkin kiinnitetty lisähuomiota, niin että esimerkiksi reaaliaineita ei olisi viikolla peräkkäisinä päivinä, koeviikon jakaisi viikonloppu, jonka opiskelija voi halutessaan käyttää lepäämiseen tai kokeisiin lukuun, ja varsinaista opetusta (valmistautumis- ja palautustuntien lisäksi) ei koeviikolla anneta.
Itsearviointiprosessi on ollut erityisesti siihen tiiviisti osallistuneille antoisaa ja hyödyllistä - "oppia ikä kaikki". Itsearviointi ei ole suinkaan kevyt rutiininomainen toistuva toimitus lukiotyöskentelyssä, vaan työskentelyn tiivis osa. Keveyden sijaan arviointi saattaakin tuntua raskaalta, sillä se syö runsaasti työtunteja ja tekee kipeää, kun opettaja joutuu kohtaamaan kritiikkiä. Arvioinnissa ei laiteta kritiikille alttiiksi niinkään lukio-instituutiota kuin verta ja lihaa olevia ihmisiä - rehtoria ja opettajakuntaa, ja heitäkin nimenomaan yksilöinä.
Äänekosken lukion toteuttama itsearvointimenetelmä on vain yksi monista mahdollisista. Emme myöskään ole sitoutuneet tiettyihin kaavamaisiin kyselylomakkeisiin, vaan tarvittaessa kysymyksiä voidaan muuttaa (vaikka vertailu aiempiin arviointikyselyihin vaikeutuisikin). Koulun itsearvioinnissa näyttelevät tärkeää osaa juuri tehokkaasti toimiva työryhmä sekä arvioinnin vastuuhenkilö. Työryhmällä on oltava valmiudet kokoontua tarvittaessa jatkamaan arvioinnin kehittämistyötä, uudistamaan kyselylomakkeita jne. Tarkoituksena ei ole kulkea sieltä, missä aita on matalin, vaan sieltä, mistä on lyhin ja paras tie päämäärään - kasvuun. Jokaisen lukion tuleekin löytää oma, juuri itselleen sopiva tapa koota tietoa olemisen tilastaan, vahvuuksistaan ja heikkouksistaan.
Nykyisin näen arvioinnin huomattavasti kokonaisvaltaisemmin. Liki viisi vuotta arviointityötä on opettanut palaamaan myös ns. käytännön tarkkailuun, silmien ja korvien aukipitämiseen. Monet asiat, jotka eivät tule esiin kyselylomakkeilla, kuullaankin opettajanhuoneen kahvikeskusteluissa tai opiskelijoiden kanssa abiristeilyllä. Tämä ns. arkinen arviointi ei täytä tieteen kriteereitä, mutta on arvokas lisä systemaattiselle arvioinnille. Lukion itsearviointi on kokonaispaketti, johon voidaan sisällyttää kaikki mahdollinen lukiotyöskentelyä ja -toimintaa koskeva arviointi. Äänekoskella viime vuosina ovat tällaisia olleet mm. lääninhallituksen tai muiden laajempien instituutioiden (Stakes) teettämät arvioinnit (opiskelija-arvioinnit omasta lukiosta, terveys- ja päihdekyselyt), kaupungin sekä ns. kaupungin koulutoimen yhteistyöryhmän teettämät koko koululaitosta koskevat arvioinnit opettajakunnalle, oppilaanohjaukseen liittyvät tulohaastattelut ja toisaalta abien tulevaisuuskartoitukset, yksittäisen opettajan omasta kurssistaan teettämät arvioinnit, oppilaskunnan hallituksen ja toisaalta yksittäisten opiskelijoiden haastattelut jne. Arviointi on opettanut minulle vastuuhenkilönä nimenomaan kulkemaan jatkuvasti kuulevin korvin. On mielenkiintoista huomata, kuinka kyselyissä esiin nousseet asiat näkyvät käytännössä, kuinka osa käytännössä näkyvistä tärkeistäkään asioista ei tule esiin kyselytutkimuksissa ja toisaalta on hienoa nähdä, kuinka koulu muuttuu ja kehittyy haluttuun suuntaan, kun arvioinnin anti viedään käytännön lukioelämään ja työskentelyyn. Pelkkä arviointi, ilman tulosten rehellistä analyysiä ja tulosten vaikuttamista käytäntöön, on ajanhukkaa. Lukion ja sen työntekijöiden tuleekin olla tarvittaessa valmiita muutokseen. Muutos on lopultakin kasvua ja kasvuun kuuluu kipuja.
PAHOITTELEN LIITTEIDEN PUUTTUMISTA NETTIVERSIOSTA. MIKÄLI HALUAT TUTUSTUA KYSELYLOMAKKEISIIN JA
KYSELYJEN TULOKSIIN, LÄHETÄ OSOITTEESI SÄHKÖPOSTITSE MINULLE. LÄHETÄMME KOKO MATERIAALIN SINULLE POSTITSE.
LIITTEET
1. Äänekosken lukio - Mitä mitataan ja miten? Tuloksellisuus 1/96
2. Äänekosken lukion opetussuunnitelman toiminta-ajatus ja opetuksen tavoitteet
3. Koulun itsearvioinnin kysymyslomake: opiskelijakysely (strukturoitu ja strukturoimaton osio)
4. Koulun itsearvioinnin kysymyslomake: opettajakysely
5. Arvio asiakastyytyväisyydestä: huoltajat
6. Arvio asiakastyytyväisyydestä: Äänekosken kauppaoppilaitos (vastaanottava oppilaitos)
7. Arvio asiakastyytyväisyydestä: virka- ja luottamushenkilöt
8. Uskonnot Suomessa (UE5) kurssin arviointikysely
9. Arviointien yhteenveto 3abc 1999 tulosmatriisi
10. Itsearviointi 3A280199 ryhmäkohtaiset tulokset
11. Kolmannen vuoden opiskelijoiden itsearviointi tammi-helmikuu 1999, avoimet vastaukset
12. Uskonnot Suomessa (UE5) kurssin arviointikyselyn tulokset
