Pisa-testi on nerokkaasti markkinoitua koulutusbisnestä — tiedettä testitulokset eivät ole
Jani Kaaro
12/15/2023
Lukijoiden tuella
Viime päivinä on keskusteltu paljon Suomen Pisa-tuloksista – kuten tehdään joka kolmas vuosi. Näin ei tehdä vain Suomessa, vaan lähes jokaisessa Pisa-ohjelmaan osallistuvassa maassa. Lähes jokaisessa maassa tulokset ovat aina shokki ja johtavat lähes jokaisessa maassa keskusteluun siitä, miten koulujärjestelmää voisi kohentaa, jotta se tuottaisi parempia Pisa-tuloksia.
Hämmästyttävän vähän kysellään kuitenkin sitä, miksi Pisa-tulokset ovat niin tärkeitä ja johtavatko tulokset oikeasti hyötyihin, joilla Pisa-ohjelma on itseään markkinoinut. Harvinaisen vähän on uutisoitu myöskään Pisa-ohjelman kritiikistä, jota löytyy tieteellisestä kirjallisuudesta erittäin paljon. Esimerkiksi vuonna 2014 kymmenet akateemiset tutkijat ympäri maailman julkaisivat Guardianissa Andreas Schleicherille, Pisa-ohjelman johtajalle, osoitetun avoimen kirjeen, jossa kritisoitiin Pisa-ohjelman vaikutuksia eri maiden koulutusjärjestelmiin. Myöhemmin saman vetoomuksen on allekirjoittanut yli kaksituhatta akateemista tutkijaa 40 maasta.
Hämmästyttävän vähän kysellään, miksi Pisa-tulokset ovat niin tärkeitä ja johtavatko ne oikeasti hyötyihin, joilla Pisa-ohjelma on itseään markkinoinut.
Hyvä tapa ymmärtää Pisaa ja sen suosiota on tutustua hieman siihen, mitä oli ennen OECD:n kehittämää Pisaa. Silloin opiskelijoita arvioitiin IEA:n (International Association for the Evaluation of Educational Achievement) kehittämillä testeillä, joita olivat esimerkiksi matematiikkaa ja luonnontieteitä testaava TIMMS, lukutaitoa testaava PIRLS ja kansalaistaitoja testaava ICCS. Nämä ovat käytössä edelleen.
Kun Pisa lanseerattiin, sen piti löytää itselleen markkinarako, jolla se erottui edeltävistä testeistä. Tämän se löysi väittämällä, että Pisaa edeltävät testit keskittyivät mittaamaan sitä, miten hyvin oppilaat olivat oppineet opetussuunnitelman sisältöjä, mutta Pisa mittasi mitä tapahtuu tästä eteenpäin: miten hyvin 15-vuotiaat osasivat soveltaa oppimaansa. Se, miten hyvin nuoret sovelsivat oppimaansa puolestaan ennusti sitä, miten he pärjäisivät elämässä ja miten he esimerkiksi sijoittuisivat työelämässä.
Pisa toisin sanoen väitti tunnistaneensa koulutusjärjestelmän sisältä universaalit menestystekijät, joita voidaan mitata. Jos valtion koulutusjärjestelmä tuottaisi oppilaita, jotka hallitsevat nämä menestystekijät, nuoret sijoittuivat hyvin työelämässä ja valtiot pärjäisivät kansainvälisessä kilpailussa. Tämä myyntipuhe — lupaus taloudellisesta menestyksestä — on ollut monille valtioille vastustamaton.
Viimeistään ajatus siitä, että Pisan ulkopuolelle jättäytyminen tarkoittaisi taloudellisesti heikompia kilpailuasetelmia suhteessa naapurimaahan saa yhä uusia valtioita edelleen liittymään ohjelmaan. Pisa on must.
Pisa on menestyksekäs ja kritiikki sitä kohtaan on tullut lähinnä akateemisista norsunluutorneista, joten harva tulee edes kysyneeksi, millaiseen tutkimus- ja todistusaineistoon se perustuu. Toisin sanoen mitä näyttöä on siitä, että Pisa mittaa juuri niitä taitoja, joiden jalostaminen 15-vuotiaana auttaa oppilaita menestymään työelämässä 35-vuotiaana?
Vastaus: ei juuri mitään. Pisa ei ole tieteellinen projekti. Se ei pohjaudu mihinkään systemaattiseen tutkimukseen, joka todistaisi, että Pisa-testin tulokset tietyssä iässä korreloisivat parempana pärjäämisenä tulevaisuuden haasteissa. Pisa on tekijöidensä luomus, ja se perustuu tekijöidensä käsitykseen siitä, millaisia taitoja nuorilla pitäisi olla, että he menestyisivät elämässä. Tänä päivänä nämä väitteet voisi itsessään pistää testiin kun ensimmäiseen Pisa-ohjelmaan osallistuneet nuoret ovat 38-vuotiaita, mutta tällaisia analyyseja ei ilmeisesti ole tehty missään.
Mitä näyttöä on siitä, että Pisa mittaa juuri niitä taitoja, joiden jalostaminen 15-vuotiaana auttaa oppilaita menestymään työelämässä 35-vuotiaana? Vastaus: ei juuri mitään. Pisa ei ole tieteellinen projekti.
Koska Pisa-ohjelmalla ei ole ollut aineistoa, jolla se todistaisi omien mittaustulostensa korreloivan nuorten pärjäämisen kanssa, se on myynyt itseään toisenlaisilla perusteilla. Nämä perustelut herättävät kuitenkin kysymyksen siitä kuinka paljon palturia Pisan nimissä voi puhua ja eikö kukaan valtionhallinnossa tee näille myyntipuheille mitään faktantarkistusta.
Pisa on myynyt ohjelmaansa valtioille väittämällä, että hyvillä testituloksilla Pisassa on suora yhteys valtion taloudelliseen kehitykseen. Pisan vuonna 2010 tilaamassa raportissa esimerkiksi esitettiin väite, jonka mukaan ”25 pisteen nousu OECD-maiden Pisa-tuloksissa seuraavan 20 vuoden aikana tuottaisi OECD-maiden yhteisessä BKT:ssä 115 biljoonan euron nousun 2010-luvulla syntyneiden elinkaaren aikana.”
Uskomatonta tässä väitteessä on se, mihin se perustui. Sen lähtökohtana oli eurooppalaisten oppilaiden testitulokset vuosilta 1964-2003 ja niitä verrattiin kunkin maan taloudelliseen kehitykseen vuosina 1964-2000. Hämmästyttävää tässä on se, että Pisa-ohjelma otettiin käyttöön vuonna 2000, joten suurin osa testiaineistosta ei tullut Pisa-ohjelmasta lainkaan. Mukana on ainoastaan vuoden 2000 Pisa-tuloksia. Taloudellisen kehityksen osalta seuranta loppuu vuoteen 2000, jolloin Pisa vasta aloitettiin.
Aineistolla ei voi järkevästi perustella Pisan paremmuutta, mutta myyntimiehiä se ei ole hidastanut.
Aineistolla ei tietenkään voi mitenkään järkevästi perustella Pisan paremmuutta, koska vuonna 2000 sen testaamat oppilaat ovat olleet 15- vuotiaita ja heiltä on kestänyt toiset 15 vuotta päästä työelämään. Tämä ei kuitenkaan ole estänyt Pisan myyntimiehiä käyttämästä tätä tutkimusta yhtenä tärkeänä perusteluna sille, miksi Pisa on välttämätön ja tarpeellinen työkalu koulumenestyksen mittaamiseen Kirgisiasta Islantiin ja El Salvadorista Suomeen.
Pisan vuonna 2010 julkaisemassa raportissa esitetyt väitteet mittausten ja taloudellisen kehityksen yhteydestä eivät välttämättä edes pidä paikkaansa. Journal of Comparative Education julkaisi vuonna 2017 tutkimuksen, jossa hyödynnettiin raportin lähdeaineistoa, mutta siten, että yhdellä jaksolla tehtyjä mittauksia verrattiin taloudelliseen kehitykseen tulevilla jaksoilla – jolloin ikäluokka olisi jo työelämässä. Tässä tutkimuksessa ei löydetty johdonmukaista positiivista trendiä mittaustulosten ja taloudellisen kehityksen välillä.
Japani on pärjännyt Pisa-testeissä aina hyvin, mutta sen taloudesta ei koskaan ole positiivisia uutisia. Entä Suomi — olimme ykkösiä vuonna 2007. Näkyykö se hurjana taloudellisena kehityksenä nyt 16 vuotta myöhemmin?
Ei tarvitse olla edes tutkija tai tutkiva journalisti selvittääkseen itse miten Pisa-tulokset korreloivat taloudellisen kehityksen kanssa. Riittää kun katsoo Pisa-voittajia ja niiden taloudellista menestystä vuosia myöhemmin. Hyvä esimerkki on Japani, joka on pärjännyt Pisa-testeissä aina hyvin, mutta jonka taloudesta ei koskaan ole positiivisia uutisia. Entä Suomi? Jos olimme ykkösiä vuonna 2007, näkyykö se hurjana taloudellisena kehityksenä nyt 16 vuotta myöhemmin, kun tuolloin testatusta ikäluokasta suuri osa on työelämässä? Jos taas katsoo IMF:n top-10 listaa nopeimmin kasvavista talouksista, sieltä löytyy sellaisia maita kuin Palau, Niger, Etiopia, Bangladesh ja Guyana, jotka eivät edes ole Pisa-ohjelmassa.
Mielenkiintoinen näkymä Pisa-testeihin avautuu myös professori Kyung Hee Kimin tutkimuksista. Kimin nimi sinkosi amerikkalaisten tietoisuuteen vuonna 2011 kun hän julkaisi tutkimuksensa amerikkalaisnuorten luovuuden kehityksestä vuosien 1966-2008 välillä analysoimalla niin sanotun Torrance-testin tuloksia. Psykologi Paul Torrancen kehittämä testi on maailman käytetyin luovuutta mittaava testi.
Kimin mukaan tuolloin uskottiin, että älykkyys ja luovuus ovat yhteydessä toisiinsa. Koska älykkyysosamäärä lisääntyi jokaisessa sukupolvessa, oletus oli, että myös luovuus lisääntyisi. Kimin aineisto osoitti kuitenkin muuta: 1990-luvulta lähtien amerikkalaisnuorten luovuus oli lähtenyt laskuun ja oli entistä alempi jokaisella uudella mittauskerralla. Trendi on jatkunut viimeisessä mittauksessa vuonna 2018.
Sittemmin Kim on ottanut käsittelyyn Pisan. Kaksi vuotta sitten hän julkaisi Roeper Review -sarjassa tutkimuksen, jossa analysoitiin vuoden 2015 Pisa-tuloksia hyödyntämällä uudistettua Torrance-testiä. Tutkimuksessa
a) selvitettiin Pisan tiedetestin tulosten suhdetta luovuuteen
Oletko jo tilaaja? Kirjaudu sisään
Lue juttu loppuun
Valitse itse ohitatko maksumuurin vai tuetko toimittajan työtä
Pääset heti lukemaan jutun loppuun
Saat oivaltavat tiedekolumnit sähköpostiisi ennen muita
Päätät tilausmaksusi itse, alk. vain 3,90 € / kk
Mahdollistat tiedekolumnien jatkumisen
Tuet Jani Kaaron journalistista työtä
Pääset heti lukemaan jutun loppuun
Et saa tiedekolumneja sähköpostiisi ennen muita
Et tue Jani Kaaron journalistista työtä
Et mahdollista tiedekolumnien jatkumista
Ohitat maksumuurin ja kirjaudut sisään ilmaiskäyttäjänä
Lukijoiden tuella
"Pidätkö lukemastasi? Tiedekolumnini Rapportissa ovat mahdollisia vain teidän maksavien lukijoiden ansiosta, koska kirjoitan elääkseni.
Kiitos sinulle!"
Jani Kaaro
