Tässä luvussa kuvataan normiaineistolle tehdyt analyysit, normiaineiston tunnusluvut ja jakaumat.
Luvussa kuvataan myös tehtävien luotettavuuden arviointia ja tuloksia.
4.1 Aineiston esikäsittely
Alakoulun DigiLukiseulan normiaineisto on koottu täysin sähköisesti. Tämä on mahdollistanut aineiston luotettavuuden parantamisen tavoilla, jotka eivät ole mahdollisia perinteisillä kynä-paperitehtävillä. Tehtävätulosten lisäksi aineiston valinnassa on käytetty huoltajien tutkimussuostumuksen yhteydessä annettuja taustatietoja oppilaan mahdollisista aistivammoista sekä kielitaustasta. Näiden tietojen perusteella aineistoa on karsittu poistamalla siitä tulokset, jotka ovat selvästi arvaamisen tulosta, sellaiset ääriarvot, jotka vääristäisivät tunnuslukuja sekä niiden oppilaiden tulokset, joiden ensisijainen kotikieli on muu kuin suomi tai joiden aistivamma todennäköisesti vaikuttaa tehtäväsuoriutumiseen.
Arvaajat. Kun yhdistettiin tiedot tehtäviin käytetystä ajasta sekä vastausten oikeellisuusprosentista, voitiin tunnistaa sellaiset vastaajat, jotka ovat edenneet tehtävissä arvaamalla. Koska arvaamalla tehtyjen tehtävien pistemäärät jäivät alhaisiksi eivätkä luotettavasti kuvanneet näiden oppilaiden todellista osaamista, nämä vastaukset poistettiin normiaineistosta. Näin normiaineistosta lasketut tunnusluvat ja niiden perusteella määritellyt raja-arvot vastaavat paremmin todellista ikätason mukaista suoriutumista ja lisäävät arviointimenetelmän kykyä tunnistaa luotettavasti sellaiset oppilaat, joiden suoriutuminen viittaa oppimisvaikeuksien riskiin.
Arvaajiksi määriteltiin suoritukset, jotka olivat sekä selvästi keskiarvoa nopeampia että virheellisempiä. Aikarajallisissa tehtävissä (Luksu, Matsu) käytännössä kaikki, jotka olivat ehtineet kahden minuutin aikarajan sisällä loppuun asti, olivat edenneet arvaamalla. Samoin Täydennä tekstit -tehtävässä keskiarvoa selvästi nopeampi ja virheellisempi tulos laskettiin arvaukseksi. Oikeinkirjoitustehtävässä arvaajat määriteltiin tarkastelemalla laadullisesti heikkojen vastausten tuloksia. Siinä arvatuiksi määriteltiin sellaiset vastaukset, joista enemmän kuin kahteen sanaan tai pseudosanaan oli kirjoitettu sana, joka ei millään tavalla vastannut kuultua sanaa. Arvaajia oli aineistossa kohtuullisen vähän (Luksussa 0,8 %, sanelussa 1,3 %, täydennä tekstit -tehtävässä 3,8 %, Matsu-yhteenlaskussa 3,3 % ja Matsu-vähennyslaskussa 5,2 %).
Poikkeavat havainnot. Jos oppilaan tulos poikkesi hyvin huomattavasti muista tuloksista joko ylös- tai alaspäin, se poistettiin aineistosta, jotta se ei vaikuttaisi liiaksi aineiston keskiarvoon tai keskihajontaan. Tällaisia tuloksia oli kussakin tehtävässä vain yksittäisiä.
Aistivammat. Kolmas syy, jonka vuoksi joidenkin oppilaiden tuloksia on poistettu aineistosta, oli korjaamaton kuulo- (n = 61) tai näkövamma (n = 76), jonka voitiin olettaa vaikuttavan tehtäväohjeiden kuulemiseen tai luettavan materiaalin näkemiseen.
Kielitausta. Edellä kuvattujen syiden lisäksi normiaineistosta poistettiin oppilaat, joiden ensisijainen kotikieli oli jokin muu kuin suomi (n = 422, joka vastaa 5,5 % aineistosta). Suomenkielisiä olivat ne vastaajat, jotka olivat valinneet äidinkielekseen ainoastaan suomen. Oppilaiden kielitaustan yhteys tehtävien tuloksiin on esitelty taulukoissa 4.1-4.6. Niissä käy ilmi, että monikielisyys tai S2-tausta on yhteydessä suomenkielisiä heikompaan suoriutumiseen lukusujuvuudessa, oikeinkirjoituksessa ja luetun ymmärtämisessä pitkin koulupolkua. Yhteen- ja vähennyslaskusujuvuudessa ei kuitenkaan ollut eroa kieliryhmien välillä.
On hyvä huomata, että kielitaustan perusteella normiaineistosta pois karsittu joukko on hyvin heterogeeninen kielitaitonsa ja myös tehtävissä suoriutumisensa suhteen. Monikielisyys tai S2-tausta eivät siis väistämättä heikennä lukemisen ja kirjoittamisen taitoja. Alakoulun DigiLukiseulaa voidaan käyttää myös näiden oppilaiden arvioimiseen, mutta on tärkeää huomata, että arvioinnin tuloksia tulkitessa kielitaito on huomioitava erikseen tulokseen vaikuttavana tekijänä lukemisen ja kirjoittamisen tehtävissä.
Taulukot 4.1. – 4.6
4.2 Taustamuuttujien yhteys testituloksiin
Tunnusluvut. Taulukoissa 4.7-4.12 on esitetty seulontatehtävien tunnusluvut kullakin luokka-asteella. Taulukossa n kuvaa otokseen osallistuneiden oppilaiden lukumäärää, KA kuvaa keskiarvoa ja KH keskihajontaa. Keskiarvo (KA) saadaan, kun lasketaan yhteen kaikkien oppilaiden pistemäärä kussakin tehtävässä ja jaetaan se tehtävän tehneiden oppilaiden määrällä (n). Keskiarvo kertoo siis siitä, miten tehtävässä on kullakin luokalla keskimäärin suoriuduttu. Keskihajonta (KH) kuvaa sitä, minkä verran oppilaiden tulokset keskimäärin poikkeavat keskiarvosta. Jos hajonta on pieni, suurin osa vastauksista sijoittuu lähelle keskiarvoa. Vaihteluväli kertoo otoksen pienimmän ja suurimman pistemäärän eli välin, jolle oppilaiden vastaukset sijoittuvat.
Lukusujuvuuden (Luksu) ja peruslaskusujuvuuden (Matsu) pistemäärät on laskettu vähentämällä oikeiden vastausten lukumäärästä väärien vastausten lukumäärä, jotta arvaamalla ei voi saada korkeaa pistemäärää. Tehtävissä on kuitenkin keskimäärin tehty hyvin vähän virheitä (ks. alla).
Taulukot 4.7-4.12.: Tehtävien tunnusluvut
Virheet. Kuvaajassa 4.1 kuvataan tiivistetysti aikarajallisten tehtävien (Luksu, Matsu) oikeellisuusprosenttia kullakin luokalla. Kuten kuvaajasta näkyy, kaikissa tehtävissä tehdään toisesta luokasta lähtien vain hyvin vähän virheitä: lukusujuvuudessa keskimäärin yli 95 % vastauksista on oikein, yhteenlaskusujuvuudessa yli 90 % ja vähennyslaskusujuvuudessakin lähes saman verran. Ensimmäisellä luokalla virheitä tehdään prosentuaalisesti enemmän, mikä kertoo siitä, että taito on vielä kehittymässä. Näissä sujuvuustehtävissä tulkinnassa kannattaa keskittyä erityisesti lukemisen ja laskemisen nopeuteen, mutta runsaaseen virheiden määrään kannattaa toki kiinnittää huomiota. Karkeasti ottaen voisi sanoa, että jos oppilas tekee yli 5 virhettä sujuvuustehtävässä, tulosta kannattaa tarkastella tarkemmin.
Keskimääräinen virheiden määrä sanelu- ja täydennä tekstit -tehtävissä on laskettavissa suoraan tunnusluvuista, siksi niitä ei ole erikseen raportoitu. Esimerkiksi ensimmäisen luokan sanelussa tulee keskimäärin 6,5 virhettä (kirjoitettujen sanojen määrä, joka on kaikilla 20 vähennettynä oikeiden vastausten keskiarvo = 20 – 13,5).
Kuvaaja 4.1.: Aikarajallisten tehtävien oikeellisuusprosentit luokilla 1-6.
Tehtävien jakaumat. Tehtävien pistemäärien jakaumat on esitetty kuvioissa 4.1-4.28. Kuvioon on merkitty tulosten keskiarvo sekä väritetty alue, joka vastaa yhtä keskihajontaa keskiarvon molemmin puolin. Oppilaista noin 70 % sijoittuu tälle alueelle. Karkeasti ottaen voidaan ajatella, että oppilaat, joiden tulokset sijoittuvat tälle alueelle tai sitä paremmin, suoriutuvat tehtävistä odotetulla tavalla. Se ’häntä’, josta seulatehtävissä ollaan kiinnostuneita, sijoittuu jakauman vasempaan laitaan harmaan alueen ulkopuolelle. Seulassa huolen raja on määritelty 15 persentiiliin, joka vastaa heikointa viittätoista prosenttia tuloksista. Tämä persentiiliraja ei täsmälleen vastaa yhtä keskihajontaa (jonka ulkopuolelle jää normaalijakautuneessa otoksessa 16 %), mutta on hyvin lähellä sitä ja siksi voidaan tulkita kutakuinkin samalla tavoin. Tarkat 15 persentiilin rajat kussakin tehtävässä näkyvät taulukoissa 5.1-5.6. Kun halutaan tarkastella oppilaskohtaisia tuloksia suhteessa normiaineistoon, kannattaakin pisteitä verrata luvun 4 persentiilitaulukoihin, joiden mukaan tulokset on esitetty myös Alakoulun DigiLukiseulan palvelimella esitetyissä koonneissa opettajan käyttöliittymän kautta.
Jakaumakuvioista näkyy, että lukusujuvuuden (Luksu, kuviot 4.1-4.6) ja peruslaskutaidon sujuvuuden (Matsu yhteenlasku, kuviot 4.23-4.28) pistemäärien jakaumat noudattavat hyvin normaalijakaumaa. Sen sijaan oikeinkirjoituksen jakauma (kuviot 4.7-4.12) on ensimmäisen luokan jälkeen vahvasti vino vasemmalle. Se tarkoittaa sitä, että suurin osa oppilaista osaa kirjoittaa lähes kaikki sanat oikein, ja vain pieni osa oppilaista jää selvästi kauemmas keskiarvosta. Tämä vaikuttaa myös keskihajontaan, joka on oikeinkirjoituksessa tyypillisesti melko pieni. Oikeinkirjoittamisessa erottuu kuitenkin selkeästi pitkä häntä keskiarvon alapuolella, ja tehtävä erottelee hyvin ne oppilaat, joiden oikeinkirjoitus sujuu heikosti. Tehtävä soveltuukin hyvin seulontatarkoitukseen. Täydennä tekstit -tehtävän jakaumat (kuviot 4.13-4.16) ovat myös vasemmalle vinoja, mikä kertoo siitä, että suurin osa oppilaista hallitsee luetun ymmärtämisen taidon hyvin. Myös tässä tehtävässä mielenkiinnon kohteena on erityisesti jakauman häntä, joka sisältää niiden oppilaiden tulokset, joiden luetun ymmärtämisen taito on keskimääräistä selvästi heikompi. Tehtävän erottelukyky on hyvä, eli se auttaa löytämään oppilaat, joiden luetun ymmärtämisessä on tuen tarvetta. Kaikki edellä kuvatut tehtävät soveltuvat siis hyvin seulontatarkoitukseen eli niiden oppilaiden tunnistamiseen, joiden taidot jäävät keskitasoa heikommiksi ja joiden osaamista on tärkeää arvioida tarkemmin.
Sukupuolierot. Taulukoissa 4.13-4.18 on kuvattu tyttöjen ja poikien suoriutuminen Alakoulun DigiLukiseulan tehtävissä. Niistä käy ilmi, että kolmannelta luokalta eteenpäin tytöt suoriutuvat poikia paremmin lukusujuvuudessa ja luetun ymmärtämisessä. Oikeinkirjoituksessa ero näkyy jo ensimmäiseltä luokalta lähtien. Yhteenlaskusujuvuudessa pojat sen sijaan suoriutuvat tyttöjä paremmin ensimmäiseltä kuudennelle luokalle saakka. Vähennyslaskussa pojat ovat tyttöjä parempia ensimmäisellä ja toisella luokalla, mutta ero katoaa kolmannesta luokasta lähtien. Voidaan siis todeta, että tytöt suoriutuvat keskimäärin poikia paremmin luku- ja kirjoitustaidon tehtävissä, pojat puolestaan tyttöjä paremmin peruslaskutoimitusten sujuvuudessa, erityisesti yhteenlaskussa.
Taulukko 4.13-4.18: Tyttöjen ja poikien suoriutuminen tehtävissä
4.3 Tehtävien luotettavuus ja pätevyys
Luotettavuudella eli reliabiliteetilla tarkoitetaan sitä, että tehtävät arvioivat kerrasta toiseen samaa asiaa samalla tavoin. Kun tehtävä on luotettava, mittauksen tulos toistuu johdonmukaisena arviointikerrasta toiseen, elleivät arvioitavan taidot ole muuttuneet mittauskertojen välillä. Luotettavuus tarkoittaa myös sitä, että saman tehtävän eri osat arvioivat taitoa samalla tavalla.
Alakoulun DigiLukiseulan luotettavuus perustuu ensinnäkin siihen, että menetelmässä käytetään tehtävätyyppejä, jotka on osoitettu aiemmissa tutkimuksissa luotettaviksi (Paananen ym., 2019). Luotettavuus on varmistettu myös tehtävien kehitysvaiheessa analysoimalla tehtäväosioita ja varmistamalla, että tehtävät sopivat malliin ja mittaavat siis kaikki mahdollisimman pitkälle samaa asiaa (ks. luku 3.1. Esitutkimukset). Luotettavuutta lisää se, että arviointitehtävien toteutus ja pisteytys on kaikille samanlainen arvioijasta riippumatta.
Tehtävän sisäistä johdonmukaisuutta voidaan arvioida tilastotieteellisesti myös laskemalla tehtävälle reliabiliteettikerroin. Mitä lähempänä numeroa 1,0 kerroin on, sitä parempana tehtävän sisäistä luotettavuutta voidaan pitää. Yleensä reliabiliteettikertoimia yli 0,7 pidetään vähimmäisrajana, ja 0,8 ylittävät reliabiliteettikertoimet tulkitaan hyviksi. Tämänkaltainen reliabiliteettikerroin voidaan kuitenkin laskea vain sellaisista tehtävistä, jotka tutkittavat ovat tehneet kokonaan. Koska aikarajallisissa sujuvuustehtävissä lapset ovat ehtineet tehdä eri määrän tehtävän osioita, reliabiliteettikertoimet voidaan laskea vain oikeinkirjoituksen ja luetun ymmärtämisen osalta. Nämä Cronbachin alfa -reliabiliteettikertoimet on raportoitu taulukossa 4.19, josta nähdään, että sekä oikeinkirjoituksen että luetun ymmärtämisen luotettavuus ovat vähintään riittävällä ja useimmiten hyvällä tasolla.
Taulukko 4.19: Oikeinkirjoituksen ja Luetun ymmärtämisen tehtävien reliabiliteetti (Cronbachin alfa)
(Taulukko tulossa myöhemmin.)
Tuen tarpeen tunnistamisen menetelmässä luotettavuus liittyy myös kunkin tehtävän kykyyn löytää mahdollisimman hyvin suoritukset, jotka ovat selvästi keskimääräistä heikompia. Seulan ei siis välttämättä tarvitse pystyä erottelemaan hyviä ja keskitasoisia oppilaita toisistaan mitattujen tehtävien perusteella, mutta sen tulisi löytää ne, joiden osaaminen jää heikoksi ja joilla on selkeää tuen tarvetta.
Käsikirjan luvussa 4.2 on kuvattu kunkin DigiLukiseulan muuttujan jakaumakuviot eri luokilla. Jakaumista nähdään, että aikarajallisten lukusujuvuuden (Luksu) ja laskusujuvuuden (Matsu) tehtävien jakaumat noudattavat pitkälti normaalijakaumaa ja pystyvät siten erottelemaan hyvin eritasoisia osaajia toisistaan. Oikeinkirjoituksen tehtävien jakaumat ovat kuitenkin jo heti ensimmäiseltä luokalta lähtien vinoja siten, että suurin osa oppilaista kirjoittaa lähes kaikki sanat oikein. Tämä on suomenkielisessä aineistossa hyvin tyypillinen tulos (ks. luku 1). Jakauman vasemmassa laidassa erottuu kuitenkin selkeästi ”häntä”, joka kuvaa heikkoa osaamista. Näin ollen tehtävän avulla voidaan löytää ne oppilaat, joilla on oikeinkirjoittamisen haasteita. Myös luetun ymmärtämisen tehtävässä (Tekstin täydentäminen) jakauma on vino kohti maksimipisteitä, ei kuitenkaan yhtä voimakkaasti kuin oikeinkirjoituksen tehtävässä. Myös luetun ymmärtämisen tehtävän kyky löytää tehtävässä heikosti suoriutuneet on hyvä.
Tehtävän pätevyys eli validiteetti tarkoittaa sitä, että tehtävä mittaa sitä, mitä sen on tarkoituskin mitata. Pätevyydestä voidaan huolehtia rakentamalla tehtävät niin, että ne mittaavat mahdollisimman puhtaasti arvioitavaa asiaa, eivätkä muiden taitojen rajoitukset vaikuta kohtuuttomasti tehtäväsuoriutumiseen. Tämän lisäksi pätevyyttä voidaan arvioida esimerkiksi vertaamalla tehtävää toisiin tehtäviin, joiden tiedetään mittaavan samaa ilmiötä. Tehtävien pilotoinnin ja normien keräämisen yhteydessä kerättiin tietoa myös oppilaiden suoriutumisesta tehtävissä, joita on perinteisesti käytetty arvioimaan luku- ja kirjoitustaitoa. Vertasimme DigiLukiseulan tehtäväsuoriutumista näihin perinteisempiin kynä-paperitehtäviin kullakin luokalla. Näiden tehtävien välistä yhteyttä (korrelaatiota) kullakin luokka-asteella kuvataan taulukossa 4.20. Kaikki korrelaatiot olivat erittäin merkitseviä, mikä kertoo siitä, että Alakoulun DigiLukiseulan tehtävät mittaavat luotettavasti samaa asiaa kuin muut vastaavat tehtävät. Vertailutehtävät esitellään tarkemmin alla kunkin seulatehtävän validiteetin tarkastelun yhteydessä.
Taulukko 4.20: DigiLukiseulan tehtävien korrelaatiot niitä vastaaviin kynä-paperitehtäviin.
Taulukko tulossa myöhemmin.
Lukusujuvuus (Luksu). Lukusujuvuuden tehtävä on rakennettu niin, että sen sisältämät virkkeet ovat rakenteeltaan yksinkertaisia, eivät sisällä erityissanastoa eivätkä edellytä laajaa yleistietämystä. Tällä tavoin on pyritty huolehtimaan siitä, että tehtävä mittaa erityisesti lukusujuvuutta eikä esimerkiksi sanavarastoa tai työmuistia. On kuitenkin huomioitava, että tehtävässä on teknisen lukemisen sujuvuuden lisäksi luetun ymmärtämisen komponentti, koska oppilasta edellytetään reagoimaan virkkeiden sisältöön vastaamalla, onko väittämä totta vai ei. Kielitaidolla ja luetun ymmärtämisen taidoilla voikin olla vaikutusta tehtäväsuoriutumiseen, mikä näkyy tutkimusaineistossa siten, että monikieliset oppijat suoriutuvat tehtävästä suomea äidinkielenään puhuvia heikommin. Lukusujuvuuden tehtävää verrattiin normitettuihin lukusujuvuuden tehtäviin, jotka sisälsivät sanojen, merkityksettömien sanojen sekä tekstin ääneen lukemista (AKI; Heikkilä ym., 2024, ks. taulukko 4.20). Yhteyttä luetun ymmärtämiseen tarkasteltiin DigiLukiseulan luetun ymmärtämisen tehtävän (Täydennä tekstit) avulla (taulukko 4.20). Vahvimmin yhteys näkyi lukusujuvuuden tehtäviin, ja niistä erityisesti tekstin lukemisen tehtävään. Yhteys luetun ymmärtämiseen oli tilastollisesti merkitsevä, mutta selvästi pienempi kuin lukusujuvuuden tehtäviin. Voidaan siis ajatella, että Luksu-tehtävässä on mukana luetun ymmärtämisen komponentti, mutta se mittaa ensisijaisesti lukusujuvuutta.
Oikeinkirjoitus (sanelut). Tietokoneella kirjoitetun sanelun voidaan suurelta osin olettaa vastaavan perinteistä kynä-paperisanelua. On kuitenkin mahdollista, että tietokoneella kirjoittaminen poikkeaa käsin kirjoittamisesta varsinkin pienemmillä lapsilla, joille näppäimistöllä kirjoittaminen ei ole erityisen tuttua. Oikeinkirjoitusta verrattiin pienellä aineistolla samojen sanojen käsin kirjoittamiseen. Syksyllä 2020 kerätyssä pilottiaineistossa kolmannen ja neljännen luokan oppilaat (n = 307) kirjoittivat samat sanelun sanat ja merkityksettömät sanat sekä käsin että tietokoneella. Näiden tehtävien välinen ei-parametrinen korrelaatio osoittautui tilastollisesti merkitseväksi (r = .562, p<.001), mikä kertoo molemmilla tavoilla toteutetun sanelun mittaavan samaa asiaa. Tulosten keskiluvut eivät eronneet toisistaan merkitsevästi (Wilcoxonin merkkitesti: Z = 1.25, p. = .211) eli käsin ja tietokoneella kirjoitettiin yhtä hyvin. Kuten yllä on todettu, sanelutehtävän sisäinen luotettavuus osoittautui hyväksi (taulukko 4.19) siitäkin huolimatta, että tehtävän variaatio vähenee kirjoitustaidon kehityksen myötä.
Luetun ymmärtäminen (Täydennä tekstit). Luetun ymmärtämistä verrattiin Ala-asteen lukutestiin (ALLU; Lindeman, 1998) niiden lasten osalta, joille oli koulussa tehty molemmat luetun ymmärtämisen tehtävät (n = 126). Tämä pieni otos osoitti, että Täydennä tekstit -tehtävä on tilastollisesti erittäin merkitsevästi yhteydessä perinteisesti käytetyn luetun ymmärtämisen tehtävän tuloksiin (taulukko 4.20).
Lisäksi Espoon kaupungissa tehtiin kasvun ja oppimisen toimialan toimesta keväällä 2024 pilottitutkimus, johon osallistui 336 neljäsluokkalaista oppilasta, jotka tekivät sekä Alakoulun DigiLukiseulan tehtävät että ALLU-testin luetun ymmärtämisen tehtävät. Tällä valikoimattomalla aineistolla Täydennä tekstit -tehtävä ja ALLU-testin luetun ymmärtämisen tehtävien tulokset vastasivat hyvin toisiaan (r = .80). (Kankaanpää, henkilökohtainen tiedonanto, 17.6.2025). Vaikka Täydennä tekstit -tehtävä on erityyppinen luetun ymmärtämisen tehtävä kuin ALLU, tehtävien voidaan ajatella mittaavan samaa asiaa.
Peruslaskutaitojen sujuvuus (Matsu yhteenlasku ja vähennyslasku). Yhteen- ja vähennyslaskusujuvuutta (Matsu) verrattiin vastaaviin aikarajallisiin kynä-paperitehtäviin (Koponen & Mononen, 2010a; 2010b). Korrelaatiot (taulukko 4.20) osoittivat, että sähköiset yhteen- ja vähennyslaskutehtävät vastasivat paperisia vertailutehtäviään hyvin. Yhteenlaskutehtävien korrelaatiot olivat vähennyslaskua korkeammat luokilla 1–5 ja kuudennella luokalla kutakuinkin samansuuruiset. Tuloksia tulkitessa on hyvä huomioida, että aineisto on luokilla 3–6 pienempi kuin muissa tehtävissä, koska Matsu oli mukana vain toisessa kohortissa (keväällä 2022), jossa kerättiin tämän ikäryhmän aineistoa. Siitä huolimatta korrelaatiot olivat erittäin merkitseviä jokaisessa ikäryhmässä.
Lähteet:
Heikkilä, R., Korpivaara, P., Karhunen, R., Kettunen, A., Eklund, K., Nivala, A.-B., & Salmi, P. (2024). AKI – Luku- ja kirjoitustaidon arviointimenetelmä alakoulun luokille 1-6. Yksilöllinen arviointi ja oppimisen seuranta. Niilo Mäki Instituutti.
Koponen, T., & Mononen, R. (2010a). The 2-minute addition fluency test. [2 minuutin yhteenlaskusujuvuuden tehtävät]. Julkaisematon.
Koponen, T., & Mononen, R. (2010b). The 2-minute subtraction fluency test [2 minuutin vähennyslaskusujuvuuden tehtävät]. Julkaisematon.
Lindeman, J. (1998). Ala-asteen lukutesti ALLU. Turun yliopisto, Oppimistutkimuksen keskus.