4.1 Poistetut tiedot
DigiLukiseulan aineisto on koottu täysin sähköisesti. Tästä syystä on pystytty hyödyntämään digitaalisia mahdollisuuksia aineiston luotettavuuden parantamiseksi. Erityisesti tehtävien aikamuuttujia on pyritty tarkastelemaan siten, että tunnistettaisiin sellaiset opiskelijat, jotka eivät ole tehneet tehtäviä ohjeiden mukaisesti. Näiden opiskelijoiden tunnistaminen parantaa koko seulan luotettavuutta, sillä usein he saavat pienemmät pistemäärät ja vääristävät normiaineistossa erityisesti heikkoa päätä, jolloin ne, joilla on todellisia lukemisen ja kirjoittamisen vaikeuksia, jäävät tunnistamatta.
Lisäksi normiaineistosta poistettiin vieraskieliset opiskelijat. Opiskelijan kielitaustan vaikutus tehtävien tuloksiin on esitelty taulukossa 4. Suomenkielisiä (taulukossa merkinnällä S1 eli suomi ensimmäisenä kielenä) ovat tässä aineistossa ne tutkittavat, jotka ovat valinneet äidinkielekseen ainoastaan suomen. Kaksikieliset ovat puolestaan valinneet äidinkielekseen suomen lisäksi jonkin toisen kielen, esimerkiksi ruotsin, saamen tai venäjän. S2 – eli suomi toisen kielenä -tutkittavat ovat valinneet äidinkielekseen jonkin muun kielen kuin suomen.
Taulukko 4. Kielitaustan vaikutus tehtävien tuloksiin
Yllä olevasta taulukosta on nähtävillä se, että kaikki ryhmät eroavat toisistaan tilastollisesti merkitsevästi. Ryhmien välisten erojen efektikoot ovat suuria erityisesti S1- ja S2 -kielisten (0.80–1.23) välillä. Efektikoko (effect size) kuvaa sitä, kuinka suuri ero jossain tietyssä tarkasteltavassa asiassa joidenkin ryhmien välillä on (standardoitu keskiarvojen ero). Tässä efektikoon arviointiin käytettiin Cohenin d:tä. Tehtävien pistemäärissä havaittujen erojen ollessa näin merkittävät päädyttiin siihen, että normiaineistoon jätettiin vain ne osallistujat, joilla äidinkielenä oli ainoastaan suomi (S1-kieliset). Tällä pyrittiin varmistamaan se, että normitus on tarkoituksenmukainen silloin, kun halutaan tunnistaa suomenkieliset opiskelijat, joiden luku- ja kirjoitustaitoja on syytä arvioida tarkemmin.
Vieraskielisten opiskelijoiden poistamisen lisäksi normiaineistosta on tehty poistoja tehtävittäin. Luksu-tehtävästä on poistettu kolme opiskelijaa, lopullinen osallistujamäärä tehtävässä on 1170. Etsi kirjoitusvirheet -tehtävästä on poistettu 11 opiskelijaa, lopullinen osallistujamäärä tehtävässä on 1166. Täydennä tekstit -tehtävän osalta normiaineistosta on poistettu 10 osallistujaa, lopullinen osallistujamäärä on 1167. Oikeiden sanojen sanelukirjoitus -tehtävän osalta normiaineistosta on poistettu 26 osallistujaa, lopullinen osallistujamäärä on 1159. Merkityksettömien sanojen sanelukirjoitus -tehtävän osalta normiaineistosta on poistettu 36 osallistujaa, lopullinen osallistujamäärä on 1152. Ylitulkintaa on vältetty ja pyritty poistamaan ainoastaan ne opiskelijat, joista varmuudella voi tulkita käytettävissä olevan tiedon perusteella, että he eivät ole yrittäneet tehtävää tosissaan. Saneluiden osalta tulkintaa helpotti se, että opiskelijan kirjoittamista sanoista pystyi suoraan näkemään sen, onko hän yrittänyt tehtävää tosissaan vai ei. Poistoja saneluista tehtiin vain silloin, kun opiskelija oli kirjoittanut sanan kohdalle jonkin sellaisen sanan, joka ei millään tavalla vastannut saneltua sanaa.
4.2 Tehtävien tunnusluvut
Keskiarvo, ka (mean, M) saadaan, kun lasketaan yhteen opiskelijoiden saama pistemäärä jossain tehtävässä ja jaetaan se tehtävän tehneiden opiskelijoiden määrällä. Keskiarvo kuvaa siis sitä, millainen keskimääräinen suoritustaso kyseisessä tehtävässä on ollut tämän ikäluokan osalta.
Keskihajonta, kh (standard deviation, SD) kuvaa sitä, miten havainnot keskimääräisesti poikkeavat keskiarvosta. Keskihajonta pyrkii siis mittaamaan arvojen vaihtelua keskiarvon molemmin puolin ja ilmaisemaan, miten kaukana havainnot keskimäärin ovat keskiarvosta.
4.2.1 Seulontatehtävät
Taulukossa 5 on esitetty tehtävien tunnusluvut. Seuraavaksi esitellään varsinaisten seulontatehtävien oikeiden vastausten lukumäärien jakaumat tehtävä kerrallaan. Virheellisten vastausten jakaumat esitellään niiden tehtävien kohdalla, joissa se on tarkoituksenmukaista. Jos virheellisten vastausten jakauma oli komplementti eli peilikuva oikeiden vastausten jakaumasta, sitä ei nähty tarpeelliseksi raportoida. Validointitehtävien tunnusluvut ja jakaumat esitellään omassa kappaleessaan.
Taulukko 5. Tehtävien opiskelijamäärät, keskiarvot, keskihajonnat, minimit ja maksimit
Luksu-tehtävän oikeiden vastausten jakauma on esitetty kuviossa 1. Jakauma noudattaa hyvin normaalijakaumaa. Pistemäärien keskiarvo oli 65,38 ja keskihajonta 15,54. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 50–81, ja vastaajista 72 prosenttia sijoittui tälle alueelle. Pistemäärien laskeminen on tehty niin, että opiskelijan oikeista vastauksista on vähennetty väärät vastaukset. Tähän on päädytty siksi, että vastausvaihtoehtoja on vain kaksi (totta ja ei-totta) ja tehtävän aikarajan (2,5 minuuttia) puitteissa on voinut saada puolet vastauksista oikein pelkästään arvaamalla.
Luksu-tehtävän virheellisten vastausten lukumäärien jakauma on esitetty kuviossa 2. Virheellisten vastausten keskiarvo oli 1,75 ja keskihajonta 3,28. Kuviosta on nähtävillä se, että opiskelijat tekevät tehtävässä hyvin vähän virheitä, 96 prosenttia vastaajista on tehnyt 5 virhettä tai vähemmän. Opiskelijoiden on siis ollut helppo määritellä virkkeen totuusarvo, eli se, onko virke totta vai ei. Jos opiskelija on tehnyt tehtävässä enemmän kuin viisi virhettä, on hänen vastauksiaan syytä tarkastella tarkemmin.
Etsi kirjoitusvirheet -tehtävän oikeiden vastausten lukumäärän jakauma on esitetty kuviossa 3. Jakauma on lievästi oikealle vino, mikä kertoo siitä, että tehtävä on haastava ja tuottaa eroja pistemääriin erityisesti hyvin lukevien välillä. Pistemäärien keskiarvo oli 29,83 ja keskihajonta 11,35. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 18–41, ja vastaajista 72 prosenttia sijoittui tälle alueelle.
Virheellisten vastausten lukumäärien jakauma Etsi kirjoitusvirheet -tehtävästä on esitetty kuviossa 4. Virheellisten vastausten keskiarvo oli 3,80 ja keskihajonta 4,17. Tehtävän haastavuudesta huolimatta virheitä tehdään melko vähän, 94 prosenttia opiskelijoista tekee virheitä kahdeksan tai vähemmän. Tehtävässä on aikaraja 2,5 minuuttia, ja tämän aikarajan sisällä opiskelijat etenevät tehtävässä eri tahtiin lukunopeudesta riippuen, ja pyrkivät lukemaan sanat tarkasti virheen löytääkseen.
Täydennä tekstit -tehtävän oikeiden vastausten jakauma on esitetty kuviossa 5. Jakauma on jonkin verran vasemmalle vino, mikä kertoo siitä, että tehtävä on 9. luokkalaiselle kohtalaisen helppo. Toisaalta vasemmalle puolelle muodostuva ”häntä” taas viittaa siihen, että tehtävän erottelukyky on hyvä heikosti lukemaansa ymmärtävien osalta. Tehtävä soveltuu siis hyvin seulontatarkoitukseen. Pistemäärän keskiarvo on 30,83 ja keskihajonta 5,17. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 26–36, ja vastaajista 78 prosenttia sijoittui tälle alueelle.
Oikeiden sanojen sanelukirjoituksen jakauma esitetään kuviossa 6. Jakauma on voimakkaasti vasemmalle vino, mikä kertoo siitä, että tehtävä oli yhdeksäsluokkalaiselle helppo. Tuttujen sanojen oikeinkirjoitustaito on tämän ikäisillä yleensä jo vakiintunut, eikä virheitä juurikaan tehdä. Tehtävän maksimipistemäärä oli 25, eikä tehtävässä ollut aikarajaa. Pistemäärän keskiarvo oli 24,15 ja keskihajonta 1,43. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 22–25, ja vastaajista 90 prosenttia sijoittui tälle alueelle.
Merkityksettömien sanojen sanelukirjoituksen jakauma esitetään kuviossa 7. Myös merkityksettömien sanojen jakauma on voimakkaasti vasemmalle vino, ja kertoo siitä, että vaikka sana ei ole entuudestaan tuttu, äänne-kirjain-vastaavuuden hallinta on tämän ikäisellä jo vahvaa, eikä virheitä juurikaan tehdä. Tehtävän maksimipistemäärä oli 25, eikä tehtävässä ollut aikarajaa. Pistemäärien keskiarvo oli 22,95 ja keskihajonta 2,55. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 21–25, ja vastaajista 89 prosenttia sijoittui tälle alueelle.
4.2.2 Sukupuolierot
Alla olevassa taulukossa 6 esitellään tyttöjen ja poikien keskiarvot, keskihajonnat sekä keskiarvojen vertailut tehtävissä.
Taulukko 6. Tyttöjen ja poikien keskiarvot ja keskihajonnat sekä keskiarvojen vertailut seulontatesteissä
Tyttöjen ja poikien erot tehtävien suoriutumisessa olivat selkeät tyttöjen suoriutuessa kaikista tehtävistä poikia paremmin. Erot ovat kohtalaisen suuria efektikokojen perusteella. Sukupuolierojen efektikokoja on arvioitu Cohenin d:tä käyttämällä. Vastaavan suuruisia eroja on havaittu myös muista tälle ikäryhmälle tehdyistä luku- ja kirjoitustaidon arviointi -tutkimuksista (kts. Holopainen ym. 2004, Lerkkanen ym. 2016, PISA, 2015).
4.3 Tehtävien luotettavuus
Tehtävien luotettavuudet
DigiLukiseulan tehtäviä pilotoitiin seitsemän kertaa, ja kehitettiin toimivammiksi jokaisen pilotoinnin jälkeen poistamalla huonosti toimivia osioita tai muokkaamalla niitä. Runsas pilotointien määrä lisää omalta osaltaan tehtävien luotettavuutta. Tehtävien luotettavuutta voidaan arvioida myös erilaisilla mittauksilla. Yksi tapa mitata tehtävien luotettavuutta on mitata osioiden keskinäistä yhtenäisyyttä eli arvioida sitä, mittaako tehtävä samaa ominaisuutta. Tässä seulontatestistössä kolmen tehtävän osioiden keskinäistä yhtenäisyyttä arvioitiin laskemalla niille Cronbachin alfa -kerroin. Nämä tehtävät olivat Täydennä tekstit, Oikeiden sanojen sanelukirjoitus ja Merkityksettömien sanojen sanelukirjoitus. Täydennä tekstit -tehtävän alfa-arvo oli .82 (n = 1167), Oikeiden sanojen sanelukirjoitus -tehtävän .64 (n = 1159) ja Merkityksettömien sanojen sanelukirjoitus -tehtävän .77 (n = 1152). Täydennä tekstit -tehtävän alfa-arvo oli hyvä, mikä on osaltaan osoitus tehtävän luotettavuudesta. Sanelukirjoitustehtävien alfa-arvot jäivät heikommiksi, mikä johtuu heikommasta varianssista, merkityksettömien sanojen osalta lähestyttiin hyvää alfa-arvoa, oikeiden sanojen osalta alfa-arvo oli tyydyttävä.
DigiLukiseulan kaksi aikarajallista tehtävää, Luksu ja Etsi kirjoitusvirheet -tehtävä edustavat tunnettuja ja runsaasti arviointikäytössä olleita tehtävätyyppejä. Aikarajoitteisissa tehtävissä, joissa vastaajat ovat aikarajan sisällä edenneet eri kohtiin tehtävässä, osioiden keskinäistä yhtenäisyyttä ei voida arvioida käyttämällä esimerkiksi Cronbachin alfa -kerrointa. Luotettavuuden arviointi edellyttää testi-uusintatesti -mittausta, joka tehtiin näille kahdelle aikarajalliselle tehtävälle, Luksulle ja Etsi kirjoitusvirheet -tehtävälle. Testi-uusintatesti -mittaus tehtiin syksyllä 2019 osalle (n = 102) toisella asteella aloittaneista opiskelijoista (n = 4897). Testi-uusintatesti -mittaukseen osallistui 5 oppilaitosta ja mittaus tehtiin 2-3 kuukauden sisällä varsinaisesta seulontatilaisuudesta. Osallistuneet ryhmät olivat kokonaisia luokkia. Luksu-tehtävän ja uusintatehtävän välinen korrelaatio oli .80 (p = .000, n = 102). Etsi kirjoitusvirheet -tehtävän ja uusintatehtävän korrelaatio oli puolestaan .81 (p = .000, n = 102). Nämä testi-uusintatesti -mittausten hyvät korrelaatioluvut kertovat näiden tehtävien toimivuudesta ja luotettavuudesta.
Usein arvioidaan myös tehtävien validiteettia eli tehtävän kykyä mitata jotain tiettyä, tavoiteltua taitoa. Tämä tapahtuu usein siten, että tehtävää verrataan johonkin toiseen, aiemmin toimivaksi todettuun tehtävään, joka mittaa samaa ominaisuutta. Tässä seulontatestistössä Täydennä tekstit -tehtävän luotettavuutta arvioitiin validoinnin avulla vertaamalla tehtävää luetun ymmärtämistä mittaavan Tekstin ymmärtämisen tehtävään ja sanavarastoa mittaavaan Verbin tunnistus -tehtävään. Seuraavaksi esitellään kyseiset validointitehtävät ja niiden tunnusluvut. Sen jälkeen tehtävien luotettavuutta arvioidaan tarkastelemalla niiden keskinäisiä yhteyksiä.
Taulukko 8. Validointitehtävien opiskelijamäärät, keskiarvot, keskihajonnat, minimit ja maksimit
Tekstin ymmärtäminen
Uuden luetun ymmärtämisen Täydennä tekstit -tehtävän validointiin käytettiin Ykä-testistön (Lerkkanen ym. 2018. YKÄ – Luku- ja kirjoitustaidon arviointimenetelmä yläkouluun) Tekstin ymmärtäminen -tehtävää. Tehtävää on käytetty Ykä-testistössä 9. luokkalaisten luetun ymmärtämisen arviointiin. Tässä tehtävässä osallistujien tuli lukea 1,5 sivua pitkä asiateksti, ja vastata sen jälkeen 12 kysymysosioon. Tekstin aihe käsitteli poron merkitystä saamelaisille. Kysymyksistä 11 oli monivalintatehtäviä, jotka sisälsivät neljä vastausvaihtoehtoa, yhdessä kysymyksessä taas piti asettaa väittämät (8 kpl) tekstin etenemistä kuvaavaan järjestykseen. Oikean vastauksen löytäminen edellytti joko tiedon hakemista suoraan tekstistä, tekstiin pohjautuvaa päättelyä tai tekstin sisällön arviointia. Tehtävässä ei ollut varsinaista aikarajaa, mutta käytännön vuoksi katkaisuaika oli asetettu 45 minuuttiin. Kaikki vastaajat kuitenkin ehtivät tehdä tehtävän loppuun.
Kuviossa 8 esitetty jakauma on normaalisti jakautunut. Pistemäärien keskiarvo oli tehtävässä 7,1 ja keskihajonta 2,40. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 5–9 ja vastaajista 68 prosenttia sijoittui tälle alueelle.
Verbin tunnistaminen
Yksi luetun ymmärtämistä vahvasti ennustava taito on sanaston hallinta, mikä huomioitiin myös uuden luetun ymmärtämisen tehtävän ”Täydennä tekstit” validoinnissa. Sanaston hallinnan mittariksi valittiin sanantunnistustehtävä (Honko 2013), jolla arvioidaan yksilön sanavaraston laajuutta. Tehtävässä sanavaraston laajuuteen pureudutaan yleisyysalueittain valikoidun verbisanaston avulla (ks. tarkemmin Honko, 2013, 125).
Sanojen yleisyyteen keskittyvässä arvioinnissa sanaston hallintaan nähdään liittyvän sekä reseptiivinen eli tunnistava puoli (liittyy ymmärtämiseen) ja produktiivinen eli tuottava puoli (liittyy ilmaisemiseen). Arvioinnissa ei kiinnitetä huomiota yksittäisten testisanojen hallintaan vaan sanatiedon laajuuteen, tässä tapauksessa suomenkielisten sanojen tunnistamiseen. Hieman yleistäen voidaan sanoa, että sanaston produktiivinen oppiminen on reseptiivistä vaativampaa. Siksi oppijan reseptiivinen sanasto on yleensä laajempi kuin produktiivinen, vaikka tuottava ja tulkitseva taito ovatkin yhteydessä toisiinsa.
Tehtävässä on yhteensä 120 sanaa, 80 suomen kielen sanaa ja 40 pseudosanaa. Ruudulle ilmestyy yksitellen sanoja. Opiskelijan tehtävänä on päättää, onko sana suomea vai ei, ja sen lisäksi myös tehdä valinta sen suhteen, tietääkö myös sanan merkityksen. Opiskelijan tulee siis päättää, onko tehtävässä esiintyvä sana kielen todellinen sana vai ei (lexical decision). Valinta siitä, onko sana suomea vai ei, on tehtävä jokaisen sanan kohdalla, ennen kuin tehtävässä pääsee eteenpäin. Jokaisesta oikeasta vastauksesta saa pisteen. Tehtävässä ei ole aikarajaa.
Kuviossa 9 esitetty jakauma on melko selkeästi vasemmalle vino, joka kertoo siitä, että tehtävä on 9. luokkalaiselle helppo. Tämän ikäisen oppilaan sanavarastoa arvioitaessa tämä on oletettavaakin. Pistemäärien keskiarvo oli tehtävässä 111,40 ja keskihajonta 9,18. Kuviossa näkyy harmaalla tummennettu alue, joka kuvaa yhden keskihajonnan mittaa keskiarvosta sen molemmilla puolin. Tämä alue vastaa pistemäärää välillä 102–120 ja vastaajista 90 prosenttia sijoittui tälle alueelle.
Seulontatehtävien keskinäiset yhteydet
Taulukossa 7 esitellään seulontatehtävien keskinäiset yhteydet. Mukana ovat myös validointitehtävät Tekstin ymmärtäminen ja Verbin tunnistaminen -tehtävät, jotka eivät sisälly arviointimenetelmään.
Taulukko 7. Tehtävien keskinäiset korrelaatiot (n = 1152 – 1170)
Kaksi ensimmäistä tehtävää, Luksu ja Etsi kirjoitusvirheet, mittaavat oletusarvoisesti teknistä lukutaitoa eli sitä, kuinka nopeasti ja tarkasti tutkittava lukee sanoja ja lauseita. Tehtävät kuitenkin eriävät siinä, että Luksun suorittamisessa lukemisen tarkkuuden rooli ei ole niin keskeinen kuin Etsi kirjoitusvirheet -tehtävässä, jossa virheellistä sanaa lukiessaan tutkittavan tulee palata sarjallisen, kokoavan lukemisen tasolle virheen löytääkseen. Luksun sujuva tekeminen edellyttää myös sitä, että nopean ja tarkan lukemisen lisäksi opiskelijan täytyy myös ymmärtää luetun virkkeen sisältö voidakseen määrittää sen, onko virke totta vai ei. Virkkeet on kuitenkin pyritty tekemään sellaisiksi, että totuusarvon määrittäminen on helppoa. Myös työmuistin rooli korostuu Luksussa enemmän kuin Etsi kirjoitusvirheet -tehtävässä. Tehtävät ovat hyvin yhteydessä toisiinsa, eli ne mittaavat jotain samaa taitoa (tässä tapauksessa teknistä lukutaitoa), vaikkakin vaativat hieman erilaisia taitoja.
Täydennä tekstit -tehtävää on arvioitu suhteessa Ykä-testistön (Lerkkanen ym. 2018) Tekstin ymmärtäminen -tehtävään sekä Verbin tunnistaminen -tehtävään (Honko 2013). Huom! Edeltävät tehtävät eivät sisälly testistöön, niitä on tässä yhteydessä käytetty Täydennä tekstit -tehtävän validointitehtävinä. Sekä Täydennä tekstit -tehtävä että Tekstin ymmärtäminen -tehtävä on suunnattu luetun ymmärtämisen arviointiin. Tehtävät ovat hyvin yhteydessä toisiinsa huolimatta siitä, että siinä missä Tekstin ymmärtämisen tehtävä vaatii monenlaisia teksitaitoja, Täydennä tekstit -tehtävä suuntautuu päättelevän lukemisen arviointiin. Verbin tunnistaminen -tehtävä korreloi myös näiden kahden luetun ymmärtämisen tehtävän kanssa. Verbin tunnistaminen -tehtävällä arvioidaan sanavaraston laajuutta, mikä taas on vahvasti yhteydessä luetun ymmärtämisen taitoon. Nämä selvät yhteydet lisäävät Täydennä tekstit -tehtävän luotettavuutta uutena luetun ymmärtämisen tehtävänä.
Oikeiden sanojen sanelukirjoitus ja Merkityksettömien sanojen sanelukirjoitus ovat yhteydessä toisiinsa selvästi (0.61), muiden yhteyksien jäädessä alhaisemmiksi. Oikeinkirjoituksen taito näyttäisi siis eriävän lukusujuvuuden ja luetun ymmärtämisen taidoista. Se, että nämä kaksi oikeinkirjoituksen tehtävää ovat yhteydessä toisiinsa kuitenkin oletettua hiukan vähemmän, selittyy sekä jakaumien vinoudella (suurin osa opiskelijoista sai tehtävissä täydet pisteet) sekä sillä, että tehtävissä vaaditaan osittain eri taitoja. Oikeiden sanojen osalta opiskelijalla todennäköisesti on sanan visuaalinen edustuma muistissaan, jolloin sanan kirjoittaminen tähän visuaaliseen muistiedustumaan tukeutuen on mahdollista, vaikka äänteiden prosessoinnissa olisikin haasteita. Merkityksettömien sanojen kohdalla opiskelijalla ei tätä mahdollisuutta ole, vaan tehtävässä suoriutuminen edellyttää sujuvaa fonologista prosessointia eli kykyä auditiivisesti tunnistaa ja erotella äänteet tarkasti toisistaan sekä tuottaa ne kirjoitettuun muotoon (äänne-kirjainvastaavuuden hallinta).