3.1. Esitutkimukset
Alakoulun DigiLukiseulan tehtävät pohjautuvat huolella pilotoituihin tehtävätyyppeihin, jotka on kehitetty DigiLukiseula-hankkeessa yläkoulun ja toisen asteen oppilaille (Paananen ym., 2019). Koska alakoulun oppilaita varten luotiin ikätasoiset, uudet tehtäväsisällöt, tehtävät pilotoitiin syksyllä 2020 ennen normiaineiston keruuta. Ryhmätehtävien esitutkimukseen osallistui sen ensimmäisessä vaiheessa 631 lasta luokilta 3–6. Osallistujia oli 35 koulusta ympäri Suomea. Ensimmäisen pilottitutkimuksen aineistolle tehtiin yksiparametriset osionanalyysit Rasch-mallin perusteella. Malliin sopimattomia osioita muokattiin tai karsittiin, kunnes kaikki mukaan tulevat tehtävät ja niiden osiot osoittautuivat malliin sopiviksi ja erottelukyvyltään riittäviksi. Malliin sopivina pidettiin osioita, joiden Rasch-arvo sijoittui välille 0.6 – 1.4. Erottelukyky katsottiin riittäväksi, jos sen raja-arvo ylitti 0.5. (Linacre, 2022)
Lukusujuvuus: Koska tehtävän tavoitteena on mitata ensisijaisesti lukemisen sujuvuutta, osiot, joissa oikeiden vastausten prosenttiosuus oli alle 90, poistettiin ja vaihdettiin toisiin. Tavoitteena oli, että virkkeet olisivat mahdollisimman yksiselitteisiä ja luetun ymmärtämisen tai yleistiedon osuus mahdollisimman pieni.
Oikeinkirjoitus: Osiot, jotka eivät sopineet malliin tai joiden erottelukyky oli heikko, karsittiin pois.
Luetun ymmärtäminen: Esitutkimuksessa tekstejä oli mukana enemmän kuin normituksessa, jotta heikosti toimivia tekstejä olisi mahdollista karsia pois. Sellaiset tekstit, joissa oli useita huonosti toimivia osioita (osio ei sopinut malliin tai sen erottelukyky oli heikko), karsittiin pois. Tekstejä, joissa yksittäinen osio ei saavuttanut odotettuja kriteereitä, muokattiin.
Toisessa esitutkimuksessa helmikuussa 2021 (n = 1602) arvioitiin muokattujen ryhmäarviointimenetelmien toimivuutta ja ominaisuuksia. Esitutkimuksen perusteella tehtävät ja niiden osiot osoittautuivat ominaisuuksiltaan toimiviksi ja luotettaviksi, ja ne sisällytettiin sellaisinaan normitettavaan tehtäväpakettiin.
3.2. Otoksen määrittely ja otantamenetelmä
Perusjoukko. Perusjoukko normiaineistonkeruuseen oli määritelty siten, että se sisälsi suomeksi opetusta antavat koulut, joilla oli 3−6 vuosiluokalla oppilaita läsnä koulussa tutkimuksen suorittamisajankohtana keväällä 2021. Koulut poimittiin vuoden 2020 keväällä julkaistusta Tilastokeskuksen oppilaitosrekisteristä, jonka tiedot olivat ajankohdasta 31.12.2019. Perusjoukosta jätettiin pois erityiskoulut ja -luokat, Ahvenanmaan koulut, ruotsinkieliset koulut sekä kielikoulut, joissa opetuskielenä oli jokin muu kieli kuin suomi. Rajauksen jälkeen perusjoukon koko oli 1768 koulua, joissa oli oppilaitosrekisterin mukaan yhteensä 229 548 oppilasta. Perusjoukosta poistettiin tarkistuksen jälkeen vielä koulut, joissa oppilaitosrekisterin mukaan ei ollut oppilaita tutkimukseen mukaan otettavilla luokilla (101 koulua). Pieniä kouluja ei rajattu perusjoukon ulkopuolelle. Otoskehikkoon jäi 1667 koulua. Alkuperäisen suunnitelman mukaan normiaineisto oli tarkoitus kerätä kokonaan keväällä 2021, mutta keruun jälkeen osoittautui, että aineistoa oli täydennettävä ja sitä kerättiin lisää keväällä 2022. Täydennysotannasta kerrotaan lisää jäljempänä.
Otoskoko. Opetusryhmän keskikooksi arvioitiin 20 oppilasta. Tilastokeskuksen kevään opettajakyselyn 2016 mukaan alakouluissa 3.−6. vuosiluokkien opetusryhmien keskimääräinen koko oli 20,6 oppilasta. Vuoden 2019 tietoja ei vielä tätä tutkimusta suunniteltaessa oltu julkaistu. Tavoiteotoskooksi määriteltiin 4 000 oppilasta/luokkataso. Tämän saavuttamiseksi kouluja otostettiin 200 siten, että jokaisesta koulusta otostettiin mukaan yksi opetusryhmä kaikilta 3−6 luokilta. 200 koulun otoksella oli mahdollista saada otokseen yhtensä 16 000 oppilasta, käsittäen 4 000 oppilasta kultakin neljältä luokkatasolta 3−6. Koska kysymyksessä oli kansallinen normiaineiston otanta ja sekä koulujen että oppilaiden osallistuminen oli vapaaehtoista, oli odotettavissa, että tavoitemäärät eivät täyttyisi kuten koulujen omaan toimintaan liittyvissä hankkeissa.
Osittaminen ja ositteet. Perusjoukon osittamisella saadaan enemmän informaatiota kuin yksinkertaisella satunnaisotannalla. Osittamisessa otoskehikko jaettiin toisensa poissulkeviksi osajoukoiksi suuralueisiin ja kuntaryhmiin. Kukin osajoukko toimi itsenäisenä otoskehikkona otoksen poiminnassa. Osittaminen takasi koulujen edustettavuuden ositteittain ja mahdollisti tulosten vertailtavuuden ositteiden kesken. Perusjoukon osittamisperusteina olivat EU:n ja Tilastokeskuksen yleisesti käyttämät suuralueet ja kuntaryhmät. Suuralueita olivat Helsinki-Uusimaa, Etelä-Suomi, Länsi-Suomi, Pohjois-Suomi ja Itä-Suomi sekä Ahvenanmaa. Suuralueet jaettiin vielä ositteen sisällä kaupunkimaisiin ja maaseutumaisiin kuntiin. Kaupunkimaiset kunnat käsittivät myös taajaan asutut kunnat. Kun Ahvenanmaa jätettiin pois ja Helsinki-Uudenmaan maaseutukoulut (2 kpl) yhdistettiin samaan ositteeseen kaupunkikoulujen kanssa, ositteita saatiin yhteensä seitsemän. Suunnitellun otoksen koulu- ja oppilasmäärät ositteittain kuvataan taulukossa 3.1.
Taulukko 3.1 Otantakehikon koulu- ja oppilasmäärät sekä suunniteltu otos ositteittain
Otantamenetelmä. Otantamenetelmäksi valittiin kaksivaiheinen ryväsotanta. Otannan ensimmäisessä vaiheessa koulut valittiin käyttäen systemaattista ositettua PPS-otantaa (probability-proportional-to-size), jossa koulun kokotekijäksi oli määritelty oppilaiden lukumäärä tutkimuksen kohteena olevilla luokka-asteilla. Samanaikaisesti kullekin otoskoululle pyrittiin poimimaan vähintään 1–2 varakoulua mahdollisten poisjääntien vuoksi. Otannan toisessa vaiheessa kustakin poimitusta otoskoulusta valittiin yksi opetusryhmä systemaattisella satunnaisotannalla. Tässä tutkimuksessa kouluja ohjeistettiin valitsemaan ensisijaisesti A-luokka ja jos sitä ei ollut, B-luokka jne.
Ensimmäiseksi varakouluksi nimettiin varsinaista otoskoulua seuraava koulu osituksen ja koulujen koon mukaan lajitellusta aineistosta. Toiseksi varakouluksi nimettiin 1. varakoulua seuraava koulu vastaavasti osituksen ja koulujen koon mukaan lajitellusta aineistosta. Koulun korvaaminen seuraavalla, samaa kokoluokkaa ja samalla alueella sijaitsevalla koululla ei oleteta olennaisesti vahingoittavan satunnaisuutta. Kaikille varsinaisille otoskouluille saatiin määriteltyä vähintään kaksi varakoulua. Varakoulua tavoiteltiin, jos varsinainen otoskoulu kieltäytyi tutkimuksesta riittävän aikaisessa vaiheessa.
3.3. Tutkimusotos ja osallistujat
Otos ja täydennysotos. Alkuperäisestä keväällä 2021 suoritetusta suunnitellun otannan 200:sta koulusta 119 koulua kieltäytyi osallistumasta normiaineiston keruuseen. 31 koulua ei vastannut yhteydenottoihin. Kun ensimmäiset, toiset ja kolmannet varakoulut otettiin käyttöön, mukaan lähteviä kouluja oli 106. Kevään 2021 datankeruun ollessa jo käynnissä vielä 17 koulua jäi pois. Lopullinen koulujen osallistujamäärä keväällä 2021 oli 89 koulua, mikä vastasi koulujen osalta osallistumisprosenttia 45 % ja oppilaiden osalta 20 % tavoitellusta. Kevään 2021 osallistumisprosentit jäivät vaatimattomiksi johtuen mm. koronapandemiasta, minkä vuoksi otosta täydennettiin keväällä 2022. Täydennysotanta tehtiin alkuperäisen otoksen mukaisesti kohdistamalla otanta niihin kouluihin ja varakouluihin, joita ei oltu 2021 otannassa vielä kysytty mukaan tai jotka eivät olleet vielä vastanneet. Täydennysotannalla saatiin mukaan 131 uutta koulua, joista 47 jäi pois aineiston keruun ollessa jo käynnissä. Näin ollen uutta aineistoa saatiin 84 koulusta.
Otosten yhdistäminen. Jotta eri ajankohtina kerätyt otokset voitiin yhdistää ja hyödyntää normiaineistona 3–6 luokkien arviointivälineessä, tuli otosten aineistojen vastaavuus osoittaa. Yksinkertaisin tapa oli verrata arviointitehtävien keskiarvoja aineistojen välillä. Tulosten mukaan Alakoulun DigiLukiseulan tehtävissä ei ollut tilastollisesti merkitseviä eroja otosten välillä millään suuralueella. Kun vertailuun lisättiin myös maaseutu–kaupunki -jaottelu, sama tulos säilyi eikä otosten välillä havaittu tilastollisesti merkitseviä eroja. Edellä kuvattujen analyysien perusteella eri ajankohtina kerättyjen otosten välillä ei siis ollut eroa ja aineistot voitiin yhdistää.
Lopullinen otos. Täydennysotannan jälkeen otoksessa oli mukana 173 koulua, joka oli 87 % suunnitellusta lukumäärästä. Lopullisessa otoksessa oli mukana 5966 lasta luokilta 3–6, joka oli 37 % suunnitellusta määrästä. Otoksen alueellinen toteutuminen kuvataan Taulukossa 3.2.
Taulukko 3.2: Alakoulun DigiLukiseulan otannan ositteet ja toteutuneet koulu- ja oppilasmäärät. Prosenttiosuus suunnitellusta otoksesta.
3.4. Otoksen edustavuus
Alueellinen edustavuus. Otoksen toteutumisessa oli alueellisesti huomattavia eroja. Edustavuus oli alhaisin Etelä-Suomen kaupungeissa, joista saatiin mukaan 54 % suunnitellusta koulujen määrästä. Aktiivisinta osallistuminen oli maaseutualueilla, joilta koulujen lukumäärän osalta saatiin jopa yliedustusta (100 %−225 %). Koulujen yliedustus sallittiin tässä vaiheessa, koska oppilasmäärissä osattiin odottaa katoa. Katoa oppilasmäärissä syntyi väistämättä, koska osallistuminen oli vapaaehtoista eikä tutkimuslupaa kaikilta huoltajilta saatu. Koronapandemia lisäsi oppilaiden poissaoloja kouluista. Toteutuneet oppilasmäärät vaihtelivat suuralueiden kuntaryhmittäin välillä 20 %–92 %.
Koska alueittainen vaihtelu oli suuri suunniteltuun otantakehikkoon nähden, edustavuuden kannalta oli keskeistä arvioida, onko alueellisten ositteiden välillä eroja arviointimenetelmän tuloksissa. Kun suoriutumista Alakoulun DigiLukiseulan tehtävissä vertailtiin alueiden välillä, tilastollisesti merkitseviä eroja ei löytynyt. Voidaan siis todeta, ettei tässä otoksessa ole nähtävissä alueellisia eroja lukitaidoissa, minkä vuoksi tuloksia voidaan huoletta tulkita siitä huolimatta, että joillain alueilla edustus on parempi kuin toisilla. Osallistujien absoluuttisissa määrissä (n = 566) myös Etelä-Suomen kaupungit ovat edustettuna kohtuullisen hyvin.
Oppilasaineksen edustavuus tuen tarpeen osalta. Jotta arviointimenetelmä toimii luotettavasti tuen tarpeen tunnistamisessa, on tärkeää, että normiaineisto on tuen tarpeen suhteen edustava. Koska otannassa tulee aina katoa, on tärkeää, ettei kato kohdistu valikoidusti esimerkiksi siihen perusjoukon osaan, jossa tuen tarve on suurempi. Tämän vuoksi otoksessa mukana olevien lasten tuen astetta verrattiin Tilastokeskuksen tuoreimpaan tietoon tehostettua ja erityistä tukea saavien määrästä Suomessa (Tilastokeskus, 2022). Sen mukaan tehostettua tukea on saanut 13,5 % ja erityistä tukea 9 % suomalaisten koulujen oppilaista. Alakoulun Digilukiseulan normiaineistossa vastaavat luvut ovat 13,8 % ja 3,7 %. Tehostetun tuen osalta normiaineisto vastaa hyvin tarkasti valtakunnallista tilannetta. Otoksessa ei ole ollut mukana erityiskoulujen eikä erityisopetuksen pienryhmien oppilaita, mikä todennäköisesti vaikuttaa otoksen aliedustukseen erityisen tuen oppilaissa suhteessa Tilastokeskuksen aineistoon. Edellä kuvatun perusteella normiaineiston voidaan katsoa riittävällä tarkkuudella edustavan suomenkielisiä yleisopetuksen oppilasryhmiä.
3.5. Täydennysotoksen yhteydessä kerätyt normit
Täydennysotannan yhteydessä keväällä 2022 kerättiin osallistuvilta kouluilta aineistoa myös luokilta 1 ja 2. Alakoulun DigiLukiseulaa varten ensimmäisen ja toisen luokan oppilaille sähköistettiin LukiMat-palvelun lukemisen ja kirjoittamisen 1. ja 2. luokan kevään tuen tarpeen tunnistamisen välineet. Nämä tehtävät on kehitetty ja normitettu paperiversioina aiemmin (Eklund, Salmi, Polet, & Aro, 2013a; 2013b; Salmi, Eklund, Järvisalo, & Aro, 2011a; 2011b), eikä niitä sen vuoksi ollut tarvetta pilotoida tai muokata sisällöllisesti. Samassa yhteydessä koko testistöä täydennettiin peruslaskutoimitusten sujuvuutta arvioivilla Matsu-tehtävillä luokilla 1−6.
Tätä otantaa ei ollut suunniteltu ennakkoon, eikä aineisto 1–2 luokkien ja peruslaskusujuvuuden osalta vastaa otantakehikkoa. Koska vuosien 2021 ja 2022 otokset osoittautuivat toisiaan vastaaviksi luokkien 3–6 osalta, voidaan tämänkin otoksen noudattavan edustavuudeltaan koko otosta riittävissä määrin. Otos sisälsi tulokset 84 koulusta eri puolilta Suomea. Oppilasmäärä kullakin luokka-asteella on raportoitu luvun 4 taulukoissa 4.7–4.12. Kaikki luokkien 1 – 2 sekä Matsun tulokset on siis kerätty täydennysotoksessa. Täydennysotoksen oppilasmäärät vaihtelivat luokka-asteen ja tehtävän mukaan välillä 561–722, mitä voidaan pitää kohtuullisen kattavana määränä.
3.6. Testausjärjestelyt
Aineistot kerättiin tiiviissä yhteistyössä osallistuvien koulujen kanssa siten, että koulujen vapaaehtoiset opettajat ja erityisopettajat keräsivät aineiston tutkimusryhmän ohjauksessa. Tällä järjestelyllä tavoiteltiin ensinnäkin alueellisesti kattavaa otantaa, mutta ennen kaikkea ekologista validiteettia. Ekologisella validiteetilla tarkoitetaan arviointituloksen ja tosielämän vastaavuutta – tässä tapauksessa sitä, että normiaineisto on kerätty tilanteessa, joka vastaa mahdollisimman pitkälle tilannetta, jossa menetelmää käytetään myös arjessa.
Opettajille pidettiin kahden tunnin perehdytys webinaarina, joka oli myöhemmin katsottavissa tallenteena. Perehdytyksessä kerrottiin tutkimuksen tarkoituksesta, sen käytännön toteutuksesta ja aikatauluista sekä esiteltiin sähköiset ryhmätehtävät ja niiden käyttö. Opettajat keräsivät aineiston tutkimusryhmän ohjeiden mukaan ryhmätilanteessa, jossa opettaja toimi valvojana. Tutkimusluvan saaneet oppilaat kirjautuivat Arvio-palveluun, jossa ohjeet ja tehtävät tulivat standardoidussa muodossa jokaiselle samalla tavalla. Oppilaat tekivät tehtävät itsenäisesti omaan tahtiinsa. Tulokset siirtyivät tutkimusryhmän käyttöön Arvio-palvelun kautta. Ryhmien opettajat pääsivät tarkastelemaan omien ryhmiensä suorituksia Arvio-palvelun opettajaliittymässä. Koska normeja vasta kerättiin, tehtäviin liittyvät alustavat viitearvot toimitettiin opettajille erikseen.
Lähteet:
Eklund, K., Salmi., P., Polet, J., & Aro, M. (2013a). LukiMat – Oppimisen arviointi: Lukemisen ja kirjoittamisen tuen tarpeen tunnistamisen välineet 1. luokalle. Tekninen opas.
Eklund, K., Salmi., P., Polet, J., & Aro, M. (2013b). LukiMat – Oppimisen arviointi: Lukemisen ja kirjoittamisen tuen tarpeen tunnistamisen välineet 2. luokalle. Tekninen opas.
Linacre, J. M. (2022). A User’s guide to Winsteps-ministep: Rasch-model computer programs. Program Manual 5.2.3. https://www.winsteps.com/winman/copyright.htm
Salmi, P., Eklund, K., Järvisalo, E., & Aro, M. (2011a). LukiMat – Oppimisen arviointi: Lukemisen ja kirjoittamisen tuen tarpeen tunnistamisen välineet 1. luokalle. Käyttäjän opas.
Salmi, P., Eklund, K., Järvisalo, E., & Aro, M. (2011b). LukiMat – Oppimisen arviointi: Lukemisen ja kirjoittamisen tuen tarpeen tunnistamisen välineet 2. luokalle. Käyttäjän opas.
Tilastokeskus (4.7.2022). Oppimisen tuki 2011–2021. https://stat.fi/tilasto/erop