3.1 Otoksen määrittely ja perusjoukko
Kohdeperusjoukko valtakunnalliseen Yläkoulun DigiLukiseula – digitaalinen luku- ja kirjoitustaidon arviointimenetelmä 7.- ja 8.-luokkalaisille -hankkeeseen määriteltiin siten, että se sisältää 1) suomenkielellä opetusta antavat koulut, joilla 2) on seitsemännellä tai kahdeksannella vuosiluokalla oppilaita 2019 keväällä ja 3) ovat läsnä koulussa tutkimuksen suorittamisajankohtana, joksi määrättiin 4) syksy 2020. Perusjoukkoon sisällytettiin kaikki peruskoulun seitsemännellä tai kahdeksannella vuosiluokalla olevat oppilaat pois lukien erityiskoulujen ja -luokkien henkisesti, emotionaalisesti tai fyysisesti toimintarajoitteiset oppilaat. Poisluettuja olivat myös ruotsinkieliset sekä kielikoulut, joissa opetuskielenä on jokin muu kieli kuin suomi.
Koska perusjoukko määritetään Tilastokeskuksen oppilaitosrekisteristä, otantayksiköksi valittiin opetusryhmä. Siten perusjoukko käsitti keväällä 2019 yläkoulujen kirjoilla olevat seitsemännen ja kahdeksannen luokan oppilaat suomenkielisissä kouluissa. Perusjoukon ulkopuolelle rajattiin yllä mainittujen erityiskoulujen, kielikoulujen ja ruotsinkielisten koulujen lisäksi myös Ahvenanmaan koulut (taulukko 1). Rajauksen jälkeen perusjoukon koko oli 766 koulua ja näillä oli 57 063 seitsemäsluokkalaista ja 56 041 kahdeksasluokkalaista oppilasta.
Taulukko 1
Perusjoukon ulkopuolelle rajattujen koulujen ja opiskelijoiden lukumäärät
3.2 Otantamenetelmästä
Kansainvälisissä arviointihankkeissa suomalaiskoulujen osallistumisaste on ollut noin 90–100 % ja oppilaiden noin 85–90 %. Tässä tutkimuksessa tavoiteotoskooksi määriteltiin 3 600 oppilasta per luokkataso. Tämän saavuttamiseksi kouluja päätettiin otostaa 200 siten, että jokaisesta koulusta otostettiin mukaan yksi opetusryhmä 7. ja 8. luokalta. Opetusryhmän kokona käytettiin 18 oppilasta. Näin arvioiden tavoiteltavaksi oppilasmääräksi tuli 7200 oppilasta. Tavoiteotoskoon saavuttamisen edellytyksenä oli se, että koulu- ja oppilastason osallistumisasteiden tulisi olla hyvät (molemmissa noin 85 %).
Koska kysymyksessä oli kansallinen hanke ja koulujen sekä oppilaiden osallistuminen perustui vapaaehtoisuuteen, oli kuitenkin reaalista olettaa, että tavoitemäärät eivät täyttyisi kuten kansainvälisissä ja koulujen omaan toimintaan liittyvissä hankkeissa.
Otantamenetelmäksi valittiin kaksivaiheinen ryväsotanta. Otannan ensimmäisessä vaiheessa koulut valitaan käyttäen systemaattista ositettua PPS-otantaa (probability-proportional-to-size), jossa koulun kokotekijäksi on määritelty oppilaiden lukumäärä tutkimuksen kohteena olevalla luokka-asteella (tässä tutkimuksessa 7. vuosiluokka). Samanaikaisesti kullekin otoskoululle pyritään poimimaan varakouluja 1–2 mahdollisten poisjääntien vuoksi. Otannan toisessa vaiheessa kustakin poimitusta otoskoulusta valitaan yksi opetusryhmä yleensä joko yksinkertaisella satunnaisotannalla tai systemaattisella satunnaisotannalla. Tässä tutkimuksessa kouluja ohjeistettiin valitsemaan systemaattisesti ensisijaisesti C-luokka ja jos sitä ei ollut, niin B-luokka jne.
Osittamalla perusjoukko saadaan enemmän informaatiota perusjoukosta kuin pelkällä yksinkertaisella satunnaisotannalla. Se myös takaa koulujen edustettavuuden ositteittain ja pienentää otoksesta aiheutuvaa harhaa eli estimaattien keskivirhettä sekä mahdollistaa tulosten vertailtavuuden osioiden kesken. Otoskehikko jaetaan lisäinformaatiota (tässä suuralueet ja kuntaryhmät) käyttäen toisensa poissulkeviin osajoukkoihin. Kukin osajoukko toimii itsenäisenä otoskehikkona otoksen poiminnassa. Perusjoukon osittamisperusteina olivat EU:n ja Tilastokeskuksen yleisesti käyttämät suuralueet ja kuntaryhmät. Suuralueita ovat Helsinki-Uusimaa, Etelä-Suomi, Länsi-Suomi, Pohjois-Suomi ja Itä-Suomi sekä Ahvenanmaa. Suuralueet jaetaan vielä ositteen sisällä kaksiluokkaisen kuntaryhmän mukaan kaupunkimaisiin ja maaseutumaisiin kuntiin. Kaupunkimaiset kunnat käsittävät myös taajaan asutut kunnat. Kun Ahvenanmaa jätettiin pois ja Helsinki-Uudenmaan maaseutukoulut (3 kpl) yhdistettiin samaan ositteeseen kaupunkikoulujen kanssa, ositteita saatiin yhteensä seitsemän.
Tähän tutkimukseen koulut poimittiin vuoden 2020 keväällä julkaistusta Tilastokeskuksen 2019 oppilaitosrekisteristä käyttäen perusjoukkoa kuvaavana lukuna seitsemännen luokka-asteen oppilaita keväältä 2019 (taulukko 2).
Ensimmäiseksi varakouluksi nimettiin varsinaista otoskoulua seuraava koulu osituksen ja koulujen koon mukaan lajitellusta aineistosta. Toiseksi varakouluksi nimettiin 1. varakoulua seuraava koulu osituksen ja koulujen koon mukaan lajitellusta aineistosta. Koulun korvaaminen seuraavalla, samaa kokoluokkaa ja samalta alueelta sijaitsevalla koululla ei olennaisesti vahingoita satunnaisuutta. Kaikille varsinaisille otoskouluille saatiin määriteltyä vähintään yksi varakoulu, useammille jopa kolme tai enemmän. Varakoulua käytetään, jos otoskoulu ilmaisee riittävän aikaisessa vaiheessa halunsa kieltäytyä tutkimuksesta.
Koulututkimusten ja -kartoitusten perusteella perusopetusryhmän keskikooksi oli arvioitu noin 18–19 oppilasta. Tämä määrä oppilaita haluttiin kustakin koulusta molemmilta luokkatasoilta, mutta käytännössä poimittiin yksi luokka/opetusryhmä, jonka koko saattoi olla pienempi tai suurempi kuin em. oppilasmäärä. Tämän tutkimuksen perusjoukossa ns. pieniä kouluja (alle yhdeksän oppilaan kouluja) oli 7.-luokissa 115 ja 8.-luokissa 113 käsittäen yhteensä vastaavasti 319 ja 302 oppilasta. Kouluja, joissa molemmilla luokkatasoilla oli alle 9 oppilasta, oli 104. Pieniä kouluja ei kuitenkaan rajattu perusjoukon ulkopuolelle.
Opetusryhmän koon estimaatiksi arvioitiin 18 oppilasta, vaikka Opetushallituksen Opettajatiedonkeruu -aineiston mukaan yläkouluissa 7.-9. vuosiluokkien opetusryhmien keskimääräinen koko oli 16 oppilasta vuonna 2016.
Alueellisesti 7. ja 8. luokkien oppilaiden suhteelliset osuudet olivat hyvin lähellä toisiaan ja siksi päätettiin otoksen perusteena käyttää 7. luokan oppilasmäärän alueellista jakaumaa. Lisäksi oli logistisesti käytännöllisempää käyttää saman otoskoulun 7. ja 8. luokkaa.
Taulukko 2
Otantakehikon koulut ja opiskelijat sekä suunniteltu otos ositteittain
3.3 Toteutunut otos ja vastausprosentit
Alkuperäisestä 200 otantakoulusta 44 koulua kieltäytyi osallistumasta normiaineiston keruuseen. Näiden koulujen lisäksi 34 koulusta ei saatu minkäänlaista vastausta. Kun ensimmäiset ja toiset varakoulut otettiin käyttöön, mukaan lähteviä kouluja oli 167. Tässä vaiheessa koulujen osallistumisaste oli hyvä, lähes 84 prosenttia. Normiaineiston keruun ollessa jo käynnissä kouluja jäi vielä pois 42, joista 28 poisjäänyttä koulua selvisi vasta jälkeenpäin aineistoa analysoitaessa. Näin ollen olemassa olevien varakoulujen käytölle ei ollut mahdollisuutta. Osallistuvissa kouluissa tapahtui siis kohtuullisen huomattava kato, noin 37 prosenttia (taulukko 3). Kato ei jakaantunut kovin tasaisesti, Helsinki-Uusimaan (52 %) ja Etelä-Suomen kaupunkien (36 %) koulujen osallistuessa suhteellisesti muuta maata vähemmän. Toteutuneen otoksen edustavuus on kuitenkin kohtuullinen muiden osallistujien suhteen. Etelä-Suomen ulkopuolella suuralueisiin ja kuntaryhmiin osallistuvia kouluja oli tasaisesti siten, että suuralueiden osallistumisprosentti asettui 69 % ja 100% välille. Tavoiteotoskoko oli 3600 oppilasta molemmilta luokka-asteilta, mutta lopullisen otannan kooksi jäi 1389 (39%) 7. luokan ja 1215 (34%) 8. luokan oppilaaseen. Oppilaiden osalta osallistumisprosentti vaihteli 20–100 % suuralueesta riippuen. Osallistumisaktiivisuus oli korkein Etelä- ja Länsi-Suomen maaseutualueilla ja vähäisin Helsinki-Uusimaan ja Etelä-Suomen kaupunkien alueilla. Osallistujien absoluuttisissa määrissä Etelä-Suomikin on kuitenkin kohtuullisen hyvin edustettuna.
Osallistumisen vapaaehtoisuuden lisäksi katoa saattoivat lisätä myös muiden menetelmien kehittämiseen ja käyttöönottoihin tapahtuvat tutkimukset, jotka tapahtuivat erityisesti Helsinki-Uusimaan ja Etelä-Suomen kaupungeissa. Tarkasteltaessa lopullisen normiaineiston sisällä (kts. tarkemmin luku 4) ositteiden eroja, huomasimme, että 7. luokalla eri ositteiden oppilaat suoriutuivat DigiLukiseulan tehtävistä samalla tasolla. 8. luokalla kolmessa tehtävässä suoriutumisessa oli tilastollisesti merkitsevä ero, mutta varianssianalyysien (ANOVA) efektikoot olivat hyvin pieniä (osittainen eta:n neliö .01–.03). Helsinki-Uusimaan ja Etelä-Suomen kaupungit eivät eronneet 7. tai 8. luokalla missään DigiLukiseulan osiossa merkitsevästi muista Suomen osista. Luultavasti näiden alueiden suhteellisesti vähäisempi (mutta absoluuttisesti merkittävä) osallistuminen ei vääristä tuloksia vaan DigiLukiseulan normiaineisto on luotettava.
Taulukko 3
Yläkoulun DigiLukiseulan otannan koulujen ja opiskelijoiden lukumäärät ositteittain, suunniteltu ja toteutunut otos
