3.1 Otoksen määrittely ja perusjoukko
Kohdeperusjoukko valtakunnalliseen DigiLukiseula – Luku- ja kirjoitustaidon arviointimenetelmä nuorille ja aikuisille -hankkeeseen määriteltiin siten, että se sisältää 1) suomenkielellä opetusta saavat opiskelijat, jotka 2) ovat yhdeksännellä vuosiluokalla ja 3) ovat läsnä koulussa tutkimuksen suorittamisajankohtana, joksi määrättiin 4) 15.2.–15.3. 2019. Perusjoukkoon sisällytettiin kaikki peruskoulun yhdeksännellä vuosiluokalla olevat opiskelijat pois lukien erityiskoulujen ja -luokkien henkisesti, emotionaalisesti tai fyysisesti toimintarajoitteiset opiskelijat. Poisluettuja olivat myös ruotsinkieliset sekä kielikoulut, joissa opetuskielenä on jokin muu kieli kuin suomi.
Koska perusjoukko määritetään oppilaitosrekisteristä, otantayksiköksi valittiin opetusryhmä. Siten perusjoukko käsitti vuonna 2003 syntyneet opiskelijat suomenkielisissä kouluissa. Perusjoukon ulkopuolelle rajattiin erityiskoulujen, kielikoulujen ja ruotsinkielisten koulujen lisäksi myös Ahvenanmaan koulut (taulukko 1). Rajauksen jälkeen perusjoukon koko oli 657 koulua ja 54 193 opiskelijaa. Yhteensä perusjoukon ulkopuolelle jäi 9.-luokkalaisista taulukossa 1 luetellut ryhmät.
Taulukko1. Perusjoukon ulkopuolelle rajattujen koulujen ja opiskelijoiden lukumäärät
3.2 Otoskoko, osittaminen ja ositteet
Kansainvälisissä arviointihankkeissa suomalaiskoulujen osallistumisaste on ollut noin 90–100 % ja opiskelijoiden noin 85–90 %. Tässä tutkimuksessa tavoiteotoskooksi määriteltiin 2 000 opiskelijaa. Tämän saavuttamiseksi kouluja päätettiin otostaa 150 siten, että jokaisesta koulusta otostettiin mukaan yksi opetusryhmä. Kun kysymyksessä oli kansallinen hanke ja koulujen osallistuminen perustui vapaaehtoisuuteen, tavoiteotoskooksi asetettiin 150 koulua ja opetusryhmää, käsittäen 2 700 opiskelijaa.
Osittamalla perusjoukko saadaan enemmän informaatiota perusjoukosta kuin pelkällä yksinkertaisella satunnaisotannalla. Se myös takaa koulujen edustettavuuden ositteittain ja pienentää otoksesta aiheutuvaa harhaa eli estimaattien keskivirhettä sekä mahdollistaa tulosten vertailtavuuden osioiden kesken. Otoskehikko jaetaan lisäinformaatiota (tässä suuralueet ja kuntaryhmät) käyttäen toisensa poissulkeviin osajoukkoihin. Kukin osajoukko toimii itsenäisenä otoskehikkona otoksen poiminnassa. Perusjoukon osittamisperusteina olivat EU:n ja Tilastokeskuksen yleisesti käyttämät suuralueet ja kuntaryhmät. Suuralueita ovat Helsinki-Uusimaa, Etelä-Suomi, Länsi-Suomi, Pohjois-Suomi ja Itä-Suomi sekä Ahvenanmaa. Suuralueet jaetaan vielä ositteen sisällä kaksiluokkaisen kuntaryhmän mukaan kaupunkimaisiin ja maaseutumaisiin kuntiin. Kaupunkimaiset kunnat käsittävät myös taajaan asutut kunnat. Kun Ahvenanmaa jätettiin pois ja Helsinki-Uudenmaan maaseutukoulut (3 kpl) yhdistettiin samaan ositteeseen kaupunkikoulujen kanssa, ositteita saatiin yhteensä seitsemän.
3.3 Otantamenetelmä
Tähän tutkimukseen koulut poimittiin vuoden 2016 syksyllä kerätystä ja heinäkuussa 2018 täydennetyillä tiedoilla olevasta oppilaitosrekisteristä käyttäen perusjoukkoa kuvaavana lukuna seitsemännen luokka-asteen opiskelijoita, jotka olivat yhdeksännellä vuosiluokalla keväällä 2019.
Ensimmäiseksi varakouluksi nimettiin varsinaista otoskoulua seuraava koulu osituksen ja koulujen koon mukaan lajitellusta aineistosta. Toiseksi varakouluksi nimettiin varsinaista otoskoulua edeltävä koulu osituksen ja koulujen koon mukaan lajitellusta aineistosta. Koulun korvaaminen seuraavalla tai edellisellä, samaa kokoluokkaa ja samalta alueelta sijaitsevalla koululla ei olennaisesti vahingoita satunnaisuutta. Varakoulua tulee käyttää, jos otoskoulu ilmaisee riittävän aikaisessa vaiheessa halunsa kieltäytyä tutkimuksesta.
Koulututkimusten ja -kartoitusten perusteella perusopetusryhmän keskikooksi oli arvioitu noin 18–19 opiskelijaa. Tämä määrä opiskelijoita haluttiin kustakin koulusta, mutta käytännössä poimittiin yksi luokka/opetusryhmä, jonka koko saattoi olla pienempi tai suurempi kuin em. opiskelijamäärä. Tämän tutkimuksen perusjoukossa ns. pieniä kouluja (alle yhdeksän opiskelijan kouluja) oli 21 käsittäen yhteensä 88 opiskelijaa. Pieniä kouluja ei kuitenkaan rajattu perusjoukon ulkopuolelle.
Opetusryhmän koon estimaatiksi arvioitiin 18 opiskelijaa, vaikka Opetushallituksen Opettajatiedonkeruu -aineiston mukaan yläkouluissa 7.–9. vuosiluokkien opetusryhmien keskimääräinen koko oli 16 opiskelijaa vuonna 2016.
3.4 Otantakehikko ja suunniteltu otoksen koko
Otantayksikkö oli opiskelija ja otanta on poimittu palauttamatta. Kehikkoperusjoukossa oli 54 193 opiskelijaa ja 657 koulua. Tavoiteotoskoon (2 000 opiskelijaa) saavuttamiseksi suunniteltu otoskoko oli 150 koulua ja 2 700 opiskelijaa. Tavoiteotoskoon saavuttamisen edellytyksenä oli se, että koulu- ja opiskelijatason osallistumisasteiden tulisi olla hyvät (molemmissa noin 85 %).
Taulukko 2. Otantakehikon koulut ja opiskelijat sekä suunniteltu otos ositteittain
3.5 Toteutunut otos ja vastausprosentit
Alkuperäisestä 150 otantakoulusta 55 koulua kieltäytyi osallistumasta normiaineiston keruuseen. Kun ensimmäiset ja toiset varakoulut otettiin käyttöön, mukaan lähteviä kouluja oli 134. Tässä vaiheessa koulujen osallistumisaste oli hyvä, lähes 90 prosenttia. Normiaineiston keruun ollessa jo käynnissä kouluja jäi pois 31, joista 24 poisjäänyttä koulua selvisi vasta jälkeenpäin aineistoa analysoitaessa. Näin ollen olemassa olevien varakoulujen käytölle ei ollut mahdollisuutta. Katoa siis tapahtui huomattavasti, noin 31 prosentin verran jo koulujen osallistumisen suhteen. Kato jakaantui kuitenkin suhteellisen tasaisesti suuralueittain/ ositteittain, minkä takia toteutuneen otoksen edustavuutta voidaan pitää hyvänä. Suhteessa suuralueisiin ja kuntaryhmiin osallistuvia kouluja oli tasaisesti siten, että suuralueiden osallistumisprosentti asettui 55,6–70 prosentin välille. Ainoan poikkeuksen teki Etelä-Suomen maaseutu, jossa osallistumisprosentti oli sata, eli neljä koulua neljästä osallistui. Tavoiteotoskoko oli 2000 opiskelijaa, mutta lopullisen otannan kooksi jäi 1317 opiskelijaa. Opiskelijoiden osalta osallistumisprosentti vaihteli 44,4–62,2 prosentin välillä suuralueesta riippuen. Osallistumisaktiivisuus oli korkein Pohjois- ja Itä-Suomen kaupunkialueella (62,2 %), ja vähäisin Pohjois- ja Itä-Suomen maaseutualueella (44,4 %). Suuralueesta riippuen opiskelijoita jäi pois melko tasaisesti jokaiselta suuralueelta. Kaikkiaan voidaan ajatella otoksen edelleen edustavan kattavasti koko Suomen perusopetuksen 9. luokan opiskelijoita. Osallistumisen vapaaehtoisuuden lisäksi katoa lisäsi myös ajankohta: samaan aikaan Suomen yläkouluilla oli käynnissä myös kansallinen Terveyden ja hyvinvoinnin laitoksen tutkimus sekä kansainvälinen TIMSS-tutkimus (Trends in International Mathematics and Science Study) aineistonkeruineen, joihin koulutuksen järjestäjät olivat velvoitettuja osallistumaan. Lisäksi samaan jaksoon osui vielä yhdeksänsien luokkien yhteishaku toisen asteen koulutuksiin.
Taulukko 3. Digilukiseulan otannan koulujen ja opiskelijoiden lukumäärät ositteittain, suunniteltu ja toteutunut otos
3.6 Testausjärjestelyt
Testitilannetta ohjanneet opettajat vastasivat testitilanteen valvonnasta, sekä lyhyestä alustuksesta, jossa he kertoivat, että tehtäväkokonaisuuksia on seitsemän ja että ohjeet annetaan sekä kirjoitetussa (näytöllä) että puhutussa muodossa (kuulokkeiden kautta). Opiskelijoita kehotettiin kuuntelemaan ohjeet rauhassa loppuun asti, ja seuraamaan niitä myös näytöltä. Lisäksi kerrottiin, että tehtävät tulevat kaikille opiskelijoille samassa järjestyksessä, eikä niitä pääse itse valitsemaan. Järjestelmä aloitti automaattisesti seuraavan tehtävän edellisen päätyttyä. Opettajille annettiin taulukko, jossa oli esitetty jokainen tehtävä esiintymisjärjestyksessä sekä tehtävien sisällöt, aikarajat ja arvioidut kestot (arviot oli tehty tehtävien pilotoinnista saadun aineiston perusteella). Laitteistovaatimuksiksi oli asetettu tietokone, näppäimistö, erillinen hiiri ja kuulokkeet.
Arvioinnin luotettavuutta lisäsi se, että kaikki ohjeet ja harjoitteet tulivat opiskelijoille samalla tavoin Arvio-järjestelmän kautta, näin testin esittämisen tapaan ei vaikuttanut ohjeiden esittämistapojen mahdolliset vaihtelut. Ohjeet olivat saatavilla sekä nauhoitetussa muodossa että tekstimuodossa, opiskelija pystyi siis sekä lukemaan ohjeet ja/tai kuuntelemaan ne. Äänikuvaketta painamalla ohjeita oli mahdollisuus kuunnella niin monta kertaa uudestaan kuin siihen oli tarvetta.