Luotettavan observointityökalun kehittäminen

Kuvio 5. Yhteenveto kolmesta luokkahuonevuorovaikutuksen havainnointiin soveltuvasta observoin- tityökalusta.

Edellä esiteltyä kolmea observointityökalua yhdistää erilaisuuksistaan huoli- matta samankaltainen rakenne ja käyttötapa, tutkimuspohjaisuus sekä pyrkimys määrittää tehokasta ja laadukasta opettamista. Nämä observointityökalut koostu- vat osioista, jotka määrittävät opettamisen ja oppimisen osa-alueita. Nämä osiot jakautuvat edelleen pienempiin indikaattoreihin, joita observoidaan. Myös obser- voinnin suorittamisen tapa on samankaltainen. Observoija havainnoi joko luokka- huoneessa tai videolta tietyn ajanjakson, minkä jälkeen pisteytetään sen jakson mukainen toiminta saadun todistusaineiston ja pisteytyksen mukaan. (Mashburn ym. 2014.) Esitellyt observointityökalut taas eroavat ainakin pisteytystavan sekä koulutuksen ja sertifioinnin suhteen. Näiden kolmen observointityökalun lisäksi olen tutustunut myös muihin observointimalleihin ja pisteytystapoihin. Tämän esiymmärryksen myötä olen luonut pohjaa draamatoiminnan aikaisen observoin- tityökaluni kehittämiselle erityisesti observointityökalun rakenteen ja toimintape- riaatteen kannalta^. CLASS-observointityökalun (Pianta ym. 2008) avulla löysin sen teoreettisena pohjana toimivan TTI-viitekehyksen, jota hyödynsin tutkimuk- sessani. FFT-observointityökalun avulla taas löysin FFT:n pohjalta tiivistetyt ge- neeriset observointiin tarkoitetut Framework for Teaching -klusterit (The Fra- mework for Teaching Clusters. Six cluster supporting high level learning, Dan- ielson 2018), joita hyödynsin kehittämistyössä (ks. luku 5.1.4).

systeemin metodologisesta laadusta ja pyrkiä minimoimaan kaikki mahdolliset mittausvirheiden aiheuttajat.

Joe ja kumppanit (2013, 6) ovat koonneet yhteen käytännön ehdotuksen obser- vointityökalun kehittämiseen tutkimusten pohjalta (ks. myös Horan & Ferraren 2013). He näkevät, että seuraavien viiden kohdan tulisi löytyä observointityökalun kehittämisprosessista:

1. Observointisysteemin sisällön ja observoinnin kohteen täsmentäminen 2. Käyttötarkoituksen rajaaminen

3. Observointityökalussa käytettävän asteikon ja skaalan määrittäminen 4. Sisältöä koskevan palautteen kerääminen asiantuntijoilta

5. Pilotointi ja kehittäminen videoiden tai luokkahuoneobservoinnin avulla Nämä yleisluontoiset viisi kohtaa määrittävät kuitenkin vain osan observointityö- kalun kehittämisessä huomioon otettavia seikkoja, eivätkä ne riitä kattamaan koko kehittämisprosessia. Dobbelaer (2019) onkin lähestynyt väitöskirjassaan obser- vointityökaluja kehittämiensä laatukriteerien näkökulmasta. Hän on hyödyntänyt tämän teoreettisen viitekehyksen rakentamisessa arviointiin ja observointityöka- luihin liittyvää tutkimusta ja kirjallisuutta. Sen tavoitteena on tukea observointi- työkalujen kehittämistä ja tarkastelua.

Taulukko 7. Observointityökalun laatukriteerit (mukaillen Dobbelaer 2019, 21–27 sekä Bell ym. 2019).

Huomioitava ulottuvuus Kehittämistoimet Merkitys Käyttötarkoitus -Tarkoituksen rajaaminen ja

avaaminen -Käyttäjä kykenee valitsemaan tarkoitukseen sopivan työkalun Teoreettinen tausta -Vankan teoreettisen taustan

rakentaminen

-Käsitteiden operationali- sointi

-Käyttäjä kykenee arvioimaan työkalua teoreettista taustaa vasten sekä ymmärtämään, mihin observointityökalu pohjaa Osa-alueet ja osiot -Selkeiden ja rajattujen ha-

vainnoinnin kohteiden mää- rittäminen

-Käyttäjä kykenee suorittamaan haluttujen kohteiden observoinnin

Observoinnin standardointi

ja laadun varmistus -Selkeiden observointia kos- kevien ohjeiden luominen -Manuaalin kirjoittaminen -Koulutuksen luominen

-Käyttäjien välisten eroavaisuuk- sien vaikutus pysyy minimissä ja tulokset ovat näin luotettavia

Taulukkoon 7 olen kerännyt Dobbelaerin (2019, 21–27) määrittämiä obser- vointityökalun laatuun vaikuttavia tekijöitä. Yhdeksi keskeiseksi laatukriteeriksi ja näin observointityökalun kehittämisen lähtökohdaksi nousee observointityöka- lun teoreettisen viitekehyksen rakentaminen (Dobbelaer 2019, 21). Teoreettisen viitekehyksen kautta voidaan määritellä, millaisista elementeistä ja osatekijöistä havainnoitava kohde koostuu. Keskeistä on, että teoreettinen tausta kattaa koko tutkittavan ilmiö ja siinä avataan keskeiset käytettävät käsitteet. (Check & Schutt

2012, neljäs luku; Metsämuuronen 2000, 11–14.) Observointityökalun teoreetti- nen viitekehys rajaa näin observointityökalun käyttötarkoitusta ja kohdetta sekä työkalun sisältöä eli observoinnin kohteita (Dobbelaer 2019, 21).

Eri tutkijat ovat määritelleet eri tekijöitä laadukkaan opetuksen keskeisiksi as- pekteiksi, joten observointityökalun kehittäminen vaatii valittujen osa-alueiden rajausta. Yleisimmät yhdeksän opetuksen osa-aluetta ovat Bellin ja kollegoiden (2019) tekemän yhteenvedon mukaan 1) turvallinen ja stimuloiva ilmapiiri, 2) ryhmän ohjaaminen, 3) oppilaiden sitouttaminen ja motivointi, 4) opetuskeskus- telu ja dialogisuus, 5) opetusmenetelmät ja aineenhallinta, 6) oppilaiden ajattelun haastaminen, 7) oppimisen arviointi, 8) eriyttäminen ja 9) oppimisstrategioiden ja itsesäätelyn opettaminen. Observointityökalu tai -systeemi voi keskittyä tietyn osa-alueen tarkkailuun, tai kokonaisvaltaisemman kuvan saamiseksi se voi kattaa laajan kirjon eri osa-alueita. Kehittäjän tulee olla tietoinen myös siitä kontekstista ja kulttuurisidonnaisuudesta, johon työkalua ollaan kehittämässä, sillä jokaisen observointityökalun takana on tietty oppimiskäsitys sekä ajatus siitä, mitä on laa- dukas opetus ja oppiminen. (Bell ym. 2019.)

Teoreettisen viitekehyksen pohjalta valittujen observoitavien kohteiden ope- rationalisointi eli havainnoinnin kohteiden muodostaminen on tärkeää, jotta ob- servoija voi havainnoida haluttua kohdetta (Dobbelaer 2019, 40; Metsämuuronen 2000, 14–15). Havainnoitavien kohteiden muodostamisessa tulisi myös kiinnittää huomiota siihen, että ne ovat selkeästi ja yksiselitteisesti määritettyjä sekä oikein muodostettuja. Ne tulee muotoilla selkeästi väärinymmärrysten välttämiseksi ja niiden tulee mitata yksittäistä käyttäytymistä kerrallaan. Näin ne eivät sisällä mo- niselitteisyyttä tai monimutkaisia kielellisiä rakenteita. (Dobbelaer 2019, 40.)

Tämän lisäksi observointitapahtumaan liittyvien standardien luominen koskien näytettä eli observointisyklien määrää ja kestoa sekä pisteytyksen laadun varmis- tus kattavan manuaalin avulla auttaa pienentämään havainnoijien välisiä eroavai- suuksia observoidessa (Dobbelaer 2019, 21–27; ks. myös Bell ym. 2019). Manu- aalissa tulisikin näin olla määriteltynä observointityökalun käyttötarkoitus sekä observoinnin suorittamiseen liittyvät ehdot. Näitä ovat muun muassa observoijien määrä, observoitavien tuntien määrä, observoinnin kesto sekä todisteiden kirjaa- miseen liittyvät toimenpiteet. Manuaalista tulisi myös löytyä observointityöka- luun ja sen käyttöön liittyvät tieteelliset artikkelit sekä eriteltynä luotettavuuteen vaikuttavat tekijät sekä luotettavuuteen liittyvät laskelmat. Näin observointityö- kalun käyttäjä voi halutessaan arvioida työkalun, sen tulosten sekä niistä tehtävien päätelmien luotettavuutta. (Dobbelaer 2019, 23–26, 146.)

Kattavan manuaalin lisäksi koulutus, jossa kokeneempi tai sertifioitu koulut- taja opastaa observointityökalun käyttöön, edistää observoijien havaintojen vä- listä yhtenevyyttä (Gitomer ym. 2014; Liu ym. 2019). Dobbelaer korostaa, että observointityökalua tulee käyttää siinä kontekstissa, johon se on tarkoitettu, ja sen

Edellä esiteltyjen observointityökalujen eri ulottuvuuksiin liittyvien kriteerien lisäksi Dobbelaer on määritellyt laatukriteerit, jotka koskevat observointityökalun käyttöön liittyvää reliabiliteettia ja validiteettia. Observointityökalussa tulee olla selkeät menettelytavat, joilla testataan ja parannetaan observointityökalun luotet- tavuutta, sekä eritellyt tavat, joilla työkalun luotettavuus osoitetaan. (Dobbelaer 2019, 26–33, 146.) Myös Joe ja kollegat (2013, 3–6) ovat nostaneet luotettavuu- den varmistamisen yhdeksi observointityökalun kehittämisen perustaksi.

Tutkimuksessani nojaudun Dobbelaerin määrittämiin observointityökalun eri ulottuvuuksiin liittyviin laatukriteereihin syklisesti tapahtuvan kehitystyön ai- kana. Observointityökalun teoreettinen tausta on avattu kokonaisuudessaan tämän väitöskirjan johdannossa, teoreettisessa taustassa luvussa 3 sekä kehittämissyk- leissä luvussa 5. Lisäksi olen pyrkinyt raportoimaan avoimesti ja tarkasti obser- vointityökalun kehittämisen vaiheet eri sykleissä. Palautetta tutkimusprosessin eri vaiheissa on kerätty DRAO-tutkimusryhmän toisen jäsenen Miia Kaasisen lisäksi KEHU-tutkimushankkeen tutkimusavustajilta sekä asiantuntijoilta. Varmistaak- seni observointityökalun oikeaoppisen ja luotettavan käytön olen laatinut manu- aalin, jossa määritetään tarkasti observoinnin suorittamiseen ja pisteyttämiseen liittyvät käytännöt. Tutkimuksen luotettavuutta tarkastellaan tarkemmin luvussa 6. Väitöstutkimukseni on kehittämistutkimus, eikä se sisällä työkalun validointi- vaihetta, joka on jatkotutkimusaihe.

4 TUTKIMUKSEN TOTEUTUS

Määrittelen ja avaan tässä luvussa tutkimukseni metodologisia lähtökohtia, hyö- dyntämääni design-tutkimusstrategiaa sekä sen keskeisiä piirteitä. Esittelen sen jälkeen tutkimuksen aineistoa, sen keruuta sekä tutkimukseeni osallistujia. Luvun lopuksi avaan aineiston analysointia. Tarkoituksena on avata lukijalle, millaisia design-tutkimuksen piirteitä tässä tutkimuksessa ilmenee sekä millaiseen aineis- toon sekä aineiston analysointiin pohjaten observointityökalun kehitystyötä on tehty.

4.1 Tutkimuksen metodologiset lähtökohdat ja valinnat