Tutkimuksen luotettavuuden arviointi ja varmistaminen ovat keskeinen osa tutki- musprosessia. Objektiivisuuden sekä tutkimuksen toistettavuuden ja pätevyyden varmistaminen on perinteisesti tieteellisen tutkimuksen lähtökohta laatua ja luo- tettavuutta tarkasteltaessa, erityisesti määrällisen tutkimuksen parissa. Tutkijan tehtävänä on tällöin tietoisesti pohtia ja tuoda esille tutkimuksen eri vaiheissa te- kemiään ratkaisuita ja valintoja. (Hirsjärvi ym. 2007, 226–228.) Luotettavuuden tarkasteluun vaikuttavat kuitenkin tutkimusperinne sekä tutkimuksessa hyödyn- nettävät strategiat.
Tutkimukseni on laadullinen tutkimus, jossa hyödynnän kasvatustieteellisen design-tutkimuksen tutkimusstrategiaa. Laadullisen tutkimuksen luotettavuuden arviointiin ei ole olemassa yksiselitteistä tapaa, mutta luotettavuuden tarkastelun yhteydessä on usein hyödynnetty laatukriteerejä, joita ovat uskottavuus, siir- rettävyys, luotettavuus ja varmuus sekä vahvistettavuus. (Tuomi & Sarajärvi, 2009, 136–139.) Näitä laatukriteerejä voidaan hyödyntää myös kasvatustieteellis- ten design-tutkimusten luotettavuustarkastelussa (ks. esim. McKenney & Reeves
2019, 260; Pernaa 2013, 20). Kiviniemi (2018, 243) kuitenkin korostaa, että läh- tökohtaisesti luotettavuutta tulisi peilata suhteessa tutkimusotteen eli design-tut- kimuksen erityispiireisiin. Monivaiheisen ja kompleksisen design-tutkimuksen toteuttaminen tuo haasteita tutkimuksessa asetettujen tutkimusperiaatteiden nou- dattamiselle, ja ne pitäisi huomioida luotettavuuden tarkastelussa. Näistä syistä olen päätynyt tarkastelemaan tutkimukseni luotettavuutta design-tutkimuksen nä- kökulmasta sen ominaispiirteisiin tukeutuen. Pohjaan tarkastelussani Kiviniemen (2018) sekä Nieveenin ja Folmerin (2013) näkemyksiin design-tutkimuksen laa- tukriteereistä, joissa avataan tarkemmin luottavuuteen vaikuttavia tekijöitä sekä prosessin että syntyneen tuotoksen näkökulmasta. Nämä näkemykset ovat yhden- suuntaisia edellä mainittujen laadullisen tutkimuksen kriteerien kanssa, mutta ne kattavat paremmin design-tutkimuksen erityispiirteet ja vastaavat näin paremmin luottavuuden tarkastelun tarpeita.
Tarkastelen seuraavaksi, kuinka systemaattisesti olen onnistunut noudatta- maan kasvatustieteellisen design-tutkimuksen strategiaan liitettyjä ominaispiir- teitä. Tarkasteluni jäsentyy kolmen design-tutkimuksen laatukriteerin kautta.
Nämä kriteerit ovat 1) prosessivaliditeetti, 2) käytännöllinen validiteetti ja 3) yleistettävyys. Prosessivaliditeettiin liittyy tutkimusprosessin johdonmukaisen etenemisen ja kehittämistyön laadun varmistaminen eri tavoin. Käytännöllisen va- liditeetin kautta tarkastellaan kehitetyn design-tuotoksen käytettävyyttä sekä tut- kimuksessa asetettujen vaatimusten täyttymistä. Yleistettävyyden kriteerit täytty- vät, jos tutkimus on kuvattu riittävän tarkasti ja se tuottaa sellaista tietoa, joka mahdollistaa tutkimuksen toteuttamisen toisessa kontekstissa. (Kiviniemi 2018, 243–248; ks. myös Rukajärvi-Saarela ym. 2015.)
Design-tutkimuksen prosessivaliditeetin kannalta keskeistä on, että tutkimus on suoritettu johdonmukaisesti ja laadukkaasti tutkimusprosessin alusta lähtien tutkimuksen tarkoitusta palvellen. Tutkimukseni alkutaipaleella valitsin kasvatus- tieteellisen design-tutkimuksen strategian tutkimukseni kohteen ja tarkoituksen mukaan. Design-tutkimuksessa tuotetaan syklisen kehittämisen kautta teoria- ja tutkimuspohjaisia mutta käytäntöön soveltuvia toimintamalleja, tietoutta näistä malleista sekä niiden suunnittelusta ja kehittämisestä (Plomp 2013, 15). Tästä syystä näin design-tutkimuksen palvelevan tutkimukseni tarkoitusta eli obser- vointityökalun kehittämistä sekä laajemmin draamakasvatuksen didaktiikan ke- hittämistä. Lisäksi arvioin tutkimukseni alkuvaiheessa tutkimukseni toteuttamis- mahdollisuuksia väitöstutkimuksena muun muassa SWOT-analyysin avulla, jossa kartoitetaan tutkimuksen onnistumiseen vaikuttavia positiivisia ja negatiivisia te- kijöitä (ks. Kelly 2013, 136–138; McKenney & Reeves 2019, 100).
Tutkimusprosessini aikana mukailin syklistä kasvatustieteellisen design-tutki- muksen tutkimusprosessia (McKenney & Reeves 2019, 83) suunnitelmallisesti, minkä näen lisäävän tutkimukseni luotettavuutta. Kehittämissykleissäni toistui
versioon (The Design-Based Research Collective, 2003). Olen huomioinut de- sign-tutkimuksen syklisen luonteen kehittämisprosessin osalta monografiamuo- toisen väitöstutkimukseni raportoinnissa.
Design-tutkimuksen yhtenä heikkoutena ja haasteena mainitaan liian suuret tai laajat kehittämistehtävät, mikä vähentää tutkimuksen luotettavuutta (McKenney
& Reeves 2020). Lisätäkseni tutkimukseni luotettavuutta pilkoin tutkimusproses- sin aikaiset kehittämistehtäväni osatekijöihin. Määritin näin jokaiselle kehittämis- syklille pääkehittämistehtävän enkä pyrkinyt kehittämään observointityökaluni kaikkia osa-alueita samanaikaisesti tai heti lopulliseen muotoonsa. Lisäksi koh- distin myös observointityökaluni formatiivisen arvioinnin syklien aikana tarpeen- mukaisesti. Tämä rajasi myös syntyneen aineiston määrää ja helpotti kehittämis- työn hallittavuutta. (Nieveen & Folmer 2013, 156–160.)
Prosessin validiteettiin vaikuttavat syklien tarkoituksenmukaisen ja johdonmu- kaisen etenemisen lisäksi myös kehitystyössä tehtyjen syklien ja testausten määrä sekä näissä käytetyt menetelmät. Tutkimuksessani kehitin observointityökaluani kahden kehittämisvaiheen ja niihin sisältyvien seitsemän kehittämissyklin avulla.
Kehittämisprosessin aikana tein jatkuvaa arviointia kehittämissyklien aikana koo- dauskokeiluiden ja työparini rinnakkaiskoodausten avulla. Syklien lopuksi hyö- dynsin ulkopuolisten osallistujien palautetta/testaamista. Syklien lopuksi toteutin formatiivista arviointia myös palaamalla asettamiini tutkimustehtäviin, arvioi- malla niiden toteutumista ja päättämällä kehittämistyön jatkamisesta. Lisäksi olen hyödyntänyt tutkimukseni luettavuutta lisäävinä tekijöinä laadullista ja määräl- listä aineistoa ja menetelmiä, jotka mahdollistavat monipuolisemman ja luotetta- vamman kuvan muodostamisen tutkimuksen kohteesta. (Edelson 2002; Pernaa 2013, 21–22; The Design-Based Research Collective 2003.) Tutkimukseni luotet- tavuutta olisi kuitenkin lisännyt systemaattisempi aineistojen ja menetelmien käyttö kehittämistyön aikana, tosin tämä olisi kasvattanut tutkimusprosessin ai- kana vaadittavia resursseja.
Kasvatustieteelliseen design-tutkimukseen kuuluu yhteistyö sekä kehittäminen tutkimuksen ulkopuolisten toimijoiden kanssa (McKenney & Reeves 2020). Pro- sessivaliditeetin näkökulmasta keskeistä on, että valitut yhteistyökumppanit ovat relevantteja tutkimuskohteen kannalta ja että yhteistyö on sujuvaa (Kiviniemi 2018, 244–245). Kehittämisprosessissani osallisina olivat väitöstutkija DRAO- kollegani Miia Kaasinen. Lisäksi työkaluni testaamiseen osallistui luokanopetta- jaopiskelijoista koostuva KEHU-tutkimustiimi, ja sitä on kehitetty yhteistyössä draamakasvatuksen ja luokkahuoneobservoinnin asiantuntijoiden kanssa. Luotet- tavuuden lisäämiseksi olen avannut raportoinnissa osallisten soveltuvuutta sekä osallistumista kehittämisprosessiin luvuissa 4 ja 5.
Tutkimusprosessini luotettavuutta lisäsi erityisesti sujuvasti edennyt yhteistyö Miia Kaasisen kanssa. DRAO-tutkimusryhmässä tekemämme yhteiset päätökset vaativat paljon perusteluita, molempien jäsenten hyväksyntää ja erilaisten näkö- kantojen huomioon ottamista sekä synnyttivät myös täysin uutta tietoa. Lisäksi
DRAO-tutkimusryhmä mahdollisti jatkuvan arvioinnin sekä joustavuuden kehit- tämistyössä tutkimusryhmän koon ja tasa-arvoisuuden vuoksi. Työskentelys- sämme korostuivat vahvasti jaettu asiantuntijuus sekä molempien osaamisten hyödyntäminen, mikä liitetään kehittämisprosessin luotettavuuteen (ks. Kiviniemi 2018, 244–245; McKenney & Reeves 2020). Olen pyrkinyt raportoinnissa avoi- mesti kuvaamaan erityisesti tutkimusryhmämme yhteiset työvaiheet sekä sen vai- kutukset omaan työhöni jokaisen kehitysvaiheen aikana.
Kuitenkin tiedostan, että ulkopuolisten osallistujien hyödyntäminen syste- maattisemmin ja suunnitelmallisemmin olisi lisännyt tutkimukseni luotettavuutta, sillä ulkopuolisten osallistujien osuus oli tutkimuksessani vähäinen. Myös pääasi- allisen testaajani Miia Kaasisen suorittamien rinnakkaiskoodauksien luotettavuu- teen voi suhtautua osin kriittisesti. Miia Kaasisella on oman työkalunsa rinnakkai- sen kehittämisen kautta jo valmiiksi osaamista ja tietoa työkaluni käyttöperiaat- teista. Näin ollen on vaikea arvioida, miten täysin ulkopuolinen osallistuja olisi ottanut työkaluni haltuun. Kuitenkin prosessin hallittavuuden kannalta on tärkeää rajata tutkimukseen osallistujia sekä arvioinnin kohdetta, jotta saatu aineisto pal- velee ja mahdollistaa kehittämistyön. (Edelson 2002; Nieveen & Former 2013, 156–160.) Tämä vaatii tarkkaa tasapainoilua, jotta ulkopuolisten osallistujien, ai- neiston ja menetelmien suuresta määrästä ei tule itsetarkoitusta.
Kasvatustieteellisessä design-tutkimuksessa arvioidaan prosessin lisäksi kehi- tetyn design-ratkaisun käytännöllisyyttä ja hyödyllisyyttä käytännöllisen validi- teetin kautta. Käytännöllistä validiteettia lisäävät seuraavat seikat: design-ratkai- sulle on todellinen tarve, se on kehitetty teoriaan pohjaten, ratkaisu toimii aidoissa tilanteissa ja sen käytöllä on vaikuttavuutta. (Anderson & Shattuck 2012; Kivi- niemi 2018, 246.) Käytännöllisyyden ja vaikuttavuuden kannalta tässä tutkimuk- sessa arvioidaan ja raportoidaan vain odotettua vaikuttavuutta ja tuloksia koskevia kriteerejä. Vasta työkalun validoinnin ja käyttöönoton jälkeen voin ottaa kantaa varsinaisiin toteutuneisiin tuloksiin ja työkalun todelliseen toteutuneeseen vaikut- tavuuteen. (ks. Nieveen & Folmer 2013, 160–161.)
Tutkimuksessani tarve observointityökalun kehittämiselle nousi DRAO-tutki- musryhmämme tarpeesta, joten alustavan tutkimusvaiheen aikana suoritettu tar- vekartoitus olisi parantanut tutkimukseni luotettavuutta. Toisaalta tutkimukseni aloittamishetkellä ei ollut tarjolla observointityökalua, joka olisi vapaasti käytet- tävissä sekä soveltuisi suomalaisen peruskoulun kontekstiin ja draamatoiminnan aikaisen ryhmän ohjaamisen systemaattiseen havainnointiin. Tutkimuskäytön li- säksi observointityökalua on mahdollista käyttää opettajaopiskelijoiden ja opetta- jien reflektoinnin tukena ja nostaa esiin ryhmän ohjaamiseen liittyviä toimivia käytänteitä (vrt. Klette & Blikstad-Balas 2018). Tätä kautta työkaluni voi tuoda yhden vastauksen opetuksen kentällä oleviin draaman opettamisen haasteisiin ja draamaopettajien koulutukseen, joten näen tutkimukseni vastaavan näin myös laa-
Observointityökaluni käytännöllistä validiteettia huomioin kehittämisproses- sin tutkimusperustaisuudella sekä tukeutumalla teoriapohjaiseen että empiiriseen kehittämiseen. Lisäksi olen arvioinut kehittämääni ratkaisua koko kehittämispro- sessin ajan. Työkaluni tämänhetkinen käytettävyys varmistettiin rinnakkaiskoo- dausten avulla. En kuitenkaan testannut työkaluani viimeisen kehittämissyklin lo- puksi ulkopuolisilla käyttäjillä, vaikka se olisi lisännyt työkaluni käytännöllistä validiteettia. Koulutuksen kehittäminen työkalun käyttöönottoa varten olisi vaati- nut lisää resursseja. Lisäksi validointia varten olisin tarvinnut muun muassa laajan joukon asiatuntijoita, työkalun testaamista tarpeeksi suurella otoskoolla sekä riit- tävällä määrällä rinnakkaiskoodauksia ja näiden koodaustulosten yhteneväisyyttä (ks. Liu ym. 2019). Kehittämisprosessin päätteeksi muotoilemallani observointi- työkalulla pystyi observoimaan videoaineistolla olevia todellisia draaman opetus- oppimistilanteita DRAO-tutkimusryhmämme käytössä. Tästä syystä näen, että ke- hittämäni työkalu on soveltuva vastaavaan käyttöön samantyyppisissä tilanteissa.
Työkaluni käytettävyyttä olen pyrkinyt edistämään julkaisemalla manuaalin väitöskirjani liitteenä, jolloin työkaluni on vapaasti kenen tahansa saatavilla. Työ- kalu on näin mahdollista ottaa käyttöön manuaalin ja väitöskirjassa esitetyn teo- reettisen taustan avulla. Työkalun validi käyttö vaatii kuitenkin koulutuksen työ- kalun oikeaoppisen käytön varmistamiseksi.
Tässä tutkimuksessa kehitetty työkalu on osa DRAO-observointisysteemiä, jonka ansiosta työkalua on mahdollista käyttää rinnakkain muiden systeemin työ- kalujen kanssa. Näen tämän yhdeksi työkalun käytännöllistä validiteettia lisää- väksi tekijäksi, sillä kehittämisen aikana molemmat DRAO-tutkimusryhmän jä- senet ovat kokeneet työkalun toimintaperiaatteet, rakenteen ja manuaalin tukevan työkalun käytettävyyttä.
Kasvatustieteellisen design-tutkimuksen tutkijat ovat nostaneet esiin yleistet- tävyyden tarkastelun keskeiseksi osaksi design-tutkimusprosessia. Yleistettävyy- den avulla tutkimusta on mahdollista yleistää muihin yhteyksiin tai konteksteihin.
(Anderson & Shattuck 2012; Kiviniemi 2018, 246–248.) Yleistettävyyden kan- nalta design-tutkimuksen haasteet liittyvät usein pieniin otoskokoihin, tutkimuk- sen toistettavuuden vaikeuteen sekä kehittämisen kontekstuaalisuuteen (McKen- ney & Reeves 2020). Vaikka tutkimusprosessissa kehitetään tutkimusperustaisesti uusia käytäntöjä, tulisi prosessin aikana myös syntyä design-periaatteita, jotka ovat kontekstista riippumattomia (Edelson 2002). Myös tämän tutkimusprosessin aikana muotoilin tutkimuksessa syntyneen ymmärrykseni pohjalta yleisemmät de- sign-periaatteet observointityökalun kehittämisestä. Nämä periaatteet avaavat sitä asiantuntemusta ja niitä päätöksentekovaiheita, joita kehittämistyö vaatii. Tämä mahdollistaa osaltaan tutkimuksen yleistettävyyden myös muiden kuin draama- toiminnan aikaisen observointityökalun kehittämiseen. Lisäksi tutkimuksessa syntyy teoreettista tietämystä ryhmän ohjaamisesta, vertaisryhmästä, observoin- nista ja draamakasvatuksesta, jota voidaan soveltaa myös muuhun kuin tämän tut- kimuksen kontekstiin.
Yleistettävyyden kannalta on keskeistä, että tutkija avaa tutkimuskohteena olevan ilmiön erityispiirteitä ja kontekstia, sillä nämä vaikuttavat kehittämiseen ja toisaalta tutkijan saama tieto on kontekstuaalista. Tästä syystä useat tutkijat ko- rostavatkin dokumentoinnin ja raportoinnin merkitystä design-tutkimuksen te- ossa. (The Design-Based Research Collective 2003; McKenney & Reeves 2020.) Olen pyrkinyt lisäämään tutkimukseni luotettavuutta kuvaamalla mahdollisim- man selkeästi ja avoimesti tehtyä tutkimus- ja kehitystyötä sekä tutkimusryhmän että omaan dokumentointiin pohjaten. Tarkka raportointi mahdollistaa myös tut- kimuksen yleistettävyyttä, sillä raportoinnissa tulee myös ilmi kehittämiskon- teksti, sen erityispiirteet sekä niiden vaikutus kehittämiseen. Näin prosessiin liit- tyvät päätökset, perustelut sekä tehdyt toteuttamisratkaisut tulevat ilmi mahdollis- taen sen, että lukija pystyy tarkastelemaan itse ratkaisuiden luotettavuutta ja mie- lekkyyttä. (Anderson & Shattuck 2012; Edelson 2002; McKenney & Reeves 2020.) Näiden kuvausten avulla tutkimustani on mahdollista tietyiltä osin myös toisintaa. Lukija voi kuvausten avulla vertailla oman sovelluskontekstinsa omi- naispiirteitä tämän tutkimuksen kohteen ominaisuuksiin.
Raportoinnin suhteen jouduin kuitenkin tekemään joitain rajauksia, sillä en voinut kirjata kaikkia kehittämistyön aikana tehtyjä lukusia mikrosyklejä sekä päällekkäisiä ja limittäisiä tapahtumia. Kuitenkin jouduin välillä toteamaan, että dokumentointi erityisesti intensiivisten tutkimusryhmässä käytyjen keskustelui- den ja kokeiluiden aikana oli haastavaa. Erityisesti tutkimukseni alkuvaiheessa toiminta olikin tasapainoilua kehittämisen, raportoinnin ja dokumentoinnin vä- lillä. Kuitenkin tutkimusprosessin edetessä dokumentoinnin käytänteeni kehittyi- vät, ja huomasin tehdä muistiinpanoja myös intensiivisemmän kokeilemisen tai keskusteluiden aikana. Luotettavuutta ja selkeyttä prosessin näkökulmasta lisäsi- vät myös eri vaiheiden ja niiden tulosten esittely tieteellisissä konferensseissa ja seminaareissa.
Tutkijana olen ollut tietoinen omasta asemastani sekä tutkija-kehittäjänä että osallisena työparini Miia Kaasisen väitöstutkimuksessa sekä näiden eri positioi- den vaikutuksesta tutkimukseni toteuttamiseen ja objektiivisuuteen (vrt. The De- sign-Based Research Collective 2003). Erityisesti ulkopuolisten osallistujien puuttuessa oma roolini tutkija-osallistujana on korostunut kehittämistyön aikana.
Ennakkoasenteeni eli alustavat tutkimukseni ja kiinnostukseni ryhmäilmiöihin sekä taustani luokanopettajana ja draaman aineopettajana ovat väistämättä vaikut- taneet tutkimuksessani tekemiini ratkaisuihin. Lisäksi systemaattisen observointi- työkalun kehittämiseen liittyvän kokemuksen puuttuminen on saattanut vaikuttaa kehittämistyöhön. Erityisesti alkuvaiheessa oli joskus vaikea yksilöidä niitä teki- jöitä, jotka vaikuttavat draamatunnin onnistumiseen. Lisäksi haastetta tuotti toisi- naan yleistettävissä olevien indikaattoreiden tai pistetaulukon kuvauksen muotoi- leminen niin, että se pätee myös muussakin kuin kyseisessä videotallenteen tilan-
on mahdollistanut työkaluni kriittisemmän tarkastelun ja vaatimustason nostami- sen kehittämistyön edetessä. Luotettavuuden lisäämiseksi olen avannut omaa po- sitiotani, tulokulmaani sekä tekemiäni ratkaisuita ja niiden perusteita tutkimukseni raportoinnissa. Samasta syystä olen myös pyytänyt palautetta design-ratkaisun toimivuudesta työpariltani, jotta pystyisin tarkastelemaan tekemääni työtä objek- tiivisesti ja olemaan kriittinen kehittämistyötäni kohtaan.
Tutkimuksen eettisyys ja sen huomioiminen liittyvät läheisesti tutkimuksen luotettavuuteen ja laatuun. Käyn seuraavaksi läpi, miten olen huomioinut eettisiä periaatteita tutkimuksessani.