5.2 Kehittämisvaihe
5.2.1 Sykli 1. Prototyypin kehittäminen FFT:n klusteriin pohjaten
pin pohjaksi valikoituneen ryhmän ohjaamista käsittelevän Framework for Teaching -klusterin (Danielson 2018, 10–11) työstämiseen liittyviä keskeisiä työ- vaiheita. Olen esitellyt klusterin ja sen valintaan liittyvät tekijät edellisen vaiheen syklissä 3 (alaluku 5.1.3), ja alkuperäinen klusteri on liitteenä 5. Syklin aikana muotoilemani prototyyppi eli observointityökaluni versio 1.0 koostui syklin lo- puksi klusterin pohjalta luodusta pisteytystaulukosta. Tämän lisäksi työkaluun kuului syklin aikana työparini Miia Kaasisen kanssa luomamme alustava obser- vointilomake sekä observoinnin suorittamiseen liittyvä suullinen ohjeistus.
Ryhmän ohjaaminen FFT:n klusterissa
Valitsin oman kehittämistyöni pohjaksi FFT:n klusterin numero kolme (3) Class- room Management (Danielson 2018, 10–11), sillä se vastasi parhaiten sisällölli- sesti observointityökalulleni luomaani teoreettista viitekehystä, jossa ryhmän oh- jaaminen nähdään opettajan toimina ohjata aikaa ja oppilaiden käyttäytymistä, huomiota sekä vertaisvuorovaikutusta. Ryhmän ohjaamisesta tarkastellaan klus- terissa luokkaan luotuja toimintatapoja, oppilaiden käyttäytymistä ja sen ohjaa- mista, fyysisen ympäristön soveltuvuutta toimintaan ja oppimiseen sekä avusta- jien ja vapaaehtoisten toimintaa luokassa.
Klusterissa ryhmän ohjaamisen havainnointi oli määritetty kohdistumaan seu- raaviin indikaattoreihin (Danielson 2018, 10–11):
1. tehokkaat toimenpiteet opetukseen liittymättömien toimintojen suoritta- miseen
2. selkeät suuntaviivat oppilaiden itsenäiselle (valvomattomalle) työlle 3. todisteita selkeistä säännöistä, jotka oppilaat ymmärtävät, joita opettaja
valvoo ja joiden rikkomista opettaja ja/tai oppilaat korjaavat (tarvittaessa) menestyksekkäästi
4. fyysinen ympäristö tukee oppimisaktiviteetteja
5. vapaaehtoisten ja muiden luokassa työskentelevien ammattilaisten (kou- lunkäynninohjaajien) tuottavaa panostusta luokan toimintaan.
Rajasin tutkimuksessani kehittämistyön ulkopuolelle klusterin viidennen indi- kaattorin, joka käsitteli vapaaehtoisia ja muita ammattilaisia sekä heidän toimin-
Olen tiivistänyt klusterin työstämiseen liittyvät työvaiheeni kuvioon 12. Näi- den lähinnä luokittelua ja täydentämistä sisältävien vaiheiden kautta syntyi obser- vointityökaluni prototyyppi. Olimme DRAO-tutkimusryhmässä sopineet, että pyrkimyksenämme oli muuttaa tässä vaiheessa mahdollisimman vähän klusteria alkuperäisestä englanninkielisestä versiosta. Lisäksi merkitsimme muistiin tehdyt muutokset tai täydennykset, kuten klusteriin liitetty CC-lisenssi vaatii. Olen avan- nut jokaisen työvaiheen kuvion alla olevassa tekstissä tarkemmin.
Kuvio 12. Päätyövaiheet prototyypin pisteytystaulukon muodostumiseksi FFT-klusteriin 3 (Danielson 2018, 10–11) pohjaten.
Klusterin pisteytystaulukon kuvausten luokittelu
Alkuperäinen englanninkielinen ryhmän ohjaamista koskeva klusteri koostui si- vun mittaisesta yleisestä kuvailusta sekä sivun mittaisesta pisteytystaulukosta (Liite 5). Tutustuin ryhmän ohjaamista koskevan klusterin sisältöön tarkemmin suomentamalla nämä manuaalista löytyvät tiedot. Keskityin syklin kehittämis- työssäni kuitenkin pisteytystaulukon sisältöön, sillä sivun mittaisessa yleisessä kuvailussa ei määritelty tai avattu juuri ollenkaan havainnoitavia indikaattoreita.
Yleinen kuvailu ei siis tukenut observoinnin suorittamista, joten observointi tuli suorittaa klusterin pisteytystaulukossa esitettyjen tietojen varassa. Myös kluste- rista ja sen toimintaperiaatteista löytyy varsin vähän taustatietoa. Alkuperäisen FFT-observointityökalun teoreettisen taustan ja termistön tunteminen helpotti kuitenkin klusterin pisteytystaulukon haltuunottoa.
Pisteytystaulukossa oli kuvattu jokaisen pistetason (1–4) kohdalla yhdellä tai kahdella virkkeellä indikaattoreiden mukaisen toiminnan näyttäytymistä käyttäy- tymisen ja toiminnan tasolla. Helpottaakseni klusterin haltuunottoa ja havaitak- seni paremmin mahdolliset puutokset luokittelin nämä pisteytystaulukossa olevat eri pistetasojen alla olevat kuvaukset neljän edellä esitellyn indikaattorin mukaan.
Taulukossa 20 on esimerkkinä indikaattoria kolme (3) koskevat kuvaukset pistey- tystaulukon eri pistetasoilta.
Suomentaminen &
pistemääriä vastaavien kuvausten luokittelu
Kuvausten täydentäminen FFT:n elementtien
ja videoaineiston avulla
Osioiden ja indikaattoreiden muodostuminen
Prototyypin pisteytystaulukko
Taulukko 20. Alkuperäisen FFT:n klusterin 3 (Danielson 2018, 10–11) pisteytystaulukossa olevat ku- vaukset koskien indikaattoria 3. Suomennokset kirjoittajan.
Indikaattori: 3) Todisteita selkeistä säännöistä, jotka oppilaat ymmärtävät, joita opettaja valvoo ja joiden rikkomista opettaja ja/tai oppilaat korjaavat (tarvittaessa) menestyksekkäästi
Pistetaso: Epätyydyttävä
(1) Perustaso (2) Hyvä (3) Erinomainen (4)
Pistetasoa vastaava kuvailu:
Luokassa ei vai- kuta olevan sääntöjä, tai opettaja ei valvo oppilaiden käytöstä tai opettaja vaikuttaa avuttomalta puuttumaan huomatessaan ei-toivottua käyttäytymistä
Luokassa vaikut- taa olevan sääntöjä, mutta opettaja pyrkii ylläpitämään järjestystä luokassa epätasaisin tuloksin, tai opettajan reagointi oppilaiden ei-toivottuun käytökseen on epäjohdonmu- kaista: joskus ankaraa ja joskus lievää
Opettaja valvoo säännöllisesti oppilaiden käytöstä;
oppilaiden käytös on yleisesti sopivaa.
Opettajan reagointi ei-toivottuun käytökseen (tarvittaessa) on täysin sopivaa
Opettaja seuraa saumattomasti ja ennaltaeh-
käisevästi oppilaiden käytöstä sanattoman viestinnän keinoin;
oppilaiden käytös on täysin sopivaa
Oppilaiden käyttäytymisen ohjaamista koskevan indikaattorin osalta kuvailua oli pisteytystaulukossa eniten. Muiden indikaattoreiden osalta kuvailua oli vähem- män. Lisäksi osassa pistetasojen kuvauksia oli myös pieniä epäjohdonmukaisuuk- sia tai puutteita niin, että kaikissa pistemäärissä ei ollut kuvattuna samaa toimin- taa. Pisteytystaulukko antoi vain niukasti tietoa, enkä kokenut sen tukevan obser- voinnin suorittamista. Klusteri ei myöskään vastannut kaikilta osin täysin suoma- laisen peruskoulun olosuhteita esimerkiksi fyysisen ympäristön havainnoinnin osalta. Suomessa opetusta ei pidetä tilassa, joka voisi olla fyysisesti vaarallinen oppilaille. Edellä mainituista syistä täydensin klusteria hyödyntäen ensin alkupe- räistä FFT-observointityökalua (Danielson 2013, 31–39).
Kuvausten täydennys FFT-observointityökalun elementtien ja videoaineis- ton avulla
Huomasin, että klusterissa käytettiin indikaattori-termiä vastaamaan alkuperäi- sessä FFT-observointityökalussa olevia elementtejä eli keskeisiä kuvaavia piir- teitä. FFT-observointityökalussa elementit ovat indikaattoreiden yläkäsitteitä, eli elementit sisältävät indikaattoreita. Tästä syystä osa klusterin yksittäisistä indi- kaattoreista kattoi laajan kirjon opettajan toimia. Klusterissa olevien tietojen mu- kaan indikaattorit vastaavat alkuperäisen FFT-observointityökalun osioiden ele- menttejä 2c) luokkahuonetoimintojen ohjaaminen, 2d) käyttäytymisen ohjaami- nen ja 2e) fyysisen tilan organisointi. Hyödynsin tätä tietoa klusterin täydennyk-
Taulukko 21. FFT-klusterin 3 (Danielson 2018, 10–11) indikaattoreita vastaavat FFT:n (Danielson 2013, 31–39) osiot ja elementit. Suomennokset kirjoittajan.
Klusterin indikaattorit FFT:n vastaavat osiot ja elementit 1) Tehokkaat toimenpiteet opetukseen
liittymättömien toimintojen suorittamiseen
2c) Luokkahuonetoimintojen ohjaaminen
*Siirtymien ohjaaminen
*Materiaalien ja tarvikkeiden hallinta
*Luokkahuonerutiinien suorittaminen 2) Selkeät suuntaviivat oppilaiden
(valvomattomalle) työlle
2c) Luokkahuonetoimintojen ohjaaminen
*Opetusryhmien ohjaaminen 3) Todisteita selkeistä säännöistä, jotka
oppilaat ymmärtävät, joita opettaja valvoo ja joi- den rikkomista opettaja ja/tai oppilaat korjaavat (tarvittaessa) menestyksekkäästi
2d) Käyttäytymisen ohjaaminen
*Odotukset
*Oppilaiden käyttäytymisen monitorointi
*Oppilaiden ei-toivottuun käyttäytymiseen reagointi
4) Fyysinen ympäristö tukee oppimisaktiviteetteja
2e) Fyysisen tilan organisointi
*Turvallisuus ja saavutettavuus
*Huonekalujen järjestys ja fyysisten resurssien hyödyntäminen
Täydensin pisteytystaulukkoa puuttuvista kohdista FFT-observointityökalun vastaavien osioiden ja elementtien pisteytystaukoiden avulla. Tämän lisäksi tein omia lisäyksiä puuttuviin kohtiin pisteytystaulukon muita kuvailuja mukaillen.
Pyrin kuitenkin pitämään pistetasot samanlaisina ja tekemään edelleen mahdolli- simman vähän muutoksia.
Suurimmat muutokset pisteytystaulukon kuvailuihin tulivat fyysistä ympäris- töä käsittelevän indikaattorin alle, jonka täydentämisessä hyödynsin myös kuvaa- maani videoaineistoa. Aineiston draamatunneilla vaarallisia tiloja ei ollut, mutta vaaratilanteita aiheutui muun muassa siitä, että toiminta ei soveltunut tilaan tai tilaa ei järjestetty sopivaksi esimerkiksi oppilaiden leikkiessä takaa-ajoleikkiä liian ahtaassa tilassa.
Uusien osioiden ja indikaattoreiden muodostuminen
Täydennettyäni pistetaulukon kuvailuja muotoilin klusterin alkuperäisistä neljästä indikaattorista neljä osiota, jotka nimesin hieman uudestaan. Alkuperäiset kluste- rin indikaattorit kattoivat laajan määrän opettajan ja oppilaan toimintoja, joten ne vastasivat enemmän osiota kuin yksittäistä indikaattoria. Osiot olivat seuraavat:
1. käytänteet opetukseen liittymättömille velvoitteille 2. oppilaiden työskentely ja työskentelykäytänteet 3. käyttäytymisen ohjaaminen
4. fyysinen ympäristö.
Määritin näille uusille osioille indikaattorit pisteytystaulukon kuvailuiden poh- jalta. Taulukossa 22 on esimerkki käyttäytymisen ohjaaminen -osion muodostu- misesta.
Taulukko 22. Käyttäytymisen ohjaaminen -osion indikaattoreiden muodostuminen.
Alkuperäinen indikaattori
Pistetason yksi (1) kuvailu Muodostuneet indikaattorit Todisteita selkeistä
säännöistä, jotka oppilaat ymmärtävät, joita opettaja valvoo ja joiden rikkomista opettaja ja/tai oppilaat korjaavat (tarvittaessa) menestyksekkäästi
-Luokassa ei vaikuta olevan sääntöjä eikä draamasopimusta. Opettaja ei monitoroi oppilaiden käytöstä
Ennaltaehkäisy
-Oppilaat haastavat sääntöjä toistuvasti Oppilaiden käyttäytyminen -Jotkut oppilaat häiritsevät tuntia opettajan
huomaamatta
-Huomatessaan ei-toivottua käyttäytymistä opettaja vaikuttaa avuttomalta puuttumaan siihen
Puuttuminen
Taulukon 22 mukaisesti käyttäytymisen ohjaamisen pistetaulukon kuvailuiden pohjalta muodostin indikaattoreiksi ei-toivotun käyttäytymisen ennaltaehkäisy, oppilaiden käyttäytyminen sekä opettajan puuttumisen ei-toivotun käyttäytymisen ilmaantuessa. Uudet osiot ja muodostuneet indikaattorit lisäsin osaksi täydennet- tyä pisteytystaulukkoa (Liite 6), jonka olen esitellyt tarkemmin kehittämissyklin yhteenvedossa.
Alustava observointilomake ja -ohjeistus -DRAO-tutkimusryhmämme yhteiset päätökset
Kehitimme työparini Miia Kaasisen kanssa observoinnin ja pisteyttämisen suorit- tamista koskevan suullisen ohjeistuksen sekä observointilomakkeen koodausko- keiluita varten, koska internetsivustolta tai manuaalista ei löytynyt virallisia oh- jeita tai lomakkeita koskien klusterin käyttöä. Alustavan observointilomakkeen (Liite 7) muodoksi valikoitui taulukkomainen muotoilu, jossa osiot kirjattiin pys- tysarakkeeseen ja näyttö vaakariveille jokaisen osion kohdalta. Osioiden nimien lisäksi huomasimme koodauskokeiluiden aikana työparini Miia Kaasisen kanssa kaipaavamme kohdennetun muistutuksen siitä, mistä näyttöä tulisi kerätä havain- noinnin aikana eli mihin observoinnissa tulisi keskittyä. Tästä syystä lisäsin oman prototyyppini observointilomakkeen jokaisen osion alle osiota koskevat indikaat- torit. Lisäksi määritimme observointilomakkeeseen kohdan havainnoinnin suorit-
Observoinnin ja koodaamisen suhteen määritimme työparini Miia Kaasisen kanssa suullisen ohjeistuksen. Sovimme, että observointi DRAO-observointisys- teemiin kuuluvilla prototyypeillä suoritetiin kymmenen minuutin pituisissa obser- vointisykleissä, minkä olimme todenneet toimivaksi jo FFT-työkalulla suorittujen observointikokeilujen aikana. Observoinnin aikana näyttöä sai kirjata muistiin tu- kisanojen avulla, mutta tarkempi näyttö oli tarkoitus kirjata observoinnin jälkeen.
Näin pyrimme varmistamaan, että observoinnin aikana huomio pysyi havain- noimisessa. Päätimme, että koodaaminen tapahtuu osioittain eli jokaisen obser- vointisyklin aikana määritetään yksi pistetaso jokaista osiota kohden. Lopuksi so- vimme, että kaikista annetuista pistetasoista lasketaan keskiarvo.
Kehittämissyklin yhteenveto
Tämän syklin aikana syntyi tutkimuksessa kehitettävästä observointityökalusta prototyyppi FFT-klusterin kolme (3) Classroom management (Danielson 2018, 10–11) pohjalta. Prototyyppi koostui kahden sivun pituisesta pisteytystaulukosta, observointilomakkeesta sekä suullisista observoinnin suorittamiseen liittyvistä ohjeista.
Prototyypin pisteytystaulukon sisältö on kokonaisuudessaan esitelty liitteessä 6. Liitteessä olevaan pisteytystaulukkoon on merkitty tekemäni lisäykset tai muokkaukset, kuten klusteriin liitetty CC-lisenssi vaati. Alla olevaan taulukkoon 23 tiivistin prototyypin osiot ja indikaattorit.
Taulukko 23. OBSERVOINTITYÖKALUN PROTOTYYPPI: sisältö ja rakenne.
Osiot: Indikaattorit:
1) Käytänteet opetukseen liittymättömille velvoitteille
Käytänteiden ilmeneminen ja tehokkuus Oppilaiden tuen tarve
2) Oppilaiden työskentely ja työskentelykäy- tänteet
Oppilaiden työskentely
Työskentelykäytänteiden ilmeneminen Oppilaiden tuen tarve
3) Käyttäytymisen ohjaaminen Ennaltaehkäisy
Oppilaiden käyttäytyminen Puuttuminen
4) Fyysinen oppimisympäristö Soveltuvuus Tilan järjestäminen
Kuten yllä olevasta taulukosta ilmenee, prototyyppi koostui neljästä osiosta, jotka olivat: 1) käytänteet opetukseen liittymättömille velvoitteille, 2) oppilaiden työskentely ja työskentelykäytänteet, 3) käyttäytymisen ohjaaminen ja 4) fyysinen oppimisympäristö.
Osiossa 1) käytänteet opetukseen liittymättömille velvoitteille määrittelin ha- vainnoinnin kohdistuvan siihen, kuinka sujuvia ovat opetukseen liittymättömät käytänteet (ryhmien muodostaminen, materiaalien jakaminen, siirtymät, läsnä- olon kuittaaminen sekä lupalappujen kerääminen). Sujuvuus näyttäytyy siinä, että oppilaat suorittavat ne saumattomasti eikä aikaa näin menetetä draamatoimin- nalta. Tätä osiota havainnointiin kahden indikaattorin avulla, jotka olivat 1) käy- tänteiden ilmeneminen ja tehokkuus sekä 2) oppilaiden tuen tarve.
Toisen osion 2) oppilaiden työskentely ja työskentelykäytänteet suhteen obser- vointi keskittyi opettajan luomiin käytänteisiin sekä siihen, onko opettaja auttanut oppilaita kehittämään taitojaan työskennellä tarkoituksenmukaisesti ja yhteistyö- kykyisesti ryhmissä, pareittain ja itsenäisesti opettajan vähäisellä valvonnalla.
Tämä ilmenee oppilaiden osallistumisena ja sitoutumisena tuottavaan työskente- lyyn ilman opettajan valvontaa ja tukea. Indikaattoreiksi tähän osioon muodostui- vat 1) oppilaiden työskentely, 2) työskentelykäytänteiden ilmeneminen ja 3) oppi- laiden tuen tarve.
Kolmannessa osiossa havainnoitiin draamatoiminnan aikana ilmeneviä sään- töjä, niiden toteutumista sekä käyttäytymisen uudelleen ohjaamista opettajan ja/tai oppilaiden tekemänä. Tässä osiossa havainnoitaviksi indikaattoreiksi muodostui 1) opettajan ennaltaehkäisy, 2) oppilaiden käyttäytyminen sekä 3) puuttuminen.
Neljännen osion eli 4) fyysisen oppimisympäristön indikaattoreiksi muodostui- vat 1) soveltuvuus sekä 2) tilan järjestäminen. Osiossa havainnointi kohdistui tilan turvallisuuteen ja soveltuvuuteen, jolloin oppilaat voivat nähdä ja kuulla toisensa sekä osallistua toimintaan tasavertaisesti ja turvallisesti.
Taulukossa 24 on esimerkki osion 3) käyttäytymisen ohjaaminen oppilaiden käyttäytymistä koskevista kuvauksista eri pistetasoilla.
Taulukko 24. OBSERVOINTITYÖKALUN PROTOTYYPPI: osa käyttäytymisen ohjaaminen -osion pisteytystaulukon kuvauksista.
3. Käyttäytymisen ohjaaminen
Välttävä (1)* Tyydyttävä (2)* Hyvä (3)* Kiitettävä (4)*
-Oppilaat haastavat sääntöjä toistuvasti -Jotkut oppilaat häiritsevät tuntia opettajan huomaa- matta
-Osa oppilaista toimii vastoin opet- tajan ohjetta tai haas- taa sääntöjä
-Oppilaiden käytös on
yleisesti sopivaa -Oppilaiden käytös on täysin sopivaa
Vaiheen arviointi ja jatkokehittämistarpeet
Omalla prototyypilläni suorittamieni koodauskokeiluiden jälkeen tutustuimme ja koodasimme videoaineistoa toistemme prototyypeillä tutkimusparini Miia Kaasi- sen kanssa. Testasimme samalla määrittelemiämme ohjeita sekä luomaamme ob- servointilomaketta. Koodauskokeiluiden jälkeen suoritimme rinnakkaiskoodauk- sen arvotuilla kuudella (6) videoaineiston eri opettajan draamatunnilla. Kooda- simme draamatunnit kymmenen (10) minuutin syklillä (Liite 8).
Koodauskokeiluiden ja rinnakkaiskoodausten perusteella prototyypillä pystyi observoimaan draamatoimintaa melko hyvin, ja observointilomake tuki obser- voinnin suorittamista. Kuitenkin prototyypillä koodatessa tuloksissa painottuivat pistetasot kaksi (2) ja kolme (3). Pistetasojen välinen välimatka oli todella suuri pistetason yksi (1) kuvatessa kaoottista ympäristöä ja pistetason neljä (4) ympä- ristöä, jossa oppilaat toimivat itseohjautuvasti ja täsmälleen tavoitteen mukaisesti.
Näin yksikin pieni ei-toivottu käyttäytyminen tai ajan menetys laski pistetasoa heti pistetasolle kolme (3). Mielestämme videoaineiston tunneissa oli kuitenkin variaatiota enemmän kuin pisteytys antoi ymmärtää.
Observointilomakkeen ja ohjeistuksen testaaminen KEHU-tutkimustiimillä Päätimme työparini Miia Kaasisen kanssa testata kehittämäni prototyypin avulla koodausohjetta sekä -lomaketta KEHU-tutkimustiimin kuudella jäsenellä kahden erillisen kerran aikana. KEHU-tutkimustiimin kuudella Helsingin yliopiston luo- kanopettajaopiskelijajäsenellä oli lupa käyttää videoaineistoa. He myös valmiste- livat pro gradu -tutkielmiansa vuorovaikutuksen aihepiiristä, joten katsoimme hei- dän olevan sekä potentiaalisia observointisysteemin ja -työkalun käyttäjiä että so- veltuvia testaajia.
Observointilomakkeiden avulla kerätty näyttö sekä KEHU-tutkimustiimiläis- ten pisteytyksen jälkeen antama palaute osoittivat, että observointilomakkeen ja -ohjeiden avulla opiskelijat pystyivät suorittamaan observoinnin. Käytettävyy- den kannalta neljä osiota näyttäytyi siis observointityökalun laajuutena toimivalta.
Kuitenkin systemaattisen observoinnin vähäisen kokemuksen sekä tallenteiden ta- pahtumien vuoksi KEHU-tutkimustiimiläiset jäivät helposti seurailemaan tapah- tumien kulkua sekä kommentoimaan niitä. Näin näytön kerääminen ja kirjaami- nen oli vaarassa jäädä tai se keskittyi yksityiskohtiin, jotka värittivät liikaa koko- naisuutta. Lisäksi tutkimustiimiläiset toivoivat lyhyempää observointisykliä, sillä he kokivat syklin loppupään tapahtumien painottuvan liikaa koko sykliä kooda- tessa. Draamatoiminnan monimuotoisuuden ja vuorovaikutuksellisuuden vuoksi observointisyklin aikana ehti tapahtua paljon. Testauskerta toi esille draamatoi- minnan observoinnin haasteellisuuden, erityisesti observointia opetellessa.
Opiskelijat kokivat kuitenkin observointilomakkeen tukisanat toimiviksi, sillä ne auttoivat opiskelijoita fokusoimaan observointia ja näytön keräämistä. Myös selkeästi määritellyt osiot ja indikaattorit helpottivat observoinnin suorittamista.
Kehittämistarpeet ja huomiot
Vaikka observointityökaluni käytettävyys näyttäytyi koodauskokeiluissa melko toimivalta, ilmeni siinä myös selkeitä jatkokehittämistarpeita. Observointityöka- lussani oli sekä sisällön että pisteytyksen suhteen ongelmakohtia, joita halusin ke- hittää eteenpäin seuraavissa kehittämissykleissä.
Työkalussani pohdin erityisesti pisteytystaulukon osioiden suhdetta toisiinsa sekä niiden havainnoitavaa sisältöä. Koska työkalussani kokonaispistetaso muo- dostuu osioille annettujen pistetasojen keskiarvoina, on jokaisen osion painoarvo yhden neljäsosan verran. Osioiden tulisi siis olla tasapainossa keskenään obser- voitavan sisällön määrän ja laadun suhteen. Pohdin erityisesti osiota, joka käsitteli fyysistä oppimisympäristöä, sillä opettajat saivat tästä osiosta yleisesti korkeita pistetasoja. Koska jokainen osio muodosti neljäsosan kokonaispistetasosta, fyysi- nen oppimisympäristö sai suuren painoarvon ja nosti helposti kokonaispistetasoa.
Saatu kokonaispistetaso ei tästä syystä aina vastannut observoitua toimintaa. Sa- mat huomiot sekä arvosanojen painottumisen että fyysisen ympäristön saaman painoarvon suhteen nousivat esiin myös KEHU-tutkimustiimiläisten testaamisen aikana. Myös muissa osioissa oli tarvetta laajentaa observoinnin kohdistumista ja pisteytystaulukon kuvailuja.
Myös observointityökalujemme pisteytysasteikon kehittäminen nousi esiin syklin aikana, sillä työkalumme eivät olleet tarpeeksi erottelevia. Pistetasot kaksi (2) ja kolme (3) painottuivat usein suorittamiemme koodausten aikana, joten jäimme DRAO-tutkimusryhmässä pohtimaan pisteytysasteikon skaalaa erottele- vuuden näkökulmasta.
Tämän syklin aikana teimme DRAO-tutkimusryhmänä yleisen huomion, että observointisysteemin käytettävyys ei merkitse meille mahdollisimman lyhyttä ja tiivistä pisteytystaulukkoa. Alkuperäisen FFT-observointityökalun (Danielson 2013) laajuuden vuoksi käsittelimme käytettävyyttä aluksi näiden määreiden avulla. Klusterit (Danielson 2018) olivat suppeita, mutta ongelmaksi muodostui niiden huono erottelevuus, tarvittavien tietojen puute sekä käytettyjen käsitteiden määrittämättömyys. Erityisesti jäimme kaipaamaan klustereiden käyttöohjeistusta ja teoreettista viitekehystä. Näin ollen observointisysteemin observointimanuaalin laadintaan tulee aikanaan kiinnittää erityistä huomiota, sillä sen sisältämä ohjeis- tus vaikuttaa systeemimme käytettävyyteen. Tämä sykli vahvisti kuitenkin sen, että observointisyklin pituus sekä tapa suorittaa observointi ovat toimivia, vaikka observointityökalujen käyttö vaatii selkeästi jonkinlaisen koulutuksen ja tällaisen koulutuksen kehittämisen (vrt. Bell ym. 2019).
5.2.2 Sykli 2. Aineistolähtöinen täydentäminen: Työkalun versio 2.0