Sykli 4. Käytettävyyden parantaminen: Työkalun versio 4.0

Kehittämissyklin keskeinen tavoite oli tiivistää ja selkiyttää DRAO-observointi- systeemiin kuuluvia observointityökaluja edellisessä kehittämissyklissä ilmi tul-

tettävyyttä. Käytettävyydellä tarkoitimme sitä, että observointityökalu on toimin- taperiaatteeltaan, rakenteeltaan sekä sisällöltään selkeä ja tiivis eikä siinä esiinny puutteita. Observointityökalun tulisi kuitenkin mitata haluamiamme sisältöjä.

Tämän viimeisen kehittämissyklin aikana pääpaino oli pisteytystaulukoiden rakenteen ja manuaalin ohjeistuksen hiomisessa. Ymmärsimme DRAO-tutkimus- ryhmänä, että observointisysteemimme käytettävyys liittyi työkalun validista käy- töstä saatavilla olevaan tietoon ja tiedon määrään sekä siihen, kuinka yksiselittei- sesti tämä tieto on ilmaistu. Tästä syystä halusimme saavuttaa tasapainon selkeästi ilmaistun ja tarpeellisen tiedon sekä liiallisen tiedon välillä.

Päätimme myös heti syklin alussa tiivistää työkalujemme rakennetta poista- malla observointityökalujemme versiossa 3.0 olevat elementit. Työkalussani oli muutoksen jälkeen vain kolme osiota ja niitä vastaavat indikaattorit, mikä kevensi sisällön jäsentymistä. Samankaltainen rakenne on esimerkiksi CLASS-observoin- tityökalussa (Pianta ym. 2008).

Muutokset työkaluni havainnoitavaan sisältöön

Observointityökaluni havainnoitavan sisällön täsmentämistä tein observoimalla videoaineiston opettajien draamatunteja tai osia niistä työkalun osio kerrallaan.

Observointikokeiluiden aikana ja teoreettiseen taustaan tukeutuen pyrin määrittä- mään jokaisen osion kohdalla, mitkä osion käsitteistä asettuvat yläkäsitteiksi, eli indikaattoreiksi tai indikaattoreiden yläotsikoiksi, ja mitkä käsitteet jäsentyvät in- dikaattoreita selventäviksi alakohdiksi. (Check & Schutt 2012, neljäs luku; Met- sämuuronen 2000, 12–17.) Tavoitteenani oli myös yksinkertaistaa indikaattoreita sekä hahmottaa, mitkä tekijät nousivat selkeämmin erottamaan pistetasoja toisis- taan eri osioissa. Indikaattoreiden nimeämisessä pyrin ytimekkyyteen ja selkeään ilmaisuun (vrt. Dobbelaer 2019, 40). Avaan alla osio kerallaan, miten tämä työ- vaihe näyttäytyi eri osioissa.

Hyödynsin vaiheen aikana myös aktiivisesti työpariltani Miia Kaasiselta koo- dauskokeiluiden aikana saatua palautetta kahdella eri tavalla. Pyysin häntä nimeä- mään ne indikaattorit, jotka hän nostaa esiin havainnoidessaan työkalullani verra- takseni niitä omiin havaintoihini, sekä testatakseni tekemiäni muutoksia. Näiden työvaiheiden ja päätösten aikana kokeilin lukuisia eri variaatioita työkaluni sisäl- töjen ja kuvauksien suhteen.

Selkeä struktuuri ja tehokas ajankäyttö

Toimintojen organisointi -osio koostui syklin aluksi kolmesta elementistä, joita olivat 1a) toimivat käytänteet, 1b) sujuva ajankäyttö ja 1c) soveltuvat työtavat.

Koodauskokeiluiden pohjalta poistin soveltuvat työtavat -elementin kokonaan.

Oppilaille soveltuva toiminta on keskeistä draamatoiminnan aikana, mutta huo-

masin koodauskokeiluiden aikana tämän elementin tuovan tällaisenaan vain vä- hän lisäinformaatiota ryhmän ohjaamisesta. Lisäksi koko DRAO-observointisys- teemin näkökulmasta työparini Miia Kaasisen tunnetukea mittavassa observointi- työkalussa havainnoidaan osiotasolla oppilaiden tekijyyden tukemista. Tämä osio antoi paljon kattavamman kuvan siitä, millaista toimintaa opettaja mahdollisti op- pilailleen draamatunnin aikana.

Otin tämän jälkeen tarkempaan tarkasteluun osion kahden muun elementin 1a) toimivat käytänteet ja 1b) sujuva ajankäyttö indikaattorit. Ryhmittelin näiden ele- menttien indikaattorit uudestaan observointikokeiluiden pohjalta. Observointiko- keiluiden aikana pyrin hahmottamaan, mitkä tekijät nousivat selkeämmin erotta- maan pistetasoja toisistaan vaikuttaen oppilaiden toiminta-aikaan ja tunnin suju- vaan etenemiseen.

Observointikokeiluiden aikana nousi esiin käytänteiden lisäksi opettajan sel- keä ohjeistus sekä valmistautuminen tunnille. Nämä tukivat draamatoiminnan su- juvuutta, sillä opettaja ja oppilaat tiesivät, mitä heidän tulee tehdä, ja opettaja pyrki kuljettamaan tuntia eteenpäin. Ne toivat toimintaan struktuuria eli raken- netta, joten nimesin näille yläotsikoksi selkeä struktuuri. Tehokkaan ajankäytön suhteen videotallenteita observoidessa korostuivat opettajan luomat toimintamah- dollisuudet oppilaille, odotusajan ja keskeytysten minimointi, sopivan rytmin yl- läpitäminen sekä lyhyet ja toimivat siirtymät. Tehokkaan ajankäytön myötä opet- taja tarjosi oppilaille maksimaalisesti mahdollisuuksia päästä toimimaan draama- tunnilla.

Muodostin osion indikaattoreiksi 1) selkeä struktuuri ja 2) tehokas ajankäyttö.

Niitä oli näin jäsenneltyinä selkeä havainnoida. Tämän osion indikaattoreiden muotoutuminen vei kuitenkin enemmän aikaa kuin kahden muun osion sekä vaati monia koodauskierroksia. Kokeilin ja hain alkuperäisen osion sisällön eri yhdis- telmien avulla ylä- ja alakäsitteitä, sillä nämä indikaattorit olisi voinut järjestää monella eri tavalla. Nämä indikaattorit ja niitä selventävät alakohdat menevät osit- tain limittäin ja linkittyvät toisiinsa kiinteästi.

Yhteistyötaitojen tukeminen

Observointityökaluni osion 2) vertaisvuorovaikutuksen tukeminen sisältö pysyi pitkälti samana kuin edellisessä syklissä, mutta ryhmittelin sisältöä hieman eri ta- valla koodauskokeiluiden pohjalta. Opettajan toimet tukea yhteistyön onnistu- mista esimerkiksi sanoittamalla yhteistyön vaatimia toimia ryhmätyöskentelyn ai- kana nousivat koodauskokeiluiden yhdeksi erottavaksi tekijäksi peruspistetason ja korkeiden pistetasojen välillä. Nostin kolmanneksi indikaattoriksi osioon yh- teistyötaitojen tukemisen. Tämän muotoilin vertaisvuorovaikutusta tukevia työta- poja ja käytänteitä käsittelevien alkuperäisten indikaattoreiden rinnalle. Tämä muutos myös mielestäni selkeytti osiota, sillä nyt indikaattoreiden fokus oli raja-

Opettajan ennaltaehkäisevät ja reaktiiviset toimet

Kolmannen osion observoitavasta sisällöstä poistin työkalustani oppilaiden työs- kentelyyn liittyvän indikaattorin. Halusin rajata observoinnin kohdistumista ni- menomaan oppilaiden käyttäytymiseen sekä opettajan ennaltaehkäiseviin ja uu- delleen ohjaaviin toimiin. Tämä muutos myös vähensi DRAO-observointisystee- missä työkalujemme päällekkäisyyttä, sillä oppilaiden työskentelyn havainnointi oli jo osa työparini Miia Kaasisen työkalua. Tämän lisäksi observoinnin suoritta- mista tukivat erilliset indikaattorit koskien opettajan ennaltaehkäiseviä ja reaktii- visia keinoja oppilaiden käyttäytymisen ohjaamisessa.

Yhteenveto

Taulukossa 36 olen esittänyt työkaluni version 4.0 sisällön kehittämissyklin päät- teeksi. Työkalu koostuu kolmesta osiosta, jotka jakautuivat taulukon mukaisiin indikaattoreihin.

Taulukko 36. OBSERVOINTITYÖKALUN VERSIO 4.0: sisältö ja rakenne.

Osio Indikaattorit

1. Toimintojen organisointi Selkeä struktuuri Tehokas ajankäyttö 2. Vertaisvuorovaikutuksen

tukeminen

Vertaisvuorovaikutusta tukevat työtavat Vertaisvuorovaikutusta tukevat käytänteet Yhteistyötaitojen tukeminen

3. Käyttäytymisen ohjaaminen Oppilaiden käyttäytyminen Ennaltaehkäisy

Puuttuminen ja uudelleen ohjaaminen

Observointityökaluni version 4.0 manuaali on kokonaisuudessaan nähtävillä liitteessä 12. Observointimanuaaliin on koottuna tutkimuksen aikana kehitetyn työkaluni esittely, sen käyttöohjeistus, pisteytystaulukko sekä observointilomake.

Pisteytystaulukossa on esiteltynä tarkemmin observointityökalun osiot ja osioon kuuluvat indikaattorit. Lisäksi käyn läpi työkalun sisältöä seuraavassa luvussa 6 Yhteenveto ja pohdinta.

Muutokset työkaluni toimintaperiaatteisiin sekä manuaalin työstäminen

-DRAO-tutkimusryhmämme yhteiset päätökset

Käytännössä tätä neljättä kehittämissykliä värittivät tiiviit DRAO-tutkimusryh- män yhteistyön jaksot koskien observointisysteemin rakenteen kehittämistä. Tar- koituksena oli varmistaa työkalujen yhteneväisyys, jotta ne olisivat rinnakkain käytettävissä. Erityisesti pisteytystaulukoiden rakenne observointisysteemis- sämme vaati paljon keskustelua ja pohtimista esimerkiksi indikaattoreiden ja ku- vausten sopivasta määrästä pisteytystaulukossa.

Pisteytyksen ja observointisyklin muokkaaminen

Emme olleet DRAO-kollegani Miia Kaasisen kanssa tyytyväisiä seitsenportaiseen pisteytykseen, joten tiivistimme pisteytysasteikon viisiportaiseksi, jolloin se si- sälsi pistetasot yksi (1) – viisi (5). Päätimme kirjoittaa kuvaukset pistetasoille yksi (1), kolme (3) ja viisi (5). Sovimme tutkimusryhmässä, että pistetaso (1) vastaa matalatasoista toimintaa, kolme (3) keskitasoista sekä viisi (5) korkeatasoista toi- mintaa. Näin saimme keskitasoisen toiminnan kuvauksen osaksi työkalujamme.

Määritimme keskusteluidemme ja videoaineistonäytteiden pohjalta DRAO-tutki- musryhmämme näkemyksen keskitasoisesta draamatoiminnasta. Sovimme, että keskitasoista draamatoimintaa ei leimaa kummankaan pisteytysasteikon ääripään kaltainen toiminta. Näimme, että keskitasoisen draamatunnin aikana toiminnan tasossa saa olla vaihtelua, mutta opettajan tulisi kuitenkin pääosin pitää tunnin ilmapiiri positiivisena sekä pystyä ennakoimaan draamatoimintaa ja johdattamaan sitä eteenpäin. Kolmen eri pistetason avulla oli helpompi kuvailla kunkin pisteta- son mukaista toimintaa, sillä muutoksen jälkeen ne erosivat selkeästi toisistaan.

Tämä muutos toi kaipaamaamme selkeyttä pisteytystaulukon kuvauksiin. Välipis- tetasot kaksi (2) ja neljä (4) päätimme merkitä seuraavalla virkkeellä: ”Sisältää osia pistetason x (x) kuvauksesta, mutta ei yllä sinne vielä kaikilta osin.”

Oman työkaluni pisteytystaulukossa matalaa ja korkeaa tasoa indikoivat piste- tasot yksi (1) ja viisi (5) muodostuivat edellisen pisteytyksen ääripäihin eli piste- tasoihin yksi (1) ja neljä (4) pohjaten. Keskitasoista toimintaa pistetasolla kolme (3) vastaavien kuvauksien muodostamisessa hyödynsin pistetasojen kaksi (2) ja kolme (3) kuvauksia sekä videoaineiston tunteja. Etsin tutkimusaineistosta kohtia, jotka kuvasivat sen perusteella keskitasoista toimintaa suomalaisessa alakoulussa.

Toimintaa ei sävyttänyt kumpikaan ääripää, mutta siinä ilmeni ajoittaista epäta- saisuutta tai ei-toivottua toimintaa opettajan tai oppilaiden osalta.

Päätimme observointikokeiluiden pohjalta muuttaa observointisyklin pituutta.

Määritimme, että draamatunti jaetaan kolmeen yhtä pitkään sykliin kuitenkin niin, että observointisyklin vähimmäispituus on kymmenen minuuttia.

Pisteytystaulukon rakenteen keventäminen/selkiyttäminen

Edellisen syklin aikana observointityökaluni pisteytystaulukosta oli tullut jo var- sin laaja, sillä jokainen elementti oli kuvailtu auki ja niille oli laadittu oma pistey- tystaulukko. Elementtien määrittelemisen lisäksi jokainen indikaattori oli avattu monella kohdalla. Huomasimme, että katsottavaa tuntui olevan liikaa ja pikku- tarkka lista ohjasi katsomaan yksityiskohtia.

Päätettyämme työparini Miia Kaasisen kanssa poistaa elementit työkalujemme rakenteesta tiivistimme pisteytystaulukkoon pistetasoja vastaavat kuvaukset osio- tasolle. Halusimme kuitenkin tutkimusryhmässä määrittää indikaattoreiden näyt- täytymistä toiminnan tasolla parilla ranskalaisella viivalla. Olimme itse jääneet kaipaamaan indikaattoreiden määrittämistä FFT-observointityökalulla (Danielson 2013) sekä -klusterilla (Danielson 2018) tehtyjen kokeiluiden perusteella. Esimer- kiksi työkalussani käyttäytymisen ohjaamisen osion opettajan oppilaiden ei-toi- votun käyttäytymisen ennaltaehkäisevää toimintaa ilmaisevaa indikaattoria oli avattu neljällä alakohdalla seuraavasti:

• Ennaltaehkäisy

- Selkeät ja johdonmukaiset säännöt ja draamasopimus - Realististen toimintaodotusten sanoittaminen ja mallinnus - Positiivisen käyttäytymisen vahvistaminen

- Aktiivinen seuranta ja ennakointi

Nämä muutokset selkeyttivät ja lyhensivät observointityökaluni pisteytystau- lukkoa huomattavasti edelliseen versioon nähden. Lisäksi pyrimme tiivistämään jokaiselle osiolle pistetasoille yksi (1), kolme (3) ja viisi (5) sen, mille toiminta näyttäytyy näillä tasoilla. Näin halusimme tukea observoinnin kohdistumista pis- tetasojen mukaisesti. Esimerkiksi vertaisvuorovaikutuksen tukeminen -osiossa muotoilin kuvauksen seuraavasti:

Observoijan tehtävänä on havainnoida sitä, kuinka paljon opettaja tukee oppilaiden vä- listä vertaisvuorovaikutusta ja yhteistyötä. Luoko opettaja draamatunnin aikana ryhmälle toimintakulttuuria, jota leimaa tasa-arvoisuus, oppilaiden välinen yhteistyö monipuoli- sissa ja vaihtuvissa kokoonpanoissa (korkea pistetaso 4–5), osittainen tasapuolisuus ja oppilaiden toimiminen keskenään jonkin verran vaihtuvissa kokoonpanoissa (perustaso 3) vai eriarvoisuus, oppilaiden itsenäinen työskentely tai/ja vuorovaikutus samojen oppilai- den kesken (matala pistetaso 1–2)?

Päätimme kirjoittaa pisteytystaulukkoon kuvaukset ranskalaisilla viivoilla ja indikaattoreiden mukaan jäsenneltyinä, jotta eri pistetasoja olisi helpompi verrata.

Huomasimme, että suorasanaiseen tekstiin verrattuna tämä helpotti pisteytystau- lukon käyttöä. Observointikokeiluidemme aikana tehdyt muutokset pisteytysas- teikossa ja -taulukossa palvelivat paremmin observoinnin suorittamista. Pisteyttä- mistä tukivat hyvin tiiviit pistetasojen kuvaukset osioiden alussa (ks. yllä esi- merkki).

Observointimanuaalin muoto ja ohjeistuksen täydentyminen

Täsmensimme ja selkeytimme DRAO-tutkimusryhmässä myös observointimanu- aalissa olevia observoinnin suorittamiseen liittyviä ohjeita sekä muita manuaalin tekstejä. Näiden ohjeiden taustalla oli observointityökalun oikeaoppisen käytön varmistaminen ja näin saatujen tulosten luotettavuuden lisääminen (vrt. Dobbelaer 2019, 21–27).

Manuaalin muoto ja ohjeistus syntyivät pohjaten omiin ja KEHU-tutkimustii- min suorittamiin koodauskokeiluihin, aiempaan tutkimustietoon sekä eri obser- vointityökalujen manuaalien, muun muassa Classroom Scoring System K-3 (Pi- anta ym. 2008), Teach classroom observation tool (The Worldbank 2019) sekä Early Childhood Classroom Observation Measure (ECCOM, Stipek & Byler 2004; Annenberg Institute 2018), tutustumisen pohjalta tulleisiin huomioihin. Eri- tyisesti halusimme painottaa observoinnin suorittamiseen ja pistetykseen liittyviä seikkoja ohjeistuksessa, sillä niitä olisimme itse kaivanneet Framework for Teachingin (FFT, Danielson 2013) kohdalla. Kävimme esimerkiksi keskusteluita siitä, kuinka helposti oma näkemys, mieltymykset ja tietoisuus siitä, mitä opetta- jan muilla tunneilla tapahtuu, värittävät koodausta, ellei pitäydy tarkasti pisteytys- taulukon kuvauksissa. Päämääränämme oli kuvata ohjeistus niin, että se mahdol- listaa observointisysteemin työkalujen käytön. Halusimme kuitenkin pitää manu- aaliin lyhyenä ja tiiviinä, sillä näimme työkalun oikeaoppisen käytön vaativan koulutusta. Päätimme liittää manuaaliin yhteystietomme, mikä mahdollistaa lisä- tietojen tai koulutuksen hankkimisen.

Kirjoitimme observoinnin suorittamista ja koodausta koskevan ohjeistuksen sekä observointisysteemiä koskevan esittelytekstin yhdessä, sillä ne koskevat koko observointisysteemiä. Päätimme, että näiden tekstien on oltava sanatarkasti samat molempien työkaluissa, jotta ne lisäävät yksiselitteisen tiedon määrää sys- teemistämme. Lisäksi halusimme varmistaa, että opettelemalla yhden työkalun käyttöperiaatteen onnistuu myös muiden DRAO-observointisysteemin työkalujen käyttö sisällön ja teoreettisen taustan haltuunoton jälkeen.

DRAO-observointisysteemin kolmannen osion sisällön täsmentyminen Päätimme DRAO-observointisysteemin kolmanteen osa-alueeseen oppimisen tuki sisältyvät osiot. Nämä sisällöt nousivat Teaching through Interactions -viiteke- hyksen (Hamre ym. 2013; Hafen ym. 2015), muun teoreettisen tietämyksen sekä kuvatun videoaineiston pohjalta. Olimme koko kehittämisvaiheen ajan käyneet säännöllisesti keskusteluita siitä, miten kolmannessa osa-alueessa oleva draama- toiminnan aikainen oppimisen tuki näyttäytyy toiminnan aikana, rajatessamme omien työkalujemme sisältöjä. Tämä osa-alue vastaa niihin draamatoiminnan ai- kaisiin oppimisen näkökulmiin, joita väitöstutkimuksiemme puitteissa kehitetyt

Sovimme, että oppimisen tuki näyttäytyy draaman käsitteistön ja työtapojen käyttämisenä, kohdennettuna ja oppimista tukevana palautteena, reflektiokäytän- teiden opettamisena sekä draaman maailmoissa toimimisen mahdollistamisena.

Osioksi muodostuivat näin 1) draaman käsitteistö ja työtavat, 2) oppimista tukeva palaute ja reflektio sekä 3) draaman fiktiiviset maailmat. Kolmannen osa-alueen osiot ovat alustavia, sillä emme työparini Miia Kaasisen kanssa hahmotelleet tar- kempia indikaattoreita. Tarkoituksenamme on kehittää kolmas työkalu post doc - tutkimuksena.

Vaiheen arviointi

Kuten edellisissäkin sykleissä, vahvin arviointi työkalun käytettävyydestä tuli työ- parini Miia Kaasisen kanssa suoritetuista rinnakkaiskoodauksista sekä omista koodauskokeiluistani videoaineistolla. Syklin lopuksi suoritimme rinnakkaiskoo- dauksen 20 prosenttiin aineistosta eli arvotuilla kymmenellä eri videoaineiston opettajan draamatunnilla (vrt. Pöysä 2019). Työparini Miia Kaasinen pystyi suo- rittamaan havainnointia observointityökaluni versiolla 4.0 siten, että rinnakkais- koodausten yhteneväisyys oli yli 80 prosenttia (vrt. Creswell 2007, 211). Lisäksi niiden syklien kohdalla, joissa erovaisuuksia ilmeni, erot olivat vain yhden (1) pistetason verran. (Liite 13) Observointityökaluni toimi näin tutkimusryhmämme omassa käytössä.

Emme pyytäneet KEHU-tutkimustiimin jäseniä testaamaan työkalujamme ob- servoimalla, sillä emme kokeneet koodauskokeiluita tarpeellisiksi. Näimme tutki- musryhmänä, että seuraavana kehittämisvaiheena olisi työkalujemme validointi.

Validointivaihe ei kuulunut väitöstutkimukseni tehtävään. Vaihe olisi vaatinut uu- den videoaineiston keräämistä ja koodaamista, laajemman asiantuntijajoukon sekä psykometrisen mittaamisen hyödyntämistä (esimerkiksi havainnoinnin yhte- neväisyyden asteen laskemista Cohenin kappa -kertoimen avulla) sekä mahdolli- sesti muiden tutkimusaineistojen keräämistä ja niiden tulosten hyödyntämistä (vrt.

Liu ym. 2019; Molina ym. 2018; Sarkkinen 2018).

Pyysimme kuitenkin palautetta observointityökaluistamme KEHU-tutkimus- tiimin jäseniltä KM Heli Makkoselta sekä KM Cia Rädyltä, luokkahuonevuoro- vaikutuksen observoinnin asiantuntijalta, apulaisprofessori Eija Pakariselta sekä ohjaajaltani, draamakasvatuksen dosentti Tapio Toivaselta. Heli Makkosella ja Cia Rädyllä oli pro gradu -tutkielmiensa aihepiirin vuoksi asiantuntemusta draa- matoiminnan observoinnista. Lisäksi he edustivat mahdollisia tulevia käyttäjiä, joten kysyimme heiltä erityisesti ohjeistuksen selkeydestä ja yksiselitteisyydestä sekä manuaalin rakenteesta käytettävyyden näkökulmasta. Lisäksi Pakarinen kommentoi työkalujamme ohjeistuksen selkeyden sekä Toivanen draamakasva- tuksen ja draaman observoinnin näkökulmasta.

Kokosimme yhteen ja tarkastelimme yhdessä DRAO-tutkimusryhmässä kaikki kehittämissyklin lopuksi tulleet palautteet. Jokainen muutos piti hyväksyä yhdessä

päätösten vaikuttaessa molempiin systeemin työkaluihin. Hyväksyimme ehdotuk- sista ne, jotka selkiyttivät mielestämme manuaalia. Makkosen ja Rädyn palautteen perusteella pilkoimme joitain virkkeitä manuaalissa lyhyemmiksi ja muokka- simme sanamuotoja. He kuitenkin kokivat manuaalit käytettäviksi ja pistetasojen eroavan selkeästi toisistaan. Räty ja Makkonen ymmärsivät työkalujemme käyt- töperiaatteet ja -vaatimukset.

Pakarisen ja Toivasen palautteen perusteella muokkasimme ohjeistusta vielä selkeämmäksi tarkentamalla joitakin sanamuotoja. Pakarisen huomioon pohjaten muutimme välipistetasojen eli pistetasojen kaksi (2) ja neljä (4) kuvausta. Väli- pistetason kuvaus oli ristiriidassa manuaalin ohjeistuksen kanssa. Ohjeistuksessa totesimme, ettei jokaisen pistetasolla olevan kuvauksen tarvitse täyttyä, jotta tie- tyn pistetason voi antaa. Tästä syystä laadimme tutkimusryhmässä kaksi eri vaih- toehtoa Pakariselle kommentoitavaksi. Muotoilimme lopulta seuraavan virkkeen kuvaamaan välipistetasoa neljä (4): ”Sisältää osia sekä pistetason viisi (5) että pis- tetason kolme (3) kuvauksesta.”

Lopputuloksena syntynyt draamatoiminnan aikainen ryhmän ohjaamisen ma- nuaali on esitetty liitteessä 12.