Problematyka badania

ROZDZIAŁ 3

czasem). Przy formułowaniu hipotez badawczych przyjęłam założenie, że narzędzia edu- kacyjne, w których korzysta się z gier lub ich elementów powinny być bardziej efektywne niż kurse-learningowy, a założenie to dotyczy obu wspomnianych wymiarów efektywności narzędzia edukacyjnego. Takie przypuszczenie motywowane jest tym, że gry lub aplikacje korzystające z tych elementów mogą być bardziej immersyjne od tradycyjnych metod na- uczania, a tym samym mogą bardziej angażować i motywować uczniów do dalszej nauki.

Wywołanie tych pozytywnych doświadczeń może z kolei przyczynić się do lepszych wyni- ków edukacyjnych. Co więcej, gra poważna ma szansę angażować bardziej niż grywalizacja, ponieważ jako środowisko będące grą (a nie tylko korzystające z jej elementów) może wy- woływać większą immersję u uczestników badania, a tym samym powodować, że będą oni chętniej korzystać z tego narzędzia edukacyjnego. Przedstawione powyżej założenia odzwierciadliłam w następujących hipotezach badawczych:

– Hipoteza 1.1: Korzystanie z gry poważnej będzie skutkowało lepszymi efektami edukacyjnymi niż korzystanie z dwóch pozostałych narzędzi edukacyjnych.

– Hipoteza 1.2: Korzystanie z grywalizacji będzie skutkowało gorszymi efektami eduka- cyjnymi niż korzystanie z gry poważnej, ale lepszymi niż korzystanie z tradycyjnego kursue-learningowego.

– Hipoteza 1.3: Korzystanie z tradycyjnego kursu e-learningowego będzie skutkowa- ło gorszymi efektami edukacyjnymi niż korzystanie z dwóch pozostałych narzędzi edukacyjnych.

– Hipoteza 2.1: Korzystanie z gry poważnej będzie skutkowało większym zaangażowa- niem uczestników badania niż korzystanie z dwóch pozostałych narzędzi edukacyj- nych.

– Hipoteza 2.2: Korzystanie z grywalizacji będzie skutkowało mniejszym zaangażowa- niem uczestników badania niż korzystanie z gry poważnej, ale większym niż korzy- stanie z tradycyjnego kursue-learningowego.

– Hipoteza 2.3: Korzystanie z tradycyjnego kursu e-learningowego będzie skutkowało mniejszym zaangażowaniem uczestników badania niż korzystanie z dwóch pozosta- łych narzędzi edukacyjnych.

W celu sprawdzenia powyższych hipotez zaprojektowałam i przeprowadziłam badanie eksperymentalne. Badanie to miało na celu dostarczenie odpowiedzi na pytanie, czy do- danie do procesu edukacyjnego gier bądź ich elementów korzystanie wpłynie na wyniki edukacyjne oraz większe zaangażowanie uczestników badania. W związku z tym badanie uwzględniało dwie grupy eksperymentalne – jedna z nich składała się z osób, które uczyły się przy pomocy gry poważnej, druga z osób, które uczyły się przy pomocy grywalizacji.

Grupę kontrolną stanowili natomiast uczestnicy kursu e-learningowego (który nie zawie- rał w sobie elementów gier). Przypomnijmy, że jednym z największych bolączek badań sprawdzających efektywności wykorzystania gier poważnych i grywalizacji w kontekstach edukacyjnych było prawidłowe określenie grupy kontrolnej (zob. Paragraf 2.2.3, str. 78 oraz Paragraf 2.3.1, str. 82). Tę często stanowiły osoby, które nie brały udział w żadnym szkoleniu, były uczone przy pomocy innej gry albo przy pomocy tradycyjnego szkole- nia. Nie chcąc powielać błędów poprzedników, zdecydowałam się na wyodrębnienie dwóch grup eksperymentalnych (uczących się w sposób zdalny przy pomocy narzędzi edukacyj- nych korzystających z gier lub ich elementów) oraz jednej grupy kontrolnej (uczącej się zdalnie przy pomocy narzędzia edukacyjnego, które nie zawierało elementów gier). Proces edukacyjny, ale również obsługa narzędzi edukacyjnych wyglądały bardzo podobnie, nieza- leżnie od wybranego warunku badania. Manipulacja eksperymentalna dotyczyła stopnia

w jakim dane narzędzie edukacyjne inkorporowało gry lub elementy gier. Całość bada- nia została przeprowadzona przy pomocy autorskiej platformy do nauczania zdalnego, na której zostały zamieszczone trzy wersje kursu edukacyjnego (każde narzędzie edukacyjne stanowiło oddzielny interfejs do tej samej bazy danych). Uczestnictwo w kursie wymagało założenia konta na platformie (rejestracji) oraz logowania się do niej, ponieważ jednym z zadań platformy było rejestrowanie aktywności użytkowników oraz gromadzenie udzie- lonych w testach odpowiedzi (przy zachowaniu poufności pozyskiwania danych).

3.1.2. Tematyka kursu edukacyjnego

W ramach omawianego badania eksperymentalnego przygotowałam trzy wersje kursu edukacyjnego związanego z przekazaniem przydatnej i możliwej do wykorzystania wiedzy, którą użytkownicy chcieliby nabyć w ramach poszerzenia swoich kompetencji. W związ- ku z tymi założeniami na temat kursu wybrałam naukę obsługi arkuszy kalkulacyjnych z wykorzystaniem programu Microsoft Excel¹. Program Microsoft Excel jest narzędziem biurowym, które szeroko wykorzystywane jest na różnych stanowiskach pracy, a jego zna- jomość stanowi atut na rynku pracy. Wyszukiwanie na portaluhttps://www.pracuj.pl/

ze słowem kluczowymexcel zwraca niemal 4 700 stanowisk pracy, w których narzędzie to jest wymagane². Przykładowe stanowiska to: księgowy, technolog procesu produkcyjnego, specjalista ds. logistyki, analityk finansowy, specjalista ds. robotyzacji i automatyzacji pro- cesów. Wybór takiego narzędzia na przedmiot kursu podyktowany był jego popularnością oraz przydatnością, co bezpośrednio powinno przełożyć się na stosunkowo łatwe znalezie- nie osób chętnych do wzięcia udziału w kursie edukacyjnym. Co więcej, zdecydowanie się na taką tematykę kursu podyktowane było również jej neutralnym charakterem. Z uwagi na szczególny charakter badania eksperymentalnego, które kierowane było do szerokiej grupy odbiorców oraz przeprowadzone zostało w sposób całkowicie zdalny i bez bezpo- średniego nadzoru osób biorących w nim udział, chciałam zadbać o to, aby wykorzystany w badaniu kurs edukacyjny nie zawierał treści o charakterze kontrowersyjnym.

Treść merytoryczną kursu przygotowałam w oparciu o materiały (sylabus³ oraz lite- raturę wspomagającą⁴), które rekomendowane są przez stronę Europejskiego Certyfika- tu Umiejętności Komputerowych⁵. Znajomość obsługi arkusza kalkulacyjnego sprawdza- na jest na jednym z czterech egzaminów, których zdanie poświadczanie jest certyfikatem ECDL BASE – podstawowym certyfikatem dla pracowników, którzy na co dzień posługu- ją się komputerem, korzystają z Internetu czy tworzą dokumenty i arkusze kalkulacyjne.

Jedną z głównych potrzeb badania było zapewnienie takich samych treści edukacyjnych dla wszystkich trzech narzędzi edukacyjnych (kursue-learningowego, grywalizacji oraz gry poważnej). Materiały przygotowujące do zdania testu potwierdzanego certyfikatemECDL BASE zostały opracowane przez ekspertów i opiera się na nich wiele kursów związanych z nauką obsługi arkuszy kalkulacyjnych. Wykorzystanie tych materiałów przy przygoto- waniu autorskich zadań edukacyjnych było pomocne, ponieważ:

– związane było z posiadaniem przetestowanych zadań edukacyjnych, które zostały wykorzystane jako materiał referencyjny przy tworzeniu zadań autorskich,

– pozwoliło na wybranie skończonej liczby zagadnień, które powinny zostać pokryte przez opracowane zadania edukacyjne,

1https://products.office.com/pl-pl/excel; dostęp: 27.07.2020 r.

2Dokładnie 4691. Stan na dzień: 27.07.2020 r.

3ECDL/ICDL Arkusze kalkulacyjne. Sylabus – wersja 5.0, https://ecdl.pl/wp-content/uploads/

2016/01/b41.pdf, dostęp: 09.02.2020 r.

4Przy opracowaniu zadań edukacyjnych jako materiał referencyjny wykorzystałam podręcznikECDL Base na skróty. Syllabus v. 1.0 (Żarowska Mazur i Węglarz, 2016).

5http://ecdl.pl/; dostęp: 27.07.2020 r.

– dało możliwość wykorzystania metody sędziów kompetentnych, którzy odwołując się do zagadnień sylabusa mogli ocenić opracowane zadania edukacyjne (zob. Paragraf 3.4.2–3.4.4).

Wspomniane wcześniej trzy wersje kursu obsługi arkusza kalkulacyjnego były w pełni autorskimi narzędziami edukacyjnymi, które zostały w całości przygotowane na potrzeby niniejszej pracy. Narzędzia te wiązały się z zaprojektowaniem i implementacją:

1. Kursue-learningowego (przeznaczonego dla grupy kontrolnej). Kurs ten zaprojekto- wany został w oparciu o rekomendacje zawarte wPoradniku dla projektujących kursy e-learningowe (zob. Przybyła i Ratalewska, 2012) i zawierał następujące kategorie materiałów:

– informacyjne, opisujące w jaki sposób będzie zorganizowana i czego będzie dotyczyć nauka;

– dydaktyczne, zawierające treści nauczania, na podstawie których można budo- wać wiedzę i zdobywać umiejętności (np. teksty, elementy graficzne, studium przypadku, materiały wideo);

– utrwalające, służące podsumowaniu i systematyzowaniu zdobytej wiedzy i umie- jętności (np. podsumowania, zestawienia);

– aktywizujące, umożliwiające ćwiczenie zdobytych umiejętności (np. zadania zamknięte, zadania interaktywne);

– sprawdzające, kontrolujące i oceniające stan zdobytej wiedzy (np.quizy).

2. Zgrywalizowanego kursu edukacyjnego. W kursie tym do materiałów użytych w szko- leniue-learningowym zostały dołączone popularne mechanizmy gier (opisane w Pa- ragrafie 2.3, str. 80), tj: punkty, poziomy, odznaki, rankingi, nagrody, paski postępu, fabuła oraz często występująca informacja zwrotna.

3. Gry poważnej, której zadaniem było przekazywanie potrzebnej do obsługi arkuszy kalkulacyjnych wiedzy i umiejętności. Gra poważna zawierała również materiały wykorzystane w kursiee-learningowym.

Wymienione kursy zostały szczegółowo omówione w dalszej części rozprawy (zob.

Podrozdział 3.2).

3.1.3. Plan badania

Schemat przeprowadzonego eksperymentu został przedstawiony na Rysunku 3.1. Ba- danie rozpoczęło się od przeprowadzenia testu określającego początkowy poziom wiedzy oraz kwestionariusza (metryczki). Celem pre-testu było sprawdzenie przy pomocy autor- skiego testu obsługi Microsoft Excel poziomu znajomości obsługi arkuszy kalkulacyjnych.

Dzięki metryczce zostały pozyskane podstawowe dane na temat badanych (wiek, płeć, wykształcenie, miejsce zamieszkania) oraz motywacja dla podjęcia kursu. Następnie osoby badane mogły przejść do kursu edukacyjnego składającego się z 30 zadań. W zależności od tego, do jakiej grupy zostali przydzieleni, uczestnicy badania uczyli się przy pomocy:

gry poważnej, grywalizacji lub kursue-learningowego. Po każdym dziale kursu został prze- prowadzony kwestionariusz sprawdzający poziom zaangażowania uczestników badania. Po zakończonym kursie uczestnicy brali udział w post-teście, którego celem było sprawdzenie, czy poziom ich wiedzy i umiejętności zmienił się podczas trwania nauki. W celu spraw- dzenia trwałości efektów edukacyjnych po 30 dniach od zakończenia kursu uczestnicy po- nownie poproszeni byli o wykonanie testu edukacyjnego. W każdym warunku badania jego

poszczególne elementy pojawiały się w tych samych, z góry zaplanowanych momentach.

Wszyscy uczestnicy badania wypełniali kwestionariusze oraz testy wiedzy po rozwiązaniu takiej samej liczby zadań edukacyjnych. Taka standaryzacja procesu prowadzenia bada- nia eksperymentalnego pozwoliła na przeprowadzenie go w sposób całkowicie zdalny oraz umożliwiła rzetelne porównanie wyników pomiędzy poszczególnymi grupami badanymi.

3.1.4. Opis narzędzi badawczych

Przeprowadzanie badania eksperymentalnego związane było z zaprojektowaniem i wdro- żeniem narzędzi edukacyjnych oraz wyborem lub samodzielnym opracowaniem narzędzi badawczych. Te pierwsze były narzędziami, korzystając z których osoby badane rozwiązy- wały kolejne elementy kursu edukacyjnego –e-learningiem, grywalizacją oraz grą poważną.

Narzędzia edukacyjne zawierały cechy charakterystyczne dla aplikacji tego typu oraz roz- prowadzały zadania edukacyjne oraz narzędzia badawcze zgodnie ze schematem badania (zob. Rysunek 3.1, str. 98). Narzędzia te szczegółowo opisałam w dalszej części tego roz- działu (zob. Podrozdział 3.2). Narzędzia badawcze stanowiły natomiast przede wszystkim kwestionariusze, a ich celem było zgromadzenie danych, które pozwoliłyby mi na spraw- dzenie postawionych hipotez badawczych. Narzędzia badawcze wykorzystane w ramach badania to:

– metryczka,

– autorskie testy wiedzy,

– Kwestionariusz IMUW – zmodyfikowany kwestionariusz immersji opracowany przez Kucharska i inni (2019),

– autorska adaptacja Kwestionariusza dotyczącego uczenia się, którego oryginalna wersja została opracowana przez Holder (2007),

– autorski Kwestionariusz satysfakcji z kursu,

– autorski Kwestionariusz powodów rezygnacji z kursu,

– mechanizmy pomiaru aktywności kursanta przez platformę edukacyjną.

Jak widać narzędzi tych było całkiem sporo, a większość z nich została opracowana na potrzeby badania. Aby zapewnić wysoki standard badania wymagane było przeprowadze- nie badań pilotażowych niektórych z tych narzędzi i/lub wykorzystanie metody sędziów kompetentnych. W dalszej części tego rozdziału opiszę więc ze szczegółami, w jaki spo- sób opracowałam poszczególne narzędzia edukacyjne oraz badawcze. Opis ten zacznę od nakreślenia obrazu, do czego wykorzystane zostało dane narzędzie badawcze oraz z pomia- rem jakich zmiennych było związane. W przeprowadzonym badaniu efektywność narzędzi edukacyjnych mierzona była na dwóch wymiarach – edukacyjnym i zaangażowania.

Efekty edukacyjne sprawdziłam przy pomocy autorskich testów z wiedzy i umiejętności potrzebnych do obsługi programuMicrosoftt Excel, które opracowałam w oparciu o wspo- mniany już sylabus Europejskiego Certyfikatu Umiejętności Komputerowych. W trakcie trwania każdego z kursów edukacyjnych mierzony był również poziom zaangażowania użyt- kownika. Zgodnie z Lehmann i inni (2012) miary zaangażowania użytkownika serwisówon- line można podzielić na trzy grupy: własna ocena zaangażowania (ang.self-reported enga- gement), poznawcze zaangażowanie (ang.cognitive engagement) oraz metryki zachowania użytkownika (ang.online behaviour metrics). Własna ocena zaangażowania ustalana jest na podstawie kwestionariuszy i/lub wywiadów, w których użytkownik samodzielnie określa poziom zaangażowania. Poznawcze zaangażowanie rozumiane jest jako zmiany w mimice, tonie głosu czy tętnie użytkownika. Metryki zachowania dotyczą natomiast poruszania się

Rysunek3.1:Schematplanubadaniaeksperymentalnego

po danym serwisie i częstości korzystania z niego. Z uwagi na charakter przeprowadzonego badania i brak bezpośredniego dostępu do osób badanych wykorzystałam dwa z trzech wskaźników zaangażowania: Kwestionariusz IMUW – zmodyfikowany kwestionariusz im- mersji (zob. Kucharska i inni, 2019) pozwalający na subiektywną ocenę zaangażowania oraz metryki dotyczące zachowania kursantów na platformie. Pomiar zachowania osoby badanej w danym kursie był związany z mierzeniem jej aktywności: liczby sesji, liczby zdarzeń w sesji,średniego czasu sesji,całkowitego czasu spędzonego w kursie (bez przerw), czasu przerw oraz liczby ukończonych elementów kursu. Wymienione wskaźniki zostały wykorzystane w analizie przeżycia oraz analizach porównujących aktywność kursantów.

Definicje tych wskaźników oraz sposób ich pomiaru omówiłam szczegółowo w podrozdzia- łach dotyczących wspomnianych analiz (zob. Podrozdział 4.3, str. 243 oraz Podrozdział 4.4, str. 270).

3.1.5. Zmienne i ich wskaźniki

Podczas badania mierzone były zmienne przedstawione w Tabeli 3.1. O różnicach w efektach uczenia się przy pomocy testowanych narzędzi edukacyjnych świadczył wynik (suma punktów) uzyskany w teście pozwalającym na ocenę poziomu wiedzy i umiejętności z zakresu obsługi programuMicrosoft Excel. Zaangażowanie uczestnika kursu mierzone by- ło w dwóch wymiarach – subiektywnym oraz obiektywnym. Wystąpienie zmian w subiek- tywnie postrzeganym przez badanych zaangażowaniu identyfikowałam porównując wynik (sumę punktów), który uzyskali oni w trzech pomiarach Kwestionariusza IMUW. Zaan- gażowanie kursanta było również mierzone poprzez wykonywane przez niego aktywności podczas kursu –liczbę ukończonych elementów kursu (na której opierała się analiza prze- życia) oraz czasowe wskaźniki zaangażowania kursanta: liczbę sesji, liczbę zdarzeń w se- sji, całkowity czas spędzonym w kursie (bez przerw), czas przerw. Porównanie wysokości tych wskaźników w poszczególnych warunkach badania uzupełniło subiektywnie oceniane zaangażowanie kursantów o zaangażowanie, o którym można wnioskować na podstawie zarejestrowanych zachowań.

Tabela 3.1: Zmienne, ich wskaźniki oraz metody pomiarowe użyte w badaniu

Zmienna Wskaźnik zmiennej Metoda pomiarowa

efekty uczenia się liczbowy (suma punktów) test wiedzy z obsługiMicrosoft Excel zaangażowanie liczbowy (suma punktów) Kwestionariusz IMUW

zaangażowanie liczbowy (liczba ukończonych elementów kursu)

analiza przeżycia zaangażowanie liczbowy (czasowe wskaźniki za-

angażowania kursanta)

pomiar aktywności kursanta predyspozycje do

wytrwałości

liczbowy (suma punktów) Kwestionariusz dotyczący uczenia się satysfakcja liczbowy/opisowy Kwestionariusz satysfakcji z kursu

powody rezygnacji opisowy Kwestionariusz powodów rezygnacji z kursu

Choć głównym celem przeprowadzonego przeze mnie badania eksperymentalnego było sprawdzenie, który z jego warunków jest najbardziej efektywny pod względem angażowa- nia kursantów oraz osiąganych przez nich efektów uczenia się, obraz zachowania uczest- ników badania uzupełniłam o ocenę ich predyspozycji do wytrwałości w edukacyjnych kursach zdalnych, opis satysfakcji z kursu oraz powodów rezygnacji z kursu. Wykorzystu- jącKwestionariusz dotyczący uczenia się podjęłam próbę identyfikacji predyspozycji osób badanych do wytrwałości w kursach prowadzonych w sposób zdalny. Wykorzystanie tego kwestionariusza w badaniu miało dwa cele – sprawdzenie, czy osoby, które faktycznie wy- trwały w kursie odpowiednio długo różniły się wynikiem uzyskanym w kwestionariuszu od

osób, które szybko zrezygnowały z kursu oraz sprawdzenie, czy w przypadku wszystkich warunków badania liczba osób, która osiągnęła wysoki wynik w kwestionariuszu (a więc liczba osób identyfikowanych przez kwestionariusz jako mające predyspozycje do wytrwa- łości w kursie prowadzonym w sposób zdalny) jest podobna.

WypełniającKwestionariusz satysfakcji z kursuosoby badane mogły ocenić swoje ogól- ne zadowolenie z kursu. Narzędzie to pozwoliło mi na sprawdzenie, czy poszczególne wa- runki badania różnią się pod względem odczuwanej przez kursantów satysfakcji. Satysfak- cja związana z korzystaniem z danego narzędzia edukacyjnego uzupełnia przeprowadzone analizy o subiektywną ocenę kursantów. Poziom zaangażowania osób badanych (mierzony przy pomocy Kwestionariusza IMUW oraz obiektywnych wskaźników czasowego zaan- gażowania) może, choć nie musi być równoznaczny z poziomem zadowolenia kursantów z danego narzędzia edukacyjnego.

W przypadku Kwestionariusza powodów rezygnacji z kursu osoby badane, które zre- zygnowały z kursu mogły podzielić się powodami, dla których to zrobiły. Wyniki tego kwestionariusza pozwalają zrozumieć, jakie czynniki były tymi, które najbardziej przy- czyniły się do podjęcia decyzji o rezygnacji z kursu edukacyjnego.

3.1.6. Dobór osób badanych

W paradygmacie uczenia się przez całe życie oraz w edukacji na odległość istotna jest chęć do wzięcia udziału w kursie edukacyjnym. Ucząc się kursanci powinni realizować swoje cele, czy to wewnętrzne (związane z np. powiększaniem swoich kompetencji), czy zewnętrzne (związane z np. wymaganiami rynku czy miejsca pracy). W związku z tym rekrutacja osób badanych oparta została o przyjmowanie zgłoszeń ochotników. Następnie zastosowałam dobór celowy – do każdego z trzech warunków badania uczestnicy zostali przypisani tak, aby każda grupa badanych zawierała podobną liczbę osób, którzy mają tą samą płeć, znajdują się w tym samym przedziale wiekowym oraz posiadają ten sam poziom wykształcenia. Uczestnicy badania korzystali z kursów przy pomocy własnych komputerów w dogodnym dla siebie czasie. W ten sposób nie tylko rozwiązywali zadania edukacyjne, ale również wypełniali wymagane przez badanie kwestionariusze oraz testy.

Przy projektowaniu badania eksperymentalnego założyłam, że minimalna liczba osób, która powinna wziąć w nim udział to 90 osób badanych (30 osób na każdy warunek badania).