Kwestionariusz satysfakcji - Opracowanie narzędzi badawczych

Badanie własne

3.3. Opracowanie narzędzi badawczych

3.3.4. Kwestionariusz satysfakcji

Zgodnie z Przybyła i Ratalewska (2012), autorkamiPoradnika dla projektujących kur- sy e-learningowe, każde działanie edukacyjne przeprowadzane w sposób online powinno zostać zakończone odpowiednio zaprojektowaną ewaluacją²⁹. Wspomniana ewaluacja powinna stanowić ostatni etap kursu e-learningowego i może zostać przeprowadzona przy pomocy ankiety. Powołując się na autorki podręcznika, na ocenę kursu e-learningowego powinna się składać:

– ocena efektywności kursu e-learningowego, czyli rozpoznanie stopnia osiągnięcia założonych efektów kształcenia, ocena tego czego nauczyli się uczniowie oraz jak bardzo efektywny był sam proces dydaktyczny,

– ocena jakości kursue-learningowego, czyli ocena poziomu zadowolenia z kursu, spo- sobu jego prowadzenia, jakości materiałów dydaktycznych oraz działania platformy, na której przeprowadzony został kurs.

Bardzo popularnym sposobem na dokonanie oceny efektywności kursue-learningowego jest wykorzystanie modelu Kirkpatricka³⁰ (zob. Woźniak i Kozioł, 2012, Stecyk, 2011 oraz Dąbrowski, 2008). Model ten składa się z czterech poziomów, które odnoszą się do następujących po sobie etapów oceny efektywności szkolenia (Dąbrowski, 2008):

I: Poziom reakcji na trening – ocena subiektywnego poziomu zadowolenia uczestników szkolenia, która przeprowadzana jest zazwyczaj przy pomocy formularza oceny. Na tym poziomie uzyskuje się informacje dotyczące np. tego, czy szkolenie podobało się uczestnikom oraz jak planują wykorzystać zdobytą wiedzę.

II: Poziom uczenia się – polega na zbadaniu, czy nastąpił przyrost wiedzy i umiejętności dzięki przeprowadzonemu szkoleniu. Ocena ta przeprowadzana jest przy pomocy testów wykonywanych przed rozpoczęciem szkolenia i po jego ukończeniu.

III: Poziom zachowań – polega na analizie zachowań oraz postaw i próbie odpowiedzi na pytanie, czy zaszły pozytywne zmiany w zachowaniu uczestników szkolenia. Techniki pomiaru to obserwacja, analiza wyników pracy czy kwestionariuszy samooceny.

IV: Poziom efektywności szkolenia – na tym poziomie badana jest długofalowa efektyw- ność szkolenia w kontekście nie tylko jego uczestnika, ale również instytucji orga- nizującej szkolenie (np. pracodawcy). Poziom ten związany jest z analizą korzyści biznesowych, danych finansowych, rezultatów w pracy czy wydajności.

29Przykłady ankiet ewaluacyjnych przeznaczonych dla uczestników zajęć zdalnych, które stanowią bardzo dobre podłoże do zaprojektowania własnej ankiety można znaleźć w Poradniku dla projektujących kursu e-learningowe, zob. Przybyła i Ratalewska (2012), s. 81–84.

30Istnieją również inne sposoby na ocenę efektywności szkolenia. Przykładowo innym modelem, który składa się z czterech etapów analizy efektywności jest model C-I-P-O, który ocenia szkolenie na poziomie kontekstu (ang.context), nakładów (ang.input), procesu (ang.process) i rezultatów (ang.outcome) (zob.

Woźniak i Kozioł, 2012). Model ten pokazuje szerszy kontekst oceny efektywności szkoleń i może zostać użyty jako uzupełnienie modelu Kirkpatricka. W celu szacowania nakładów oraz kalkulacji wyników procesu szkolenia stosuje się również metody takie jak zwrot z inwestycji (ang.return on investemnt, ROI), arkusz inwestycji i korzyści, analiza kosztów i korzyści (zob. Woźniak i Kozioł, 2012).

Model Kirkpatricka jako powstały w 1959 roku odnosił się do szkoleń stacjonarnych i pozwolił on na zoperacjonalizowanie pojęć takich jak „ocena” czy „ewaluacja”. Jednak- że standardy jakości w e-learningu wzorowane są często właśnie na tym modelu (Gur- ba, 2015). Model jako taki najczęściej wykorzystywany jest do mierzenia efektywności szkoleń przeprowadzanych przez pracodawców dla swoich pracowników i pozwala poka- zać, w jaki sposób szkolenie przyczynia się do rozwoju obu tych podmiotów. W praktyce przeprowadzenie wszystkich czterech poziomów ewaluacji często okazuje się zbyt kosztow- ne. Najczęściej organizacje w ewaluacji szkoleń uwzględniają tylko dwa pierwsze poziomy modelu Kirkpatricka (zob. Dąbrowski, 2008). Co więcej, model ten stawia przed bada- czem wysokie wymagania w kontekście wiedzy o badanej rzeczywistości oraz związkach przyczynowo-skutkowych i procesach, które zachodzą dopiero po jakimś czasie po odby- tym szkoleniu (Woźniak i Kozioł, 2012). Poziom diagnozy wykonywany przy pomocy tego narzędzia zależy więc w dużej mierze od kompetencji badacza.

W przypadku oceny szkoleń e-learningowych ocena satysfakcji z poziomu pierwszego modelu Kirkpatricka może zostać uzupełniona o analizę danych związanych z zachowa- niem użytkowników na platformie e-learningowej (np. liczbę logowań, czas spędzony na platformie, liczbę interakcji z zasobami i uczestnikami zajęć) (Dąbrowski, 2008). Wyni- ki takiej analizy mogą wspomóc weryfikację subiektywnej oceny szkolenia. Drugi poziom modelu Kirkpatricka – poziom uczenia się, może zostać uzupełniony o analizę wyników zadań wykonywanych w trakcie trwania kursu (Dąbrowski, 2008). W tym przypadku po- stęp uczestników nie jest tylko określany przez końcowy wynik (np. ocenę przyznaną przez prowadzącego), ale również poprzez wyniki aktywności wykonywanych w trakcie kursu.

W przypadku szkolenia e-learningowego, poziom trzeci i czwarty może zostać rozbudo- wany o analizę zachowań uczestnika podczas pierwszego kontaktu z środowiskiem online oraz może on zostać uzupełniony o dodatkowe narzędzia monitoringu np. fora dyskusyjne (Dąbrowski, 2008).

W przypadku niniejszej pracy zdecydowałam się na przeprowadzenie ewaluacji na dwóch pierwszych poziomach modelu Kirkpatricka:

I: Poziom reakcji na trening – ocena reakcji na szkolenie (formę, sposób realizacji oraz treść) została przeprowadzona przy pomocy autorskiegoKwestionariusza satysfakcji z kursu (zob. Tabla 3.23, str. 158) oraz wskaźników dotyczących zachowania uczest- ników na platformie (zob. Paragraf 3.1.5, str. 99).

II: Poziom uczenia się – teoretyczna i praktyczna znajomość zadań została zbadana przy pomocy testów wiedzy (zob. Podrozdział 3.5, str. 181).

Zbadanie trzeciego oraz czwartego poziomu nie zostało uwzględnione w ewaluacji prze- prowadzonego kursu edukacyjnego, ponieważ uczestnicy kursu pochodzili z różnych środo- wisk. Badanie nie nakładało warunków wstępnych związanych np. z byciem pracownikiem odpowiedniego sektora. Dwa ostatnie poziomy modelu Kirkpatricka wymagają szerszego kontekstu, który nie jest uwzględniony przez przeprowadzone badanie eksperymentalne.

Na trzecim poziomie modelu badane są zachowania i postawy, których wykształcenie wymaga czasu i często zależy od środowiska, w którym funkcjonuje jednostka. Poziom czwarty związany m.in. z analizą korzyści biznesowych i wydajności pracownika wymaga uzupeł- nienia kontekstu szkolenia o dane pochodzące np. z środowiska pracy uczestnika szkolenia.

Kwestionariusz satysfakcji z kursu został przeprowadzony po zakończeniu szkolenia (zob. Rysunek 3.1, str. 98). Kwestionariusz składał się z trzech modułów – oceny zadowolenia z kursu, oceny przydatności materiałów dydaktycznych oraz oceny funkcjonowania platformye-learningowej (zob. Tabla 3.23). Celem dołączenia do badania tego kwestionariusza było sprawdzenie, czy któryś z warunków badania został przez uczestników szkolenia oceniony wyżej niż inne w kontekście ogólnego zadowolenia z kursu. Użyte elementy gier

mogły wpłynąć na postrzeganą satysfakcje z kursu. Drugi moduł kwestionariusza pozwolił ocenić, czy liczba materiałów dydaktycznych oraz ich jakość była dla uczestników szkoleń zadowalająca. Każdy przeprowadzony w ramach badania kurs korzystał z tych samych ma- teriałów dydaktycznych. Ocena materiałów edukacyjnych w każdym z warunków badania powinna być więc podobna. Ostatni moduł – ocena funkcjonowania platformy pozwoli- ła na ewaluację technicznych aspektów przeprowadzonych kursów edukacyjnych. W tym przypadku mogły wystąpić różnice pomiędzy warunkami badania.

Tabela 3.23:Treść autorskiego Kwestionariusza satysfakcji z kursu Ocena kursu

1. W jakim stopniu kurs spełnił Pana/Pani oczekiwania?

1 – W żadnym stopniu nie spełnił moich oczekiwań 2 – W nieznacznym stopniu spełnił moje oczekiwania 3 – Trudno powiedzieć

4 – W znacznym stopniu spełnił moje oczekiwania 5 – W pełni spełnił moje oczekiwania

2. Czy będzie Pan/Pani w stanie użyć wiedzy nabytej podczas kursu w praktyce (np.

pracy, na studiach)?

1 – Zdecydowanie nie 2 – Raczej nie

3 – Trudno powiedzieć 4 – Raczej tak 5 – Zdecydowanie tak

3. Jak ocenia Pani/Pan przydatność zdobytych informacji pod względem podnoszenia własnych kompetencji?

1 – Zdecydowanie nieprzydatne 2 – Raczej nieprzydatne 3 – Trudno powiedzieć 4 – Raczej przydatne 5 – Zdecydowanie przydatne

4. Czy poleciłby Pan/Pani udział w tym kursie znajomym?

1 – Zdecydowanie nie 2 – Raczej nie

3 – Trudno powiedzieć 4 – Raczej tak 5 – Zdecydowanie tak

Materiały dydaktyczne

5. W jakim stopniu materiały szkoleniowe spełniły Pana/Pani oczekiwania?

1 – W żadnym stopniu nie spełniły moich oczekiwań 2 – W nieznacznym stopniu spełniły moje oczekiwania 3 – Trudno powiedzieć

4 – W znacznym stopniu spełniły moje oczekiwania 5 – W pełni spełniły moje oczekiwania

6. Jak ocenia Pan/Pani zakres prezentowanego materiału?

1 – za wąski 2 – odpowiedni 3 – za szeroki

7. Jak ocenia Pan/Pani trudność zadań?

1 – za łatwe 2 – odpowiednie 3 – za trudne

8. Jak Pan/Pani uważa, czy liczba zadań była wystarczająca, aby opanować dane zagad- nienie?

1 – nie, zadań było za mało

2 – tak, liczba zadań była wystarczająca 3 – nie, zadań było za dużo

9a. Jak Pan/Pani ocenia materiały szkoleniowe pod względem: łatwości przyswajania?

1 – Źle 2 – Raczej źle