Badanie własne
3.5. Ocena realizacji obszarów wiedzy przez testy wiedzy
Aby sprawdzić wstępny poziom wiedzy uczestników kursu oraz to, jak dobrze opano- wali oni wspomniane obszary wiedzy i umiejętności, w trakcie badania został trzykrotnie przeprowadzony test wiedzy: przed przystąpieniem do kursu (tzw. pre-test), po ukoń- czeniu wszystkich zadań kursu (tzw. post-test) oraz po co najmniej 30 dniach od ukoń- czenia kursu (tzw. re-test; zob. Rysunek 3.1, str. 98). Zadania testowe, które wchodziły w skład wspomnianych testów wiedzy zostały opracowane przeze mnie na podstawie syla- busaECDL/ICDL Arkusze kalkulacyjne. W celu weryfikacji, czy sprawdzają one wszystkie zagadnienia z trzech działów wiedzy i umiejętności, których dotyczył kurs SpaceCalc (tj.
Reguł arytmetycznych, Funkcji, Liczb i dat) ponownie wykorzystałam metodę sędziów kompetentnych. Celem takiego zabiegu było zapewnienie wysokiej standaryzacji badania oraz wysokiej jakości kursu dla jego uczestników. Dobrze opracowane testy wiedzy spraw- dzają te obszary wiedzy umiejętności, które powinny sprawdzać. Dzięki takiemu zabiegowi ograniczona została liczba zewnętrznych zmiennych, która mogłaby wpłynąć na wyniki ba- dania. Dodatkowo prawidłowo opracowane testy wiedzy dają pewność uczestnikom kursów edukacyjnych, że faktycznie przyswoili oni (lub nie) pewien zakres wiedzy i umiejętności.
Taka informacja jest z kolei bardzo przydatna w ewaluacji swoich postępów oraz celów edukacyjnych.
3.5.1. Opis procedury oceny zadań
W ramach każdego testu sprawdzającego wiedzę i umiejętności obsługi arkuszy kalku- lacyjnych opracowałam:
– w ramach Testu 1: 6 zadań, na które składało się łącznie 24 pytań (zob. Załącznik J; Test 1);
– w ramach Testu 2: 6 zadań, na które składało się łącznie 24 pytań (zob. Załącznik J; Test 2);
– w ramach Testu 3: 6 zadań, na które składało się łącznie 23 pytań (zob. Załącznik J; Test 3);
Sędziom kompetentnym poprzez aplikację Google Forms została udostępniona treść zadań każdego testu. Sędziowie zostali poproszeni o ocenę, czy zawarte w nich pytania sprawdzają zagadnienia z trzech obszarów wiedzy i umiejętności dotyczących obsługi pro- gramu Microsoft Excel zgodnych z sylabusem ECDL/ICDL Arkusze kalkulacyjne (treść ankiety udostępnionej sędziom zawiera Załącznik K). Zagadnienia te prezentują się nastę- pująco:
– Obszar wiedzy i umiejętności 1: Reguły i funkcje: Reguły arytmetyczne:
– Zagadnienie 1:Stosowanie dobrych praktyk tworząc reguły używające odwo- łań do komórek zamiast wpisywania do reguł liczb;
– Zagadnienie 2:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: dodawania;
– Zagadnienie 3:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: odejmowania;
– Zagadnienie 4:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: odejmowania;
– Zagadnienie 5:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: dzielenia;
– Zagadnienie 6:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #NAZWA?;
– Zagadnienie 7:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #DZIEL/0!;
– Zagadnienie 8:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #ADR!;
– Zagadnienie 9:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #ARG!;
– Zagadnienie 10:Używanie adresowania względnego przy tworzeniu reguł;
– Zagadnienie 11: Używanie adresowania bezwzględnego (absolutnego) przy tworzeniu reguł;
– Obszar wiedzy i umiejętności 2: Reguły i funkcje: Funkcje:
– Zagadnienie 1:Używanie funkcji sumowania;
– Zagadnienie 2:Obliczanie wartości średniej;
– Zagadnienie 3:Wyznaczanie minimum i maksimum;
– Zagadnienie 4:Zliczanie komórek;
– Zagadnienie 5:Liczenie komórek pustych i niepustych;
– Zagadnienie 6:Zaokrąglanie wyniku obliczeń;
– Zagadnienie 7:Obliczanie pierwiastka kwadratowego;
– Zagadnienie 8: Używanie funkcji logicznej „ jeżeli” (if) wybierającej jedną z dwóch możliwych wartości, z operatorem porównawczym =,>,<;
– Obszar wiedzy i umiejętności 3:Reguły i funkcje: Liczby i daty:
– Zagadnienie 1: Formatowanie komórek zawierających liczby, wyświetlanie określonej liczby miejsc dziesiętnych, wprowadzanie lub pomijanie separatora grup tysięcy;
– Zagadnienie 2:Formatowanie komórek zawierających daty, wybieranie kolej- ności sposobu wyświetlania dni, miesięcy i lat;
– Zagadnienie 3:Formatowanie komórek zawierających daty, wybieranie kolej- ności sposobu wyświetlania dni, miesięcy i lat;
– Zagadnienie 4: Formatowanie komórek zawierających liczby wyświetlając je w postaci procentowej.
3.5.2. Zgodność sędziów kompetentnych
Zadania testowe niezależnie oceniało trzech sędziów, którzy na co dzień korzystają z programuMicrosoft Excel: dwóch nauczycieli akademickich oraz analityk danych. Analiza statystyczna otrzymanych danych została przeprowadzona przy użyciu programu IBM SPSS Statistics (Wersja 25.0). Odpowiedzi sędziów zostały pozyskaneonline w listopadzie 2019 r. Sędziowie decydowali, czy przedstawione im pytania składające się na zadania testów sprawdzają wiedzę i/lub umiejętności poruszane przez dane zagadnienie, czy też nie.
Zgodność sędziów została obliczona przy pomocy współczynnika Kappa Fleissa – w tym celu zostało wykorzystane rozszerzenie programuIBM SPSS Statistics Stats Fleiss Kappa. Wartość współczynnika zawiera się w przedziale od -1 do 1, przy czym 1 ozna- cza pełną zgodność sędziów, a 0 oznacza, że oceny sędziów nie różnią się od sytuacji, w której odpowiedzi byłyby przypadkowe. W związku z powyższym, dla każdego testu sformułowałam hipotezę zerową mówiąca, że zgodność sędziów (k) jest przypadkowa:
H0:k= 0
oraz hipotezę alternatywną, która mówi, że zgodność sędziów nie jest przypadkowa:
H1:k6= 0
Zgodność sędziów w przypadku każdego z ocenianych testów pozwala na odrzucenie hipotezy zerowej – zgodność ocen sędziowskich nie jest dziełem przypadku. Współczynniki zgodności prezentują się następująco:
– W przypadku oceny zadań Testu 1 wartość współczynnika zgodności sędziów wynosi 0,72 (p <0,05; zob. Tabela 3.49).
– W przypadku oceny zadań Testu 2 wartość współczynnika zgodności sędziów wynosi 0,68 (p <0,05; zob. Tabela 3.49).
– W przypadku oceny zadań Testu 3 wartość współczynnika zgodności sędziów wynosi 0,76 (p <0,05; zob. Tabela 3.49).
Tabela 3.49: Wartość współczynnika Kappa Fleissa dla ocen sędziowskich poszczególnych testów wiedzy
Test Kappa
Asymptotycz- ny błąd standardowy
Z Istot- ność
Dolna granica 95%
asymptotycznego przedziału ufności
Górna granica 95%
asymptotycznego przedziału ufności
Test 1 0,715 0,025 29,077 0·100 0,666 0,763
Test 2 0,682 0,025 27,754 0·100 0,634 0,730
Test 3 0,756 0,025 30,785 0·100 0,708 0,805
W każdym przypadku wartość współczynnika świadczy o wysokiej zgodności ocen sę- dziów. Na podstawie ich odpowiedzi mogłam zatem określić, które zagadnienia edukacyjne są sprawdzane przez poszczególne zadania. Zostało to rozstrzygnięte na podstawie więk- szości głosów sędziów. Dane zagadnienie zostało uznane za realizowane przez poszczególne zadanie, jeśli co najmniej dwóch sędziów tak wskazało w kwestionariuszu. Tabela 3.50 przedstawia liczbę pytań, które zgodnie z decyzją sędziów sprawdzają wiedzę i/lub umie- jętności z danego zagadnienia edukacyjnego.
Zgodnie z odpowiedziami sędziów tylko jedno zagadnienie nie było realizowane przez przygotowanie w ramach testów zadania. Jest to zagadnienie z obszaru Funkcji – Li- czenie komórek pustych i niepustych i nie zostało ono pokryte przez zadania Testu 1.
Jednakże treść zadań każdego z testów została opracowana w bardzo podobny sposób.
Pytania opracowane w ramach Zadania 5 każdego z testów zostały stworzone tak, aby osoba je rozwiązująca zliczała komórki przy pomocy odpowiedniej funkcji. Tabela 3.51 zawiera treść zadań, które zgodnie z decyzją sędziów pokrywają wspomniane zagadnienie w Teście 2 i Teście 3 oraz analogiczne zadania z Testu 1. Zadania te wymagają od osoby rozwiązującej użycia dokładnie tej samej funkcji – w przypadku Pytania 1 (Test 1), Pyta- nia 3 (Test 2) i Pytania 4 (Test 3) funkcjiLICZ.PUSTE, a w przypadku Pytania 2 (Test 1), Pytania 3 (Test 2) i Pytania 3 (Test 3) funkcji ILE.LICZB. W ocenie zadań Testu 1 nie ma też całkowitej zgodności co do tego, że oczekiwane zagadnienie nie jest realizowane przez opracowane zadanie – jeden z sędziów ocenił, że pytania Testu 1 przywołane w Ta- beli 3.51 sprawdzają umiejętność liczenia komórek pustych i niepustych. Warto również zauważyć, że istnieje bardzo podobne zagadnienie w obrębie tego samego obszaru wiedzy, a mianowicieZliczanie komórek. Rozróżnienie tych dwóch obszarów mogło być dla sędziów problematyczne. Według ich oceny, zarówno Pytanie 1, jak i Pytanie 2 Testu 1 sprawdza to zagadnienie.
Fakt, że sędziowie nie znaleźli w Teście 1 takiego zadania, które sprawdzałoby za- gadnienie Liczenie komórek pustych i niepustych jest traktowany zatem jako pomyłka.
Argumenty, które pozwalają na podjęcie takiej decyzji są następujące:
– W pozostałych testach istnieją analogiczne zadania, które wymagają od osoby, która je rozwiązuje użycia identycznych umiejętności. Zgodnie z decyzją sędziów zadanie te pokrywają wspomniane zagadnienie.
– W ramach tego samego obszaru wiedzy (Reguły i funkcje: Reguły arytmetyczne) pojawia się bardzo podobne zagadnienie (Zliczanie komórek). Rozróżnienie tych dwóch obszarów mogło być problematyczne.
Tabela 3.50: Pokrycie obszarów wiedzy i umiejętności obsługi programu Microsoft Excel przez pytania Testu 1, 2 i 3
Obszar Pytania
Testu 1
Pytania Testu 2
Pytania Testu 3
Reguły arytmetyczne – Zagadnienie 1 16 16 14
Reguły arytmetyczne – Zagadnienie 2 1 4 2
Reguły arytmetyczne – Zagadnienie 3 3 1 1
Reguły arytmetyczne – Zagadnienie 4 3 3 4
Reguły arytmetyczne – Zagadnienie 5 1 1 1
Reguły arytmetyczne – Zagadnienie 6 1 1 1
Reguły arytmetyczne – Zagadnienie 7 1 1 1
Reguły arytmetyczne – Zagadnienie 8 1 1 1
Reguły arytmetyczne – Zagadnienie 9 1 1 1
Reguły arytmetyczne – Zagadnienie 10 14 7 15
Reguły arytmetyczne – Zagadnienie 11 1 2 1
Funkcje – Zagadnienie 1 2 1 1
Funkcje – Zagadnienie 2 1 1 1
Funkcje – Zagadnienie 3 2 2 2
Funkcje – Zagadnienie 4 2 1 2
Funkcje – Zagadnienie 5 0 2 2
Funkcje – Zagadnienie 6 1 1 1
Funkcje – Zagadnienie 7 1 1 1
Funkcje – Zagadnienie 8 1 1 1
Liczby i daty – Zagadnienie 1 2 1 2
Liczby i daty – Zagadnienie 2 1 1 1
Liczby i daty – Zagadnienie 3 1 1 1
Liczby i daty – Zagadnienie 4 1 1 1
Tabela 3.51: Pokrycie zagadnienia Liczenie komórek pustych i niepustych przez pytania opracowane w ramach testów wiedzy i umiejętności
Test Treść zadania Sędzia
1
Sędzia 2
Sędzia 3
Decy- zja Test 1 Zadanie 5 - Pytanie 1
NIE TAK NIE NIE
W komórce B12 oblicz przy pomocy funk- cji, ilu pracowników było nieobecnych w ostatnim tygodniu pracy. Oczekiwana odpowiedź: =LICZ.PUSTE(B2:B10).
Test 2
Zadanie 5 - Pytanie 4
NIE TAK TAK TAK
W komórce E13 oblicz przy pomo- cy funkcji, ilu uczniów było nieobec- nych na zajęciach. Oczekiwana odpowiedź:
=LICZ.PUSTE(E2:E10).
Test 3
Zadanie 5 - Pytanie 4
NIE TAK TAK TAK
W komórce L7 oblicz przy pomocy funkcji, ile jest dni bez żadnych zleceń.Oczekiwana odpowiedź: =LICZ.PUSTE(A7:J7).
Test 1
Zadanie 5 - Pytanie 2
NIE NIE TAK NIE
W komórce B13 oblicz przy pomocy funk- cji, ilu pracowników było obecnych w ostat- nim tygodniu pracy. Oczekiwana odpo- wiedź: =ILE.LICZB(B2:B10).
Test 2
Zadanie 5 - Pytanie 3
TAK TAK TAK TAK
W kolumnie E znajduje się informacja o czasie biegu na 100 m. uzyskanym przez poszczególnych uczniów. W komórce E12 oblicz przy pomocy funkcji ilu uczniów by- ło obecnych dziś na zajęciach.Oczekiwana odpowiedź: =ILE.LICZB(E2:E10).
Test 3
Zadanie 5 - Pytanie 3
NIE TAK TAK TAK
W wierszu 6 znajdują się zlecenia na dostawę znaków w kolejnych dniach. W komórce K7 oblicz przy pomocy funkcji ile jest dni, w których producent będzie dostarczał znaki. Oczekiwana odpowiedź:
=ILE.LICZB(A7:J7).
3.5.3. Podsumowanie
Można uznać, że przeprowadzona analiza zgodności sędziów, którzy oceniali treść te- stów wiedzy daje podstawy do wykluczenia jednego pytania. Jednakże z uwagi na argu- menty przedstawione powyżej ocena tego zadania jest traktowana jako niedopatrzenie.
Każdy z przygotowanych testów został zatem wykorzystany w badaniu do diagnozy i mo- nitorowania poziomu wiedzy i umiejętności jego uczestników.