• Nenhum resultado encontrado

Ocena realizacji obszarów wiedzy przez testy wiedzy

Badanie własne

3.5. Ocena realizacji obszarów wiedzy przez testy wiedzy

Aby sprawdzić wstępny poziom wiedzy uczestników kursu oraz to, jak dobrze opano- wali oni wspomniane obszary wiedzy i umiejętności, w trakcie badania został trzykrotnie przeprowadzony test wiedzy: przed przystąpieniem do kursu (tzw. pre-test), po ukoń- czeniu wszystkich zadań kursu (tzw. post-test) oraz po co najmniej 30 dniach od ukoń- czenia kursu (tzw. re-test; zob. Rysunek 3.1, str. 98). Zadania testowe, które wchodziły w skład wspomnianych testów wiedzy zostały opracowane przeze mnie na podstawie syla- busaECDL/ICDL Arkusze kalkulacyjne. W celu weryfikacji, czy sprawdzają one wszystkie zagadnienia z trzech działów wiedzy i umiejętności, których dotyczył kurs SpaceCalc (tj.

Reguł arytmetycznych, Funkcji, Liczb i dat) ponownie wykorzystałam metodę sędziów kompetentnych. Celem takiego zabiegu było zapewnienie wysokiej standaryzacji badania oraz wysokiej jakości kursu dla jego uczestników. Dobrze opracowane testy wiedzy spraw- dzają te obszary wiedzy umiejętności, które powinny sprawdzać. Dzięki takiemu zabiegowi ograniczona została liczba zewnętrznych zmiennych, która mogłaby wpłynąć na wyniki ba- dania. Dodatkowo prawidłowo opracowane testy wiedzy dają pewność uczestnikom kursów edukacyjnych, że faktycznie przyswoili oni (lub nie) pewien zakres wiedzy i umiejętności.

Taka informacja jest z kolei bardzo przydatna w ewaluacji swoich postępów oraz celów edukacyjnych.

3.5.1. Opis procedury oceny zadań

W ramach każdego testu sprawdzającego wiedzę i umiejętności obsługi arkuszy kalku- lacyjnych opracowałam:

– w ramach Testu 1: 6 zadań, na które składało się łącznie 24 pytań (zob. Załącznik J; Test 1);

– w ramach Testu 2: 6 zadań, na które składało się łącznie 24 pytań (zob. Załącznik J; Test 2);

– w ramach Testu 3: 6 zadań, na które składało się łącznie 23 pytań (zob. Załącznik J; Test 3);

Sędziom kompetentnym poprzez aplikację Google Forms została udostępniona treść zadań każdego testu. Sędziowie zostali poproszeni o ocenę, czy zawarte w nich pytania sprawdzają zagadnienia z trzech obszarów wiedzy i umiejętności dotyczących obsługi pro- gramu Microsoft Excel zgodnych z sylabusem ECDL/ICDL Arkusze kalkulacyjne (treść ankiety udostępnionej sędziom zawiera Załącznik K). Zagadnienia te prezentują się nastę- pująco:

Obszar wiedzy i umiejętności 1: Reguły i funkcje: Reguły arytmetyczne:

– Zagadnienie 1:Stosowanie dobrych praktyk tworząc reguły używające odwo- łań do komórek zamiast wpisywania do reguł liczb;

– Zagadnienie 2:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: dodawania;

– Zagadnienie 3:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: odejmowania;

– Zagadnienie 4:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: odejmowania;

– Zagadnienie 5:Tworzenie reguł przy użyciu odwołań do komórek i operatorów arytmetycznych: dzielenia;

– Zagadnienie 6:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #NAZWA?;

– Zagadnienie 7:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #DZIEL/0!;

– Zagadnienie 8:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #ADR!;

– Zagadnienie 9:Rozpoznawanie i właściwe interpretowanie podstawowych błę- dów: #ARG!;

– Zagadnienie 10:Używanie adresowania względnego przy tworzeniu reguł;

– Zagadnienie 11: Używanie adresowania bezwzględnego (absolutnego) przy tworzeniu reguł;

Obszar wiedzy i umiejętności 2: Reguły i funkcje: Funkcje:

– Zagadnienie 1:Używanie funkcji sumowania;

– Zagadnienie 2:Obliczanie wartości średniej;

– Zagadnienie 3:Wyznaczanie minimum i maksimum;

– Zagadnienie 4:Zliczanie komórek;

– Zagadnienie 5:Liczenie komórek pustych i niepustych;

– Zagadnienie 6:Zaokrąglanie wyniku obliczeń;

– Zagadnienie 7:Obliczanie pierwiastka kwadratowego;

– Zagadnienie 8: Używanie funkcji logicznej „ jeżeli” (if) wybierającej jedną z dwóch możliwych wartości, z operatorem porównawczym =,>,<;

Obszar wiedzy i umiejętności 3:Reguły i funkcje: Liczby i daty:

– Zagadnienie 1: Formatowanie komórek zawierających liczby, wyświetlanie określonej liczby miejsc dziesiętnych, wprowadzanie lub pomijanie separatora grup tysięcy;

– Zagadnienie 2:Formatowanie komórek zawierających daty, wybieranie kolej- ności sposobu wyświetlania dni, miesięcy i lat;

– Zagadnienie 3:Formatowanie komórek zawierających daty, wybieranie kolej- ności sposobu wyświetlania dni, miesięcy i lat;

– Zagadnienie 4: Formatowanie komórek zawierających liczby wyświetlając je w postaci procentowej.

3.5.2. Zgodność sędziów kompetentnych

Zadania testowe niezależnie oceniało trzech sędziów, którzy na co dzień korzystają z programuMicrosoft Excel: dwóch nauczycieli akademickich oraz analityk danych. Analiza statystyczna otrzymanych danych została przeprowadzona przy użyciu programu IBM SPSS Statistics (Wersja 25.0). Odpowiedzi sędziów zostały pozyskaneonline w listopadzie 2019 r. Sędziowie decydowali, czy przedstawione im pytania składające się na zadania testów sprawdzają wiedzę i/lub umiejętności poruszane przez dane zagadnienie, czy też nie.

Zgodność sędziów została obliczona przy pomocy współczynnika Kappa Fleissa – w tym celu zostało wykorzystane rozszerzenie programuIBM SPSS Statistics Stats Fleiss Kappa. Wartość współczynnika zawiera się w przedziale od -1 do 1, przy czym 1 ozna- cza pełną zgodność sędziów, a 0 oznacza, że oceny sędziów nie różnią się od sytuacji, w której odpowiedzi byłyby przypadkowe. W związku z powyższym, dla każdego testu sformułowałam hipotezę zerową mówiąca, że zgodność sędziów (k) jest przypadkowa:

H0:k= 0

oraz hipotezę alternatywną, która mówi, że zgodność sędziów nie jest przypadkowa:

H1:k6= 0

Zgodność sędziów w przypadku każdego z ocenianych testów pozwala na odrzucenie hipotezy zerowej – zgodność ocen sędziowskich nie jest dziełem przypadku. Współczynniki zgodności prezentują się następująco:

– W przypadku oceny zadań Testu 1 wartość współczynnika zgodności sędziów wynosi 0,72 (p <0,05; zob. Tabela 3.49).

– W przypadku oceny zadań Testu 2 wartość współczynnika zgodności sędziów wynosi 0,68 (p <0,05; zob. Tabela 3.49).

– W przypadku oceny zadań Testu 3 wartość współczynnika zgodności sędziów wynosi 0,76 (p <0,05; zob. Tabela 3.49).

Tabela 3.49: Wartość współczynnika Kappa Fleissa dla ocen sędziowskich poszczególnych testów wiedzy

Test Kappa

Asymptotycz- ny błąd standardowy

Z Istot- ność

Dolna granica 95%

asymptotycznego przedziału ufności

Górna granica 95%

asymptotycznego przedziału ufności

Test 1 0,715 0,025 29,077 0·100 0,666 0,763

Test 2 0,682 0,025 27,754 0·100 0,634 0,730

Test 3 0,756 0,025 30,785 0·100 0,708 0,805

W każdym przypadku wartość współczynnika świadczy o wysokiej zgodności ocen sę- dziów. Na podstawie ich odpowiedzi mogłam zatem określić, które zagadnienia edukacyjne są sprawdzane przez poszczególne zadania. Zostało to rozstrzygnięte na podstawie więk- szości głosów sędziów. Dane zagadnienie zostało uznane za realizowane przez poszczególne zadanie, jeśli co najmniej dwóch sędziów tak wskazało w kwestionariuszu. Tabela 3.50 przedstawia liczbę pytań, które zgodnie z decyzją sędziów sprawdzają wiedzę i/lub umie- jętności z danego zagadnienia edukacyjnego.

Zgodnie z odpowiedziami sędziów tylko jedno zagadnienie nie było realizowane przez przygotowanie w ramach testów zadania. Jest to zagadnienie z obszaru FunkcjiLi- czenie komórek pustych i niepustych i nie zostało ono pokryte przez zadania Testu 1.

Jednakże treść zadań każdego z testów została opracowana w bardzo podobny sposób.

Pytania opracowane w ramach Zadania 5 każdego z testów zostały stworzone tak, aby osoba je rozwiązująca zliczała komórki przy pomocy odpowiedniej funkcji. Tabela 3.51 zawiera treść zadań, które zgodnie z decyzją sędziów pokrywają wspomniane zagadnienie w Teście 2 i Teście 3 oraz analogiczne zadania z Testu 1. Zadania te wymagają od osoby rozwiązującej użycia dokładnie tej samej funkcji – w przypadku Pytania 1 (Test 1), Pyta- nia 3 (Test 2) i Pytania 4 (Test 3) funkcjiLICZ.PUSTE, a w przypadku Pytania 2 (Test 1), Pytania 3 (Test 2) i Pytania 3 (Test 3) funkcji ILE.LICZB. W ocenie zadań Testu 1 nie ma też całkowitej zgodności co do tego, że oczekiwane zagadnienie nie jest realizowane przez opracowane zadanie – jeden z sędziów ocenił, że pytania Testu 1 przywołane w Ta- beli 3.51 sprawdzają umiejętność liczenia komórek pustych i niepustych. Warto również zauważyć, że istnieje bardzo podobne zagadnienie w obrębie tego samego obszaru wiedzy, a mianowicieZliczanie komórek. Rozróżnienie tych dwóch obszarów mogło być dla sędziów problematyczne. Według ich oceny, zarówno Pytanie 1, jak i Pytanie 2 Testu 1 sprawdza to zagadnienie.

Fakt, że sędziowie nie znaleźli w Teście 1 takiego zadania, które sprawdzałoby za- gadnienie Liczenie komórek pustych i niepustych jest traktowany zatem jako pomyłka.

Argumenty, które pozwalają na podjęcie takiej decyzji są następujące:

– W pozostałych testach istnieją analogiczne zadania, które wymagają od osoby, która je rozwiązuje użycia identycznych umiejętności. Zgodnie z decyzją sędziów zadanie te pokrywają wspomniane zagadnienie.

– W ramach tego samego obszaru wiedzy (Reguły i funkcje: Reguły arytmetyczne) pojawia się bardzo podobne zagadnienie (Zliczanie komórek). Rozróżnienie tych dwóch obszarów mogło być problematyczne.

Tabela 3.50: Pokrycie obszarów wiedzy i umiejętności obsługi programu Microsoft Excel przez pytania Testu 1, 2 i 3

Obszar Pytania

Testu 1

Pytania Testu 2

Pytania Testu 3

Reguły arytmetyczne – Zagadnienie 1 16 16 14

Reguły arytmetyczne – Zagadnienie 2 1 4 2

Reguły arytmetyczne – Zagadnienie 3 3 1 1

Reguły arytmetyczne – Zagadnienie 4 3 3 4

Reguły arytmetyczne – Zagadnienie 5 1 1 1

Reguły arytmetyczne – Zagadnienie 6 1 1 1

Reguły arytmetyczne – Zagadnienie 7 1 1 1

Reguły arytmetyczne – Zagadnienie 8 1 1 1

Reguły arytmetyczne – Zagadnienie 9 1 1 1

Reguły arytmetyczne – Zagadnienie 10 14 7 15

Reguły arytmetyczne – Zagadnienie 11 1 2 1

Funkcje – Zagadnienie 1 2 1 1

Funkcje – Zagadnienie 2 1 1 1

Funkcje – Zagadnienie 3 2 2 2

Funkcje – Zagadnienie 4 2 1 2

Funkcje – Zagadnienie 5 0 2 2

Funkcje – Zagadnienie 6 1 1 1

Funkcje – Zagadnienie 7 1 1 1

Funkcje – Zagadnienie 8 1 1 1

Liczby i daty – Zagadnienie 1 2 1 2

Liczby i daty – Zagadnienie 2 1 1 1

Liczby i daty – Zagadnienie 3 1 1 1

Liczby i daty – Zagadnienie 4 1 1 1

Tabela 3.51: Pokrycie zagadnienia Liczenie komórek pustych i niepustych przez pytania opracowane w ramach testów wiedzy i umiejętności

Test Treść zadania Sędzia

1

Sędzia 2

Sędzia 3

Decy- zja Test 1 Zadanie 5 - Pytanie 1

NIE TAK NIE NIE

W komórce B12 oblicz przy pomocy funk- cji, ilu pracowników było nieobecnych w ostatnim tygodniu pracy. Oczekiwana odpowiedź: =LICZ.PUSTE(B2:B10).

Test 2

Zadanie 5 - Pytanie 4

NIE TAK TAK TAK

W komórce E13 oblicz przy pomo- cy funkcji, ilu uczniów było nieobec- nych na zajęciach. Oczekiwana odpowiedź:

=LICZ.PUSTE(E2:E10).

Test 3

Zadanie 5 - Pytanie 4

NIE TAK TAK TAK

W komórce L7 oblicz przy pomocy funkcji, ile jest dni bez żadnych zleceń.Oczekiwana odpowiedź: =LICZ.PUSTE(A7:J7).

Test 1

Zadanie 5 - Pytanie 2

NIE NIE TAK NIE

W komórce B13 oblicz przy pomocy funk- cji, ilu pracowników było obecnych w ostat- nim tygodniu pracy. Oczekiwana odpo- wiedź: =ILE.LICZB(B2:B10).

Test 2

Zadanie 5 - Pytanie 3

TAK TAK TAK TAK

W kolumnie E znajduje się informacja o czasie biegu na 100 m. uzyskanym przez poszczególnych uczniów. W komórce E12 oblicz przy pomocy funkcji ilu uczniów by- ło obecnych dziś na zajęciach.Oczekiwana odpowiedź: =ILE.LICZB(E2:E10).

Test 3

Zadanie 5 - Pytanie 3

NIE TAK TAK TAK

W wierszu 6 znajdują się zlecenia na dostawę znaków w kolejnych dniach. W komórce K7 oblicz przy pomocy funkcji ile jest dni, w których producent będzie dostarczał znaki. Oczekiwana odpowiedź:

=ILE.LICZB(A7:J7).

3.5.3. Podsumowanie

Można uznać, że przeprowadzona analiza zgodności sędziów, którzy oceniali treść te- stów wiedzy daje podstawy do wykluczenia jednego pytania. Jednakże z uwagi na argu- menty przedstawione powyżej ocena tego zadania jest traktowana jako niedopatrzenie.

Każdy z przygotowanych testów został zatem wykorzystany w badaniu do diagnozy i mo- nitorowania poziomu wiedzy i umiejętności jego uczestników.