Comparativo Antes x Depois

O objetivo das análises a serem vistas neste tópico é verificar a evolução apresentada pelos alunos que cursaram a disciplina de CE204 – Cálculo de Probabilidades I no primeiro semestre de 2004, em relação aos conhecimentos adquiridos ao longo do período letivo.

Essa evolução foi verificada através da comparação dos resultados fornecidos pela Teoria de Resposta ao Item em dois momentos – antes e depois da instrução - e também por outros testes estatísticos. Tais análises estão baseadas nos parâmetros de dificuldade dos itens estimados pelo modelo logístico de três parâmetros da TRI, assim como nas escalas de habilidade estimadas pelo referido modelo.

Devido ao fato da prova aplicada apresentar a opção de não identificação por parte do respondente, algumas análises que se referem às habilidades dos examinandos nestes dois momentos referem-se apenas aos indivíduos comparáveis em relação às duas provas, que foram 39 alunos – ver item 4 Materiais e Métodos

4.3.1 Habilidades

Para a comparação das habilidades dos estudantes foram utilizadas medidas estatísticas descritivas, histograma das distribuições, bem como um teste t-pareado de comparação de médias antes e depois da instrução da disciplina.

FAZER OS HISTOGRAMAS COM O AJUSTE DA CURVA NO PROGRAMA OU ENTÃO SEM O AJUSTE (SE NÃO FOR POSSÍVEL)

Conforme o histograma da figura 12 nota-se que houve uma diminuição da dispersão das habilidades após a instrução da disciplina, bem como um deslocamento da média das mesmas, no sentido positivo, isto leva a conclusão de que o grupo de alunos se tornou mais homogêneo em termos de conhecimento da disciplina, este fato se comprova através das tabelas 06 e 07 onde verifica-se um aumento na média das habilidades e uma diminuição da variância do grupo.

Tabela 06 – Descrição das habilidades de todos os examinandos.

Fonte: os autores

Para fazer uma comparação mais precisa foram considerados somente os 39 examinandos ditos comparáveis. Percebe-se pela tabela 07 que quando se trata desses indivíduos a diminuição da variância se acentua.

Tabela 07 – Estatísticas descritivas para as habilidades de examinandos comparáveis.

Fonte: os autores.

ESTATÍSTICAS Antes Depois

Observações 54 53 Média -0,292 0,079 Variância 1,102 0,963 Desvio Padrão 1,050 0,981 Mínimo - 2,226 -2,284 Máximo 2,971 1,996 Amplitude 5,197 4,280

ESTATÍSTICAS Antes Depois

Observações 39 39 Média -0,129 0,147 Variância 1,250 0,832 Desvio Padrão 1,118 0,912 Mínimo -2,226 -1,492 Máximo 2,971 1,996 Amplitude 5,197 3,488

O teste t de student pareado é um procedimento estatístico que possibilita testar os dois grupos de dados dos mesmos indivíduos, isto é, os dados antes e depois da aplicação de um tratamento. Foi este o procedimento adotado para a comparação da médias das habilidades dos examinandos antes e depois.

Os pressupostos para a realização do teste t-pareado são as seguintes:

• a distribuição das diferenças entre as habilidades dos indivíduos antes e depois deve apresentar normalidade;

• os indivíduos a serem comparados devem ser os mesmos.

Na verificação do primeiro pressuposto foi realizado um teste de Shapiro-Wilk para testar a normalidade das diferenças, o p-valor encontrado foi de 0,87, indicando que a hipótese de normalidade não deve ser rejeitada. Verificada a normalidade, prosseguimos à realização do teste e encontrou-se um p-valor de 0,06.

4.3.2 Grau de dificuldade

Neste tópico analisaram-se as diferenças entre os graus de dificuldade antes e depois da instrução da disciplina, com o objetivo de verificar possíveis evoluções no nível de dificuldade dos itens da prova.

Tabela 08 – Comparativo do grau de dificuldade

ITEM Antes Depois Situação _Antes Situação _Depois

1 -0,719 -1,065 Fácil Fácil

2 0,817 0,272 Difícil Moderado

3 1,454 -1,606 Muito Difícil Muito Fácil

4 1,907 1,980 Muito Difícil Muito Difícil

5 -0,669 -1,144 Fácil Fácil

6 0,981 -1,092 Difícil Fácil

7 -0,543 -1,015 Fácil Fácil

8 1,026 0,621 Difícil Difícil

9 -0,885 -1,375 Fácil Fácil

10 3,699 1,427 Muito Difícil Muito Difícil

11 1,952 1,268 Muito Difícil Difícil

12 1,589 -0,274 Muito Difícil Moderada

13 1,502 0,463 Muito Difícil Moderada

14 -0,217 0,830 Moderada Difícil

15 -0,949 -1,113 Fácil Fácil

16 2,525 2,140 Muito Difícil Muito Difícil

17 3,156 1,558 Muito Difícil Muito Difícil

18 2,109 1,540 Muito Difícil Muito Difícil

19 1,868 2,451 Muito Difícil Muito Difícil

20 1,729 3,259 Muito Difícil Muito Difícil

21 0,749 -1,274 Difícil Fácil

Tabela 08 – Comparativo do grau de dificuldade (continuação)

ITEM Antes Depois Situação _Antes Situação _Depois

23 0,235 -2,392 Moderada Muito Fácil

24 2,670 1,833 Muito Difícil Muito Difícil

25 -0,685 -1,747 Fácil Muito Fácil

26 0,268 -0,485 Moderada Moderada

27 3,260 2,556 Muito Difícil Muito Difícil

28 0,469 -0,371 Moderada Moderada

29 3,273 1,363 Muito Difícil Difícil

30 1,818 0,015 Muito Difícil Moderada

31 1,651 -0,717 Muito Difícil Fácil

32 -0,083 -1,592 Moderada Muito Fácil

33 1,707 0,560 Muito Difícil Difícil

34 1,647 -0,354 Muito Difícil Moderada

35 1,397 0,594 Difícil Difícil

36 1,946 0,754 Muito Difícil Difícil

37 0,286 -1,306 Moderada Fácil

38 1,043 -0,476 Difícil Moderada

39 0,763 0,065 Difícil Moderada

40 0,509 -0,209 Difícil Moderada

41 0,994 -0,258 Difícil Moderada

42 2,408 2,287 Muito Difícil Muito Difícil

43 3,529 1,757 Muito Difícil Muito Difícil

44 1,197 -0,634 Difícil Fácil

45 4,732 1,418 Muito Difícil Muito Difícil

46 2,033 0,770 Muito Difícil Difícil

47 2,647 -0,272 Muito Difícil Moderada

48 2,086 0,895 Muito Difícil Difícil

49 0,888 -2,719 Difícil Muito Fácil

50 0,862 -2,242 Difícil Muito Fácil

51 1,776 -0,532 Muito Difícil Fácil

Fonte: os autores.

Para testar as diferenças entre os graus de dificuldade de cada item antes e depois foi utilizado o teste não-paramétrico de Wilcoxon. Foram verificadas todas as

exigências do teste, que são:

• os pares são mutuamente independentes; • as diferenças são variáveis contínuas; • nível de mensuração em escala intervalar.

Para obter o p-valor referente a este teste deve-se comparar a estatística do teste obtida com os valores tabelados da normal padrão. Neste caso, o valor da estatística do teste encontrada foi de -5,59. Este valor nos remete a um p-valor muito inferior a 0,001, o que significa que não aceitamos a hipótese nula, ou seja, existe diferença significativa entre os índices de dificuldade dos itens antes e depois da instrução da disciplina de CE-204 Cálculo de Probabilidades I.

Tabela 09 – Comparativo do grau de dificuldade agrupado (bi)

Antes Depois

Grau de Dificuldade

Nº de Itens % de Itens Nº de Itens % de Itens

Muito Fácil 0 0% 7 14% Fácil 6 12% 11 22% Moderado 6 12% 12 24% Difícil 13 25% 9 18% Muito Difícil 26 51% 12 24% Total 51 100% 51 100% Fonte: os autores

Pela tabela 09 verifica-se que antes da instrução da disciplina 76% dos itens possuíam um grau de dificuldade considerado difícil ou muito difícil. Após a instrução observou-se uma redução de 24% neste percentual, isto é, dos 51 itens do teste, 39 estavam num patamar de dificuldade alto e após a instrução apenas 21 itens permaneceram neste nível. Em conseqüência, a quantidade de itens considerados fáceis ou muito fáceis apresentou um crescimento. Antes da instrução da disciplina apenas 6 itens obtiveram essa classificação e após esse número foi de 18 itens.

Esta diferença foi detectada através do teste de Wilcoxon.

5

CONCLUSÃO

O presente trabalho diz respeito à avaliação do ensino dos conteúdos de Contagem, Números Binomiais, Análise Combinatória e Probabilidade, constantes no programa da disciplina CE204 – Cálculo de Probabilidades I da Universidade Federal do Paraná. O objetivo é evidenciar a evolução destes alunos durante o semestre letivo.

Este trabalho procurou apresentar uma análise de itens educacionais dentro da Teoria Clássica da Avaliação e da Teoria da Resposta ao Item. Detalhamentos da parte estatística foram feitos e procurou-se utilizar os procedimentos e as metodologias já consagradas por estudiosos. Isto fica evidente com histogramas presentes nas análises, pela descrição numérica dos dados e pela análise das Curvas Características dos Itens, tanto na parte de interpretação de texto quanto na de matemática.

A aplicação aos dados dos alunos da disciplina de CE204 – Cálculo de Probabilidades é uma tentativa de contribuir para o esclarecimento das metodologias de avaliação do ensino.

Concluiu-se que o ensino da disciplina citada foi bem assimilado pelos alunos durante o aprendizado no semestre letivo e que o instrumento de avaliação utilizado possui um bom índice de confiabilidade evidenciando a eficácia do método de ensino proposto pelo professor. Houve uma melhora considerável nas habilidades dos alunos, denotada também pela redução significativa nos níveis de dificuldade após a instrução da disciplina.

Os resultados obtidos demonstram a importância de uma matéria que possibilte um elo entre a matemática do ensino médio e do ensino superior.

Sugere-se apenas que sejam verificados os itens com baixos índices de discriminação e com baixíssimo ou altíssimo índice de dificuldade, no sentido de aprimorar a confiabilidade do teste.

É importante ressaltar que a Teoria de Reposta ao Item tem sido aplicada em outras áreas, além da Educacional. Tais como na produção de indicadores sócio- econômicos, na área de serviços e controle estatístico de qualidade, como se pode comprovar por trabalhos de Dissertações de Mestrado desenvolvidos pelos professores Anselmo Chaves Neto e Dalton F. Andrade.

6

CRONOGRAMA

Este trabalho foi desenvolvido conforme cronograma abaixo: Figura 13 – Cronograma detalhado do Projeto

FASE MARÇO ABRIL MAIO JUNHO

Reunião Inicial

Definição do tema e orientador Entrega de um projeto de pesquisa Revisão de Literatura

Implementação da Metodologia Aplicação da Metodologia Apresentações Preliminares Análise dos Resultados Edição do Relatório Apresentação oral do TCC Correções no Relatório

REFERÊNCIAS BIBLIOGRÁFICAS

[1] ANDRADE, DALTON F. – Teoria da Resposta ao Item: Conceitos, Modelos e Aplicações, Departamento de Informática e Estatística – UFSC, IME/USP – 2005 [2] ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da Resposta ao

Item:Conceitos e Aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

[3] ANDRADE, D. F. Comparando desempenhos de grupos de alunos por intermédio da Teoria da Resposta ao Item. Estudos em Avaliação Educacional, São Paulo, n. 23, p. 31-69, 2001.

[4] CRONBACH, L.J. (1963) – Course improvement through evaluation. Teachers College Record, 64. Columbia University.

[5] HAMMOND, D.L. (S.D.) - Evaluation at the local level; EPIC Evaluation Center, Tuckson Arizona.

[6] MCNEMAR, Q. – Psychological Statistics, Ed. John Wiley & Sons, Inc., 4ª ed., 1969.

[7] METFESSEL , N.S. E MICHAEL, W.B. - A paradigm involving multiple critgerion measures for evaluation of effectiveness of school programs; Educational and Psychological Measurement , 27, 1967.

[8] NETO, ANSELMO CHAVES E TURIM, MARIA ELISA – Introdução às Teorias da Avaliação, Mini-curso no Departamento de Matemática, Centro de Ciências Exatas e Tecnológicas – CET, Unicentro, Guarapuava- PR

[9] SANTOS, FABRÍCIA DAMANDO E GUEDES, LEONARDO GUERRA DE REZENDE – Testes adaptativos informatizados baseados em teoria de resposta ao item utilizados em ambientes virtuais de aprendizagem – Universidade Federal de Goiás - 2003.

[10] TYLER, R.W. - General statement on evaluation; Journal of Educational Research, n.35, 1942.

[11] VENDRAMINI, CLAUDETE MARIA MEDEIROS, SILVA, MARJORIE CRISTINA DA E CANALE, MICHELLE – Análise de Itens de uma prova de Raciocínio Estatístico – Universidade de São Francisco. Psicologia em Estudo – Maringá, set- dez/2004.

[12] VIANA, H. M. - Introdução à Avaliação Educacional. Ed. Ibrasa Inst. Brasileira de Difusão Cultural Ltda. S. Paulo- S.P., 1988.

[13] SOARES, TUFI MACHADO – Utilização da Teoria da Resposta ao Item na Produção de Indicadores Sócio-Economicos – Centro de Avaliação Educacional. Universidade Federal de Juiz de Fora, jan/2005.