Avaliação da diferença dos níveis de dificuldades do pré-teste e pós-teste

anterior, garantiu a equivalência dos objetivos de aprendizagem abordados nos dois testes. Entretanto, considerando que os pré-teste e pós-teste tinham questões diferentes, poderia haver uma diferença no nível de dificuldade entre eles, o que poderia distorcer a aferição da efetividade de aprendizagem dos alunos da turma com aprendizagem individual e da turma com aprendizagem em grupo. Para garantir a equivalência de nível de dificuldade entre o pré- teste e o pós-teste, procurou-se provar a hipótese de que se uma pessoa que realizasse o pré- teste e o pós-teste, ela teria os escores iguais nos dois testes. Então, optou-se por fazer uma avaliação do nível de dificuldade dos dois testes com diversas pessoas, de diversos níveis de conhecimento sobre o tema, e realizar a análise de correlação entre os escores do pré-teste e pós-teste de cada pessoa.

Segundo Dancey e Reidy (2006), a análise de correlação procura a existência de relacionamento entre as variáveis que, no presente estudo, são os resultados do pré-teste e do pós-teste dos participantes. Considerando que os testes possuem os mesmos números de questões, os mesmos níveis de dificuldades, e as questões estão pareadas por avaliações de objetivos instrucionais, a hipótese a ser confirmada é: as questões pareadas pelos objetivos instrucionais nos pré-teste e pós-teste terão os mesmos índices de acertos quando respondidas

pela mesma pessoa em um único momento. Para testar essa hipótese, foi realizado o seguinte procedimento:

Passo 1: A partir das 20 questões do pré-teste e 20 questões do pós-teste, foram gerados 4 tipos de teste com 40 questões. O que diferenciava um tipo de teste de outro eram as ordens das questões, que foram trocadas aleatoriamente, usando a função ALEATÓRIA do Microsoft Excel. Com isso, a priori, não seria possível distinguir quais eram as questões do pré-teste ou do pós-teste. A troca das ordens das questões foi para evitar que a sequência dos itens influenciasse no escore final dos testes.

Passo 2: Como as últimas questões do teste poderiam sofrer influência da fadiga ou do desânimo, procurou-se colocar as questões em ordem aleatória, evitando que as últimas questões fossem apenas do pré-teste ou pós-teste, o que poderia prejudicar o seu resultado.

Passo 3: Esses testes foram formatados e colocados na internet, no site Googles Docs, sendo que cada teste tinha um endereço de internet ou url (uniform resource locator) específico. O teste foi intitulado Teste de Conhecimento em Convênio e suas questões estão noAnexo IV.

Passo 4: Foram convidadas 585 pessoas para a realização dos testes. Essa amostra, escolhida por conveniência, abrangeu servidores públicos do TCU ou alunos do treinamento a distância Licitações e Contratos Administrativos em 2009, promovido pelo TCU. Dos 585 convidados, 127 (21,71%) foram do TCU e 458 (78,29%) de outros órgãos da Administração Pública. Foi uma amostra por conveniência, onde foram escolhidas pessoas que trabalham no TCU e pessoas que são servidores públicos que freqüentaram pelo menos um curso a distância sobre o tema administração pública.

A Tabela 3 mostra a distribuição das pessoas que foram convidadas a responder os testes por servidores do TCU e de outros órgãos da Administração Pública. Para o TCU,

foram solicitados 87 servidores lotados em Brasília, 20 servidores da Secretaria de Controle Externo (SECEX) de Minas Gerais e 20 servidores da SECEX da Bahia. Na coluna “Administração Pública”, estão agrupadas pessoas de diversos órgãos públicos, de esferas federais, estaduais e municipais e dos poderes executivo e legislativo. A distribuição dessas pessoas por região no país mostra um predomínio da região Nordeste com 290 (49,57%) solicitados e da região Centro-Oeste, com 178 (30,43%) solicitados. Entre os convidados, houve uma predominância de servidores do sexo masculino, tanto no TCU como nos outros órgãos. Isso ocorreu devido à distribuição dos gêneros dos servidores nas unidades do TCU e nas turmas de treinamento de Licitações e Contratos Administrativos.

Tabela 3 – Distribuição das pessoas convidadas a responder o teste.

Órgão Regiões Gênero CO % NE % NO % SE % SU % Tot. % TCU 87 14,87 20 3,42 0 0,00 20 3,42 0 0,00 127 21,71 Masc 43 7,35 14 2,39 0 0,00 15 2,56 0 0,00 72 12,31 Fem 44 7,52 6 1,03 0 0,00 5 0,85 0 0,00 55 9,40 Administr. Pública 91 15,56 270 46,15 90 15,38 4 0,68 3 0,51 458 78,29 Masc 39 6,67 179 30,60 39 6,67 3 0,51 3 0,51 263 44,96 Fem 52 8,89 91 15,56 51 8,72 1 0,17 0 0,00 195 33,33 Totais 178 30,43 290 49,57 90 15,38 24 4,10 3 0,51 585

Os endereços das páginas na internet dos testes foram enviados via e-mail para essas 585 pessoas, solicitando que realizasse o teste em duas semanas. Não foram informadas às pessoas quais eram as questões de pré-teste ou pós-teste. Obteve-se 48 respostas dos testes distribuídos.

A Tabela 4 mostra a distribuição das pessoas que responderam aos testes, totalizando uma resposta de 8% (48 pessoas) do total de convidados. O baixo índice já era esperado, uma

vez que o assunto (prestação de contas de convênio) não é muito difundido, mesmo para os servidores públicos. Apesar de 458 pessoas (78,29% do total dos convidados) da Administração Pública terem sido convidadas, apenas 24 pessoas (50% do total dos respondentes) responderam ao teste. As predominâncias de respostas ficaram pelas participações dos 17 servidores (35,42% do total das respostas) do TCU da Sede, em Brasília e dos outros órgãos da Administração Pública da região Nordeste, com 15 (31,25%) de resposta. A região Norte, apesar de 90 pessoas terem sido convidadas, conforme mostra a Tabela 3, apenas 2 pessoas responderam.

Tabela 4 – Distribuição das pessoas que responderam o teste.

Órgão Regiões Gênero CO % NE % NO % SE % SU % Tot. % TCU 17 35,42 0 0,00 0 0,00 7 14,58 0 0,00 24 50,00 Masc 10 20,83 0 0,00 0 0,00 5 10,42 0 0,00 15 31,25 Fem 7 14,58 0 0,00 0 0,00 2 4,17 0 0,00 9 18,75 Administr. Pública 7 14,58 15 31,25 2 4,17 0 0,00 0 0,00 24 50,00 Masc 3 6,25 10 20,83 1 2,08 0 0,00 0 0,00 14 29,17 Fem 4 8,33 5 10,42 1 2,08 0 0,00 0 0,00 10 20,83 Totais 24 50,00 15 31,25 2 4,17 7 14,58 0 0,00 48

Passo 5: a partir dos resultados dos escores obtidos nos 48 testes respondidos, foram realizadas análises estatísticas descritivas e posteriormente uma análise estatística para avaliar a diferença de nível de dificuldade do pré-teste e pós-teste. Como foi descrito no item 6.5.1, 40 questões de avaliação foram distribuídas igualmente e de forma pareada em relação aos objetivos instrucionais para os dois testes. A forma de testar se as questões pareadas pelos objetivos instrucionais nos pré-teste e pós-teste teriam os mesmos índices de acertos, poderia ser o teste t pareado. Entretanto, para comparar valores ordinais, como é o caso do presente estudo (0 = errado; 1 = certo), o teste Wilcoxon é o mais apropriado (Moore, 2005; Dancey &