Elaboração do pré-teste e pós-teste

Para a elaboração dos pré e pós-teste, assim como em Nogueira (2006), procurou-se similaridade de nível de dificuldade e abranger todos objetivos de aprendizagem nos pré-teste e pós-teste. Apesar do treinamento já possuir critérios de avaliação e aprovação no seu plano instrucional, evitou-se usar os escores obtidos nessas avaliações para efeito do presente estudo por dois motivos. O primeiro motivo é que os alunos matriculados poderiam possuir repertórios de competências diferentes, devido às diferenças das formações acadêmicas e experiências profissionais. Consequentemente, os alunos que previamente já tivessem uma maior competência no tema, provavelmente teriam um desempenho melhor no treinamento. O segundo motivo é que entre os critérios de pontuação para a nota final do aluno estavam a qualidade da participação no fórum, e a realização de exercícios de auto-avaliação. Essas atividades efetivamente não avaliavam a aprendizagem dos alunos. O primeiro critério, estabelecer qualidade da participação no fórum, perpassa por critérios poucos objetivos. A pontuação da realização dos exercícios de auto-avaliação, sem considerar o resultado obtido, foi uma tentativa de motivar o aluno às suas realizações. Os exercícios de auto-avaliação tinham o intuito de assimilação dos conceitos apresentados durante o treinamento.

Os testes foram elaborados pelo pesquisador do presente estudo, que os submeteu à aprovação do especialista em convênio. Para a elaboração dos itens dos testes, inicialmente foram estabelecidos três grupos de objetivos instrucionais, correspondentes aos três módulos

do treinamento. A partir daí, foram elaboradas 85 questões objetivas, sendo 60 do tipo “verdadeiro” ou “falso” (V/F), e 25 do tipo múltipla escolha com 4 alternativas (“ABCD”). A distribuição de questões dos módulos ficou proporcional aos volumes de informações e objetivos de aprendizagem dos módulos. De um total de 60 questões do tipo V/F, o módulo 1 teve 20 questões (33,3%), o módulo 2 teve 36 questões (60,0%) e o módulo 3 teve 4 questões (6,7%). E de um total de 25 questões do tipo ABCD, o módulos 1, 2 e 3 tiveram respectivamente 4 (16,0%), 15 (60%) e 6 (24%) questões.

Foi estabelecido que tanto o pré-teste como o pós-teste teriam 20 questões cada, com 15 questões do tipo V/F e 5 questões tipo ABCD, para que suas resoluções não se tornassem exaustivas. Como seriam aproveitadas apenas 40 questões (20 para o pré-teste e 20 para o pós-teste), foram descartadas 45 questões. As questões aproveitadas procuraram obedecer as proporções da distribuição das questões elaboradas por módulo e por tipo de questão. A escolha das 40 questões e sua distribuição no pré-teste ou pós-teste, respeitando as proporções, foi feita de forma aleatória, usando a função “ALEATÓRIO” da planilha Microsoft Excel. Não foi possível distribuir as questões escolhidas de forma rigorosamente proporcional entre os módulos, devido à própria desproporção das questões elaboradas por módulo. Exemplificando, foram elaboradas 20 questões do tipo V/F no Módulo 1 enquanto só foram elaboradas 4 questões do mesmo tipo no Módulo 3. Isso se deveu principalmente pela diferença dos objetivos instrucionais e conteúdos dos Módulos. A Tabela 2 mostra as distribuições das 85 questões elaboradas e as 40 escolhidas para compor o pré-teste e pós- teste. Observa-se que apesar das distribuições das questões aproveitadas por tipo (V/F e ABCD) não obedecerem rigorosamente a proporção das questões elaboradas como, por exemplo, o Módulo 3 teve 6 questões do tipo ABCD

Tabela 2 - Distribuições das questões elaboradas nos pré-teste e pós-teste.

Tipo de questões Módulo 1 Módulo 2 Módulo 3

Totais de questões Questões elaboradas Tipo V/F 20 23,53% 36 42,35% 4 4,71% Tipo ABCD 4 4,71% 15 17,65% 6 7,06% Totais 24 28,24% 51 60,00% 10 11,76% 85 Questões aproveitadas Tipo V/F 10 25,00% 20 50,00% 0 0,00% Tipo ABCD 1 2,50% 3 7,50% 6 15,00% Totais 11 27,50% 23 57,50% 6 15,00% 40

Além da equivalência entre os objetivos instrucionais dos Módulos nas distribuições das questões entre os dois testes, procurou-se elaborar as questões com enunciados que exigissem conhecimentos semelhantes de forma pareada. Para isso, cada questão foi elaborada de forma que ela avalie um objetivo instrucional específico de um Módulo. Os objetivos instrucionais estão relacionados no Planejamento Instrucional, apresentado no Quadro 6 do item 6.4. Exemplificando, a questão 2 do pré-teste e a questão 2 do pós-teste avaliam o objetivo instrucional específico “relacionar os procedimentos essenciais referentes à fase de execução que impactam na prestação de contas” do Módulo 2. As duas questões são do tipo (V/F) e seus enunciados são: “Para se contratar bens e serviços com recursos de convênio, é necessário que as informações sobre as licitações realizadas, tais como atas e propostas, sejam registradas no Siconv” (questão 14 do pré-teste) e “Para usar o pregão eletrônico em contratação de bens e serviços com recursos de convênio, o edital de licitação deve ser previamente aprovado pelos órgãos de controle” (questão 14 do pós-teste). O Quadro 7 mostra o objetivo instrucional avaliado e o pareamento entre as questões do pré- teste e do pós-teste.

Quadro 7 – Pareamento das questões entre pré-teste e pós-teste.

Módulo Objetivo instrucional específico _Pré-Teste Questão _Pós-Teste Questão

1 Identificar as principais normas que regem o processo de _{convênios e contratos de repasse} 1 3 1 Identificar os agentes envolvidos no processo de solicitação _{e concessão dos recursos} 2 15 1 Diferenciar convênios de contratos administrativos 3 1 1 Identificar as principais normas que regem o processo de _{convênios e contratos de repasse} 4 4 1 Identificar as principais normas que regem o processo de _{convênios e contratos de repasse} 5 5 2 Identificar os requisitos necessários à proposição de _{convênios que impactam na prestação de contas} 6 6 2 Identificar os requisitos impostos pela legislação para

celebração de convênios 7 7

2 Identificar os requisitos impostos pela legislação para

celebração de convênios 8 8

2 Associar as principais cláusulas do instrumento de convênio

a seu conteúdo 9 9

2 Relacionar os procedimentos essenciais referentes à fase de

execução que impactam na prestação de contas 10 10 1 Identificar os agentes envolvidos no processo de solicitação

e concessão dos recursos 11 11

2 Relacionar os procedimentos essenciais referentes à fase de

execução que impactam na prestação de contas 12 13 2 Relacionar os procedimentos essenciais referentes à fase de

execução que impactam na prestação de contas 13 12 2 Relacionar os procedimentos essenciais referentes à fase de

execução que impactam na prestação de contas 14 14 2 Identificar os requisitos impostos pela legislação para

celebração de convênios 15 2

2 Relacionar os procedimentos essenciais referentes à fase de

execução que impactam na prestação de contas 16 16 2 Identificar os requisitos impostos pela legislação para _{celebração de convênios} 17 17 2

Identificar as principais vedações legais relativas à fase de execução dos convênios; e aplicar as regras previstas na legislação de convênios a situações práticas

18 18

3 Preparar os documentos que devem compor uma prestação _{de contas} 19 19 3

Identificar o caminho percorrido pelo processo de prestação de contas de convênios, após a sua apresentação ao concedente

Para se evitar os “chutes” e as pessoas acertarem acidentalmente, foi incluído um esclarecimento que os testes não seriam computados para o escore final do treinamento, e foi colocada a alternativa “não sei responder” em todas as questões. Para efeito de apuração do escore, a escolha dessa opção foi considerada como resposta errada. O questionário eletrônico foi configurado para não permitir ao respondente deixar qualquer questão em branco.

6.5.2. Avaliação da diferença dos níveis de dificuldades do pré-teste e pós-teste