Etapa de Avaliação

A seguir são apresentadas algumas das práticas identificadas como pertencentes à etapa de Avaliação.

4.1.5.1 Avaliação técnica

A equipe técnica deve realizar testes com o objeto de aprendizagem, verificando eventuais inconsistências técnicas, falhas, etc.

Assim como foi sugerido por Mohan et al. [68] e Moraes et al. [70], Pacheco et al. [79], E2 comenta que essa avaliação técnica, ou seja, a verificação dos requisitos funcionais, pode ser feita em paralelo com a implementação do objeto: “o desenvolvedor faz testes, mas são testes unitários, testes esses só para verificar mesmo, quando tu faz uma integração (entre partes desenvolvidos separadas) o que tá funcionando o que não tá, debugar, essas coisas todas”. Já E8 comenta que essa prática é realizada durante a etapa de implementação: “antes de passar pela avaliação final pelos [público final], passa por uma avaliação interna. Essa avaliação interna ela vai acontecendo durante o desenvolvimento do objeto.”.

4.1.5.2 Avaliação pedagógica

A equipe pedagógica e o proponente do objeto devem realizar uma avaliação dos aspectos pedagógicos do objeto de aprendizagem, verificando eventuais inconsistências pedagógicas e conferindo se o produto implementado possui uma solução de aprendizagem eficaz para o problema identificado e que cubra o objetivo pedagógico proposto.

Para a avaliação do objeto, E8 sugere que boa parte dos envolvidos, sem contar com a equipe de implementou, pode participar dos testes: “A equipe de testes, ela pode inclusive ser composta pelo conteudista, gerente de projeto, analista. A própria metodologia prevê que a mesma pessoa possa assumir mais de um papel.”.

De modo análogo, E2 comenta esse fato relatando um dos princípios da Engenharia de Software, de modo que quem desenvolve, não testa: “eu lancei a ideia da gente fazer os testes a partir do que foi especificado, criar uma equipe de teste e que nessa equipe participaria toda e qualquer pessoa que não tivesse participado do desenvolvimento.”.

Do mesmo modo que na implementação, a alta iteratividade entre as etapas de desenvolvimento e avaliação é citada por E12, relatando que eventuais pendências devem retornar para etapa de desenvolvimento: “depois que o objeto é finalizado na equipe técnica, eu envio o objeto para o professor e para o orientador pedagógico, ambos revisam como ficou; se estiver ok, eles mandam para a coordenadora pedagógica para ela dar o ok final, agora se tiverem pendencias, eles nos devolvem o objeto com as anotações com as pendências e nós ajustamos.”.

Já E6 comenta o protagonismo do professor (proponente do objeto) nessa etapa, sendo ele o responsável e visto como uma visão de cliente da produção: “sempre vai para o professor e ele é livre para fazer as alterações e nos retorna para fazermos as alterações que ele acha condizente”.

Para auxiliar nessa etapa, E12 comenta a utilização de formulários de avaliação: “desenvolvemos aqui um formulário de avaliação de objetos de aprendizagem, avaliar qualidade, [...] a ideia é melhorar esse formulário e então começar aplicar ele no final de todo o objeto de aprendizagem.”.

Outra abordagem é relatada por Krauss e Ally [58], com o uso de revisões aos pares, de modo que revisores externos são solicitados a avaliar a qualidade do objeto de aprendizagem utilizando um instrumento classificação, fornecendo feedback para a melhoria do objeto usando uma survey. Já Domingues et al. [27] relatam a utilização de questionário em um espaço virtual, onde professores da área contribuem com dúvidas, críticas e sugestões.

4.1.5.3 Avaliação com alunos

A equipe técnica e pedagógica deve realizar uma avaliação com alunos provenientes do público alvo, de modo a validar aspectos técnicos e pedagógicos do objeto de aprendizagem.

E2 comenta essa validação com alunos: “Depois que o objeto é pronto, a gente leva para ser testado, chamamos de ‘validado’, com o cliente, que no caso é a

escola, antes mesmo dele ser publicado na internet.”. E2 também comenta que essa avaliação com alunos pode também ter fins de pesquisa: “a gente tem pego esses materiais que foram produzidos e levamos para escola para aplicar, para fazer uma pesquisa em termos de coleta de dados, ver resultados, ver se realmente viabilizou e potencializou o aprendizado ou se não”.

E3 relata que essa avaliação dos objetos realizada pelos professores com alunos nunca é instantânea, junto com a produção, deixando um longo tempo para testes e refinamentos: “para que eles voltem para sala de aula e para fazer essa testagem, e essa testagem nunca é instantânea, ao mesmo tempo da produção, então a gente deixa durante 1 semestre ser produzido e outro semestre ser testado, refinado e finalizado”.

Nesses testes, E3 relata que podem ser realizadas diferentes estratégias, como, por exemplo, testes com dois grupos para verificar se o uso do objeto por um grupo potencializou a aprendizagem de determinado conteúdo se comparando com o outro grupo que não utilizou o objeto: “inclusive esse conteúdo do jogo foi aplicado sempre antes de uma prova e a gente chegou a fazer com 2 grupos: um que utilizou o jogo e outro sem o jogo. O com o jogo teve, não lembro a percentagem, mas todos os alunos tiveram um resultado muito superior”.

Considerando práticas relatadas na literatura, Otsuka et al. [78] comenta a realização de coletas de dados antes e após o uso dos jogos, com o intuito de analisar a efetividade do uso desses recursos para os objetivos educacionais pretendidos.

Já Bond et al. [9], propõem que seja realizado um teste com um protótipo do objeto de aprendizagem com alunos, sendo ele avaliado tanto do ponto de vista técnico quanto pedagógico, incluindo, nesse contexto, o feedback dos alunos. Após a avaliação do protótipo, o objeto é refinado e modificado em função dos feedbacks recebidos e é desenvolvida uma versão “genérica” do objeto, de modo que ele seja adaptável e disponível à comunidade educativa em geral.

Do mesmo modo, Madueño [64] relata em sua metodologia o uso de um piloto por um grupo de usuários (professores e alunos), de modo a indicar as características que eles gostariam ou não ter, além de analisar possíveis alterações ou correção de erros, tanto na interface, como nos outros aspectos considerados na sua preparação.

Assim como na etapa de avaliação pedagógica, no caso de inconsistências no objeto ele volta etapas para ser corrigido: E2: “se tiver alguma inconsistência, esse recurso retorna para fase onde a inconsistência foi encontrada, é feito o ajuste e novamente testado e estando ok aí sim o recurso é liberado para a publicação”.

Um dos recursos utilizados na avaliação é citado por Krauss e Ally [58], sendo ele uma sessão think aloud, de modo que o designer instrucional registra as reflexões do aluno em sua interação com o objeto de aprendizagem. Além disso, os autores sugerem o uso de questionários, a fim de realizar um estudo de impacto de aprendizagem com base na sua utilização do objeto de aprendizagem. Como principal objetivo nessa validação com alunos, Amaral et al. [1] relata a verificação, pelos alunos, se o objeto realmente auxilia no processo de aprendizagem dos mesmos, testando sua efetividade.

E3 relata a utilização dessa técnica com alunos provenientes do público alvo: “que os professores convidassem alunos (2 ou 3,4,5) que viessem aqui. Então a gente capturava a tela, gravava a pessoa com áudio para que ela fosse verbalizando tudo que ela enxergava de detalhe, o que ela entendia [...] já eram pessoas que entendiam também o conteúdo, para que a gente pudesse se colocar na visão dessas pessoas”.