Como última etapa, os atributos descritivos dos indicadores escolhidos para o critério formativo devem ser definidos e cadastrados para utilização no desenvolvimento dos jogos digitais que instrumentam as avaliações formativas da aprendizagem.
Na etapa de definição de critérios formativos, foram emitidas duas expectativas de aprendizagem para os objetivos 1 e 2. No exemplo a seguir, será definido os indicadores formativos para o critério 1:
Estabelecer relações entre as ferramentas de apoio nas atividades assíncronas ou processos interdependentes e entre suas partes que as fazem funcionar em conjunto (conceitual) por meio do domínio sobre a produção da informação certa a partir da memória (lembrar).
Após seguir o método chegou-se aos seguintes indicadores candidatos para atendimento ao critério formativo emitido:
Tempo de resposta por questão Tempo total de resposta da atividade Pausa entre questões
Número de acertos consecutivos Total de acertos
Total de erros
Número de abstenções
Aplicando a matriz de priorização de indicadores no qual os indicadores candidatos são relacionados na primeira coluna, foram definidos os tipos de cada indicador e a valoração das respectivas propriedades. Após a totalização e classificação em ordem decrescente dos totais, chegou-se ao quadro conforme segue:
Desse modo os indicadores que atendem ao critério formativo emitido são: 1. Total de erros
2. Total de acertos
3. Número de acertos consecutivos 4. Número de abstenções
Enquanto:
5. Tempo de resposta por questão 6. Tempo total de resposta da atividade 7. Pausa entre questões
Não serão utilizados para esse critério.
Nesse sentido, os indicadores, como número de acertos, erros, acertos consecutivos e abstenções nas atividades podem expressar, em uma análise cuidadosa, os valores que representam as expectativas de aprendizagem definidas pelo critério conceitual-lembrar.
3.3.3 Analisar
A análise dos dados é uma etapa fundamental para verificar se os dados coletados conforme os critérios e indicadores formativos e submetidos às métricas expressam e como expressam a aquisição de conhecimento de avaliados nos conceitos-chaves estudados.
As métricas utilizadas devem ser capazes de analisar os indicadores definidos para cada critério formativo submetido e encontrar resultados que sejam legíveis para o professor, que é, em última análise, o analista desses dados.
Algumas premissas básicas devem orientar a implementação desse componente, para que as métricas utilizadas cumpram os objetivos almejados. Nesse sentido a métrica deve:
1. Analisar os indicadores formativos selecionados para cada critério formativo de modo que encontre resultantes individuais e coletivas dos aprendizes;
2. Demonstrar a evolução temporal da aprendizagem, ou seja, analisar a aquisição de conceitos-chaves estudados em um período de tempo através dos indicadores formativos selecionados;
3. Emitir resultados das análises de modo compreensível para o professor.
Para exemplificar a utilização desse componente, foram criadas duas métricas para duas dimensões distintas. A primeira, adaptada a partir do trabalho de Pimentel (2006, p. 126-131), propõe uma métrica de avaliação do nível de aquisição de conhecimento (NAC), utilizada como medida do grau de conhecimento do aprendiz em um determinado conteúdo, de um domínio de conhecimento, em um dado instante. O NAC sofreu adaptações para analisar a aquisição de conceitos-chaves estudados em um período de tempo, e será chamada daqui em diante de métrica de Aquisição de Conceitos- Chaves (ACC).
A outra, baseada no escalograma de Guttman, originalmente utilizado para medir atitudes em pesquisas de opinião, também sofreu adaptações para medir similaridades em respostas de grupos de aprendizes durante avaliações e daqui em diante será chamada de escala de Verificação de Similaridade de Respostas (VSR).
A ACC e a VSR têm aplicações distintas e atuam em dimensões diferentes. A ACC se aplica para analisar indicadores individuais de aprendizagem ao longo de um tempo em que são realizadas atividades explorando os conhecimentos dos aprendizes acerca de conceitos-chaves trabalhados em sala de aula. A VSR consiste na verificação de similaridades de respostas nas atividades desempenhadas por um grupo de alunos, ou seja analisa a atitude dos aprendizes coletivamente nas intenções de respostas dadas às mesmas atividades cumpridas.
Mesmo havendo análises distintas de ambas as métricas, o cruzamento dos seus resultados de análises pode demonstrar se as atitudes individuais dos aprendizes foram coerentes com as do grupo.
3.3.3.1 Métrica de Aquisição de Conceitos-Chaves (ACC)
A métrica de aquisição de conceitos-chaves (ACC) foi criada no contexto deste trabalho, para analisar os indicadores de aprendizagem do avaliado em relação aos conceitos-chaves estudados durante um período de tempo baseada nas respostas dos alunos coletadas a partir das atividades.
O cálculo da ACC deve ponderar os desempenhos iniciais e os atuais, sejam eles bons ou ruins. Um dos modos de fazer isso é atribuindo pesos às atividades realizadas de acordo com o instante em que são realizadas. As atividades mais recentes teriam maior peso e as atividades iniciais, menor peso.
Sendo assim, para calcular a ACC das atividades realizadas é necessário inicialmente converter a medida de desempenho atribuída pelo instrumento de avaliação a cada atividade em décimos (por exemplo, total de acertos na atividade igual a 8,0 corresponde, após a conversão, em 0,8). Em seguida, realizar média ponderada entre as medidas de desempenho convertidas que antecedem a atividade do instante atual até o instante da atividade inicial, incluindo a atividade do instante atual.
Retomando o exemplo inicial do componente curricular de Administração de Redes em Software Proprietário, no módulo Administração de Sistemas, para o qual o professor escolheu o instrumento “Questionário” para avaliar os alunos e no qual foi definido cinco atividades (A1 até A5) com dez questões (Q1 até Q10) em cada atividade, abordando os conceitos-chaves α (alfa), (beta), (gama) e δ (delta), a definição da métrica ACC deve seguir os passos a seguir:
Passo 1: Tabular conceitos x atividades do aluno informando as medidas de desempenho