Partindo-se do ponto de vista de existir algum favorecimento dos alunos ao conceder notas avaliativas superiores às dadas pelo professor, pode-se notar que, de acordo com a Tabela 1, há indícios de que isso trata-se de um fato. Entretanto, não há um padrão para esse pretenso favorecimento.
Observe-se, ainda na Tabela 1, que há uma sensível diferença entre o grau de favorecimento entre as cinco rubricas. Isso leva a considerar a suposição de que o favorecimento é afetado pelo tipo de tarefa, corroborando o que afirmaram Cho et al (2011).
Por outro lado, isso não assegura que a causa dessa discrepância também não possa ter sido por causa da rubrica utilizada. Mas essa suposição não encontra fundamento no próprio conjunto de rubricas utilizadas, uma vez que as duas últimas são idênticas e também apresentam diferenças de favorecimento entre si. Dessa forma,
52 é possível descartar o efeito da rubrica como um fator que pudesse interferir na afirmação realizada por Cho et al (2011). Dessa forma, confirma-se o indício de que o resultado das rubricas é afetado apenas pelo tipo de tarefa.
Ainda, na Tabela 1, na última coluna, pode-se observar que há pouca regularidade na convergência entre as rubricas. Mesmo considerando que as três primeiras rubricas referem-se a um tipo de habilidade de domínio cognitivo diferente das duas últimas, essa tendência de divergência se mantém. E, isso faz merecer uma avaliação mais detalhada para compreender se pode existir alguma coerência entre os dois grupos de rubricas no sentido do favorecimento dado pelos alunos comparativamente com as avaliações do professor.
Na Erro! Fonte de referência não encontrada. observa-se os percentuais de favorecimento das avaliações comparadas com aquela produzida pelo professor.
Observa-se que quando o favorecimento é alto – rubricas 2 e 4 – o desvio padrão também é elevado. Isso acontece tanto nas avaliações por pares como nas auto avaliações e pode significar o indício de que em algumas atividades há mais propensão ao favorecimento do que outras e que o consenso geral da turma tende a ser menor.
Vê-se, na Erro! Fonte de referência não encontrada., na linha de total, que os favorecimentos gerais da turma, tanto quando nas avaliações por pares quanto nas auto avaliações são próximas, tanto no percentual quanto no desvio padrão. Essa convergência é muito importante por dar indícios de que existe coerência da turma nas duas modalidades de avaliação, mostrando que existiu um favorecimento maior, mas pequeno, nas auto avaliações.
Mas, o dado relevante observável na Erro! Fonte de referência não encontrada.
é que o nível de favorecimento nas rubricas 1 a 3, totalizadas sob a dimensão de conhecimento de Bloom apresenta maior nível de favorecimento do que os dados mostrados na dimensão da compreensão. E, observa-se, da mesma forma convergência entre auto avaliações e as avaliações por pares. Essa pode ser uma indicação de que nas tarefas da segunda dimensão de Bloom, a propensão ao favorecimento é menor.
Desse modo, pode-se afirmar que há indícios de convergência entre auto avaliações e por pares comparadas com as feitas pelo professor. Entretanto, deve-se observar que a quarta e quinta rubricas são idênticas variando apenas a tarefa proposta
53 que foi produzir um texto referente ao contexto e lacuna (gap), respectivamente. Por isso, atribui-se a falta de homogeneidade para a atividade que foi aplicada aos alunos, ou seja, a atividade pode alterar a convergência, e portanto a acurácia, das avaliações feitas pelos alunos.
Por outro lado, há uma convergência relativamente uniforme entre a auto avaliações e por pares, com superioridade da primeira. Isso demonstra a tendência para o maior favorecimento em que o aluno avalia a si mesmo, mas que o comportamento geral é coerente entre os dois tipos de avaliação.
O resultado apresentado corrobora as pesquisas anteriores mas a taxonomia de Bloom apresenta uma dimensão nova para interpretar os dados. Foi constatado que ao se oferecer atividades que envolvem o conhecimento – primeiro nível da taxonomia de Bloom -, as discrepâncias entre as avaliações feitas pelos alunos e a do professor podem ser muito maiores do que aquelas que envolvem a compreensão, que é o segundo nível de Bloom. É interessante que a variação das diferenças entre avaliações de alunos e do professor apresentaram desvio padrão menor também nessa comparação. Isso sugere, então, que o tipo de atividade influencia a avaliação pelos indícios de que nas atividades de mais alto nível de habilidades a auto avaliação e por pares apresentem maior acurácia.
Com esses resultados, portanto, constata-se que a questão que demonstra maior dificuldade aparente é determinar quais atividades induzem aos percentuais variados de falta de convergência. Entretanto, ficou clara a existência de indícios de que nas atividades de maior nível na taxonomia de Bloom, esses percentuais são menores.
Esse achado de que a acurácia em avaliações feitas pelos alunos em atividades de maior nível de Bloom pode ser relevante para cursos na EAD, porque as avaliações poderiam centrar em níveis mais elevados de habilidades. Esse pode ser um fator de melhoria de qualidade desses cursos.
A inserção da taxonomia de Bloom para análise da acurácia das avaliações feitas pelos alunos avançou no conhecimento em relação a resultados anteriores. Ela demonstra que existem indícios de uma maior acurácia nas avaliações em atividades que demandam maior nível de habilidades cognitivas.
54 Foram encontrados indícios de que quanto mais avançado a atividade no sentido das habilidades de domínio cognitivo de Bloom menor será o desvio de avaliação dos alunos com relação às tarefas avaliadas. Esses indícios têm suporte, também, na coerência entre auto avaliações e avaliações por terceiros que, no caso estudado, apresentaram forte convergência.
Esta pesquisa foi aplicada em uma situação presencial utilizando um Ambiente Virtual de Aprendizagem, o Moodle Stoa e, por isso, é facilmente replicável em um curso online utilizando os recursos já disponíveis nessa ferramenta e independendo do número de alunos. Mas, para isso devem ser garantidas as seguintes condições:
• avaliações por pares duplamente cegos;
• deve-se ter conhecimento do percentual de favorecimento dos pares sobre as do professor;
• deve-se ter conhecimento do percentual de favorecimento das auto avaliações sobre as dos pares;
• a produção de rubricas deve ser adequada; e
• e também o percentual de convergência de cada tipo de atividade deve ser adequado.