Resultados da avaliação de compreensão

A avaliação de compreensão, que sucedeu a leitura, estava composta por seis questões (conforme o anexo IV), sendo as três primeiras referentes ao assunto momento de uma força - torque, e as três últimas a máquinas simples. Elas foram retiradas de duas obras das editoras Ática e Scipione: Física 1 Ensino Médio e Compreendendo a Física. A avaliação foi realizada individualmente com a finalidade de verificar como se davam os objetivos individuais e se houve, de fato, algum tipo de internalização, ou memorização.

Para a correção, foi solicitada a ajuda externa de um professor de física que dá aulas particulares e no sistema público de ensino. No entanto, as definições para os critérios de avaliação partiram do pesquisador embasadas nos estudos de Spinillo & Hodges (2012) e Alquete (2014), que procuram explicar a compreensão de textos na associação de três componentes: elementos textuais, o leitor e a interação entre eles. Neste modelo, as inferências são construídas de duas formas: a partir de novos significados derivados dos dados apresentados e da associação de informações aos conhecimentos prévios do leitor, preenchendo lacunas permitidas pela incompletude do texto, cabendo ao leitor realizar tal preenchimento, compreendendo de maneira correta ou não (SPINILLO & HODGES, 2012). As autoras destacam ainda a importância de perguntas para a verificação da compreensão daquilo que foi estudado, podendo ser realizadas antes, durante ou após a leitura do conteúdo. Alquete (2014, p. 101) identifica quatro possibilidades para os tipos de respostas a essas perguntas, a saber: 1) não respondeu, ou seja, quando não foi efetuada uma resposta à questão; 2) respostas problemáticas ou indevidas, quando há problemas de compreensão; 3) respostas vagas ou imprecisas, ou seja, que estão corretas, mas não há muitas informações ou detalhes, e; 4) respostas precisas, que forneceram informações específicas e com alto grau de explicitação. Das respostas verificadas no experimento, houve ainda aquelas que foram realizadas parcialmente por estarem relacionadas a perguntas com mais de uma questão em si mesma, enquadrando-se, nesse caso, em uma nova categoria: a de respostas parciais. Coube ao avaliador, além de se basear nesses cinco pontos, atribuir uma porcentagem e nota a cada uma das respostas (anexo V).

Para facilitar a visualização e compreensão dos resultados são apresentados na tabela 8 os oito participantes divididos em dois grupos: os quatro primeiros que estudaram momento de uma força - torque no livro digital e máquinas simples no livro impresso, bem como seus respectivos resultados; e na sequência os quatro últimos que começaram o assunto momento de uma força - torque no livro impresso e o de máquinas simples no livro digital, com suas porcentagens de erros e acertos para cada questão.

Tabela 8 - Resultados da avaliação de compreensão do experimento piloto.

Máquinas simples

Questão 4 Questão 5 Questão 6

Livro impresso

80% 100% 0%

100% 0% 20%

100% 100% 100%

100% 100% 0%

Momento de uma força (torque)

Questão 1 Questão 2 Questão 3

Livro digital Participante 1 0% 100% 100% Participante 2 100% 100% 100% Participante 3 80% 80% 100% Participante 4 100% 80% 100% Livro impresso Participante 5 100% 100% 100% Participante 6 50% 100% 100% Participante 7 30% 100% 100% Participante 8 50% 80% 100% Livro digital 100% 0% 0% 66% 90% 75% 100% 50% 100% 100% 100% 50% Fonte: do autor

Em relação ao grupo que compreende os quatro primeiros participantes, ou seja, aqueles que começaram a atividade interagindo com o livro digital com o tema momento de uma força - torque, e posteriormente passaram ao livro impresso, visualizando o tema máquinas simples, é possível destacar que apenas o participante 3 obteve um aproveitamento melhor nas questões referentes ao tema estudado no livro impresso, conferindo respostas totalmente corretas a essas questões.

Outro ponto importante refere-se ao participante 2 que acertou a totalidade das questões referentes ao conteúdo visto no livro digital, ao mesmo tempo em que teve um desempenho muito aquém quando o assunto era aquele estudado no livro impresso.

Já em relação ao grupo que compreende os 4 últimos participantes, ou seja, aqueles que iniciaram com o livro impresso, o desempenho se mostrou dividido, não facultando maiores inferências em torno dos resultados: os participantes 5 e 6, que compunham a mesma dupla quando da etapa do estudo, obtiveram resultados melhores nas questões relativas ao tema visualizado no livro impresso, enquanto o desempenho dos participantes 6 e 7 foi melhor com o tema tratado no hiperlivro.

Em uma visão mais ampla dos resultados, temos cinco dos oito participantes (62,5%) obtendo um desempenho melhor na avaliação com base nas questões referentes aos assuntos abordados no livro digital enriquecidos com objetos educacionais digitais, frente às questões que tiveram como base o estudo no livro impresso. Isso, no entanto, não nos permite afirmar que houve uma maior compreensão daqueles que utilizaram os hiperlivros visto a tenuidade dos resultados obtidos. Apesar disso, há relatos (anexo VI), inclusive, sobre a importância dos OEDs para o cumprimento e entendimento dos assuntos, como o da participante 4 que diz só ter se dado conta do entendimento do assunto ao colocá-lo em prática com o jogo,

encarando-o como essencial; e o do participante 7 que achou interessante o modo como as informações complementares eram dispostas independente de ordenação ou de uma linha de raciocínio impostas pelo livro na leitura do infográfico.

Os participantes foram perguntados durante o grupo focal se havia uma maior dificuldade de um tema em relação ao outro. Apenas um aluno alegou ter passado por momentos de incompreensão no segundo assunto (máquinas simples). Os demais concordaram que havia uma complementaridade entre os conteúdos, ou seja, de que só era possível entender de modo satisfatório máquinas simples após o tema momento de uma força ter sido contextualizado. Ademais, para os participantes, o grau de dificuldade era semelhante, havendo níveis similares de empenho para o estudo de ambos.

A tabela 9 mostra como se deram as repostas dos oito alunos que participaram do experimento conforme os tipos de respostas identificados por Alquete (2014, p. 101) e complementados aqui com o item “resposta parcial”.

Tabela 9 - Tipologia de respostas verificados no experimento piloto.

Momento de uma força (torque) Máquinas simples

Questão 1 Questão 2 Questão 3 Questão 4 Questão 5 Questão 6

Não respondeu 1 0 0 0 2 3 Resposta indevida 0 0 0 0 0 0 Resposta imprecisa 2 3 0 1 2 0 Resposta parcial 2 0 0 1 0 3 Resposta precisa 3 5 8 6 4 2 Fonte: do autor

Dois aspectos chamam atenção na tabela 9: 1) percebe-se que não houve respostas completamente indevidas por parte dos participantes, ou seja, ambos os conteúdos foram assimilados durante o experimento e respondidos com certa consistência; 2) todos os alunos acertaram a terceira questão, independente do artefato utilizado para o estudo. Neste segundo caso, uma provável justificativa tenha sido o formato da questão, onde o aluno deveria apenas efetuar um cálculo simples sem necessariamente demonstrar com argumentos textuais o conhecimento sobre a questão.

Outra particularidade percebida se refere à imprecisão e parcialidade, estando um dos dois tipos de respostas presentes em todas as questões (à exceção da terceira, conforme anteriormente mencionado). Em casos mais extremos houve a ausência total de respostas, especialmente nas questões finais da avaliação. Isso pode ser justificado pela administração do tempo para o cumprimento das etapas aliada ao atraso existente quando dos problemas técnicos nos computadores, ainda no estudo com os livros digitais.