PARTE II DESENVOLVIMENTO DA PESQUISA
DIGITAL DUPLA 4 DIGITALDUPLA
6. ANÁLISES E DISCUSSÃO DOS RESULTADOS
6.2. Avaliação de compreensão
A etapa de avaliação de compreensão, posterior ao estudo do conteúdo, foi realizada individualmente com todos os alunos que se dispuseram a participar da leitura dos temas. Nela estavam contidas seis questões (conforme o anexo IX), sendo as três primeiras referentes ao tema Bipolos e transformações de energia e as outras três a os pilares da Física moderna
retiradas de livros de Física das editoras Ática e Scipione.
Optou-se pelos mesmos métodos de correção utilizados no estudo piloto: foi solicitada a ajuda de um professor de Física que utilizou como critérios de avaliação o embasamento do pesquisador nos estudos de Spinillo & Hodges (2012) e Alquete (2014) que diz respeito à compreensão do texto a partir de elementos textuais, o leitor e a intereção entre ambos, conforme explicado no capítulo 4. Nesses critérios, com base em Alquete (2014, p. 101), são identificadas cinco possibilidades para os tipos de respostas: 1) não respondeu, ou seja, quando não foi efetuada uma resposta à questão; 2) respostas problemáticas ou indevidas, quando há problemas de compreensão; 3) respostas vagas ou imprecisas, que estão corretas, mas não há muitas informações ou detalhes; 4) respostas precisas, que forneceram informações específicas e com alto grau de explicitação; e, 5) respostas parciais, que foram realizadas parcialmente, geralmente por estarem relacionadas a perguntas com mais de uma questão em si mesma (itens a, b e c, por exemplo). O resultado das avaliações conferido pelo professor de Física, bem como as avaliações respondidas pelos estudantes podem ser conferidos no anexo X.
A seguir são apresentados os dados resultantes das avaliações dos doze participantes. Na tabela 11 é colocada a porcentagem referente aos acertos dos alunos por questão, identificando qual o artefato foi usado no momento do estudo, se livro impresso ou digital.
Tabela 11 - Porcentagem de desempenho nas avaliações de compreensão.
Os pilares da Física Moderna
Questão 4 Questão 5 Questão 6
Livro impresso 100% 100% 60% 50% 70% 60% 100% 0% 50% 100% 70% 60% 50% 90% 40% 100% 100% 40%
Bipolos e transformações de energia
Questão 1 Questão 2 Questão 3
Livro digital E1 50% 100% 0% E2 90% 90% 80% E3 100% 100% 40% E4 100% 90% 60% E5 100% 100% 0% E6 100% 100% 100% Livro impresso E7 100% 50% 100% E8 90% 100% 80% E9 75% 100% 80% E10 50% 100% 100% E11 50% 100% 0% E12 100% 30% 80% Livro digital 50% 100% 30% 100% 0% 60% 100% 50% 60% 100% 70% 66% 100% 75% 60% 50% 100% 80% Fonte: do autor
Dentre as primeiras percepções, ao visualizarmos as linhas e comparar o desempenho individual dos participantes, vemos que nem sempre as respostas às questões dos temas estudados nos hiperlivros tiveram um aproveitamento melhor que aquelas estudadas no livro impresso. É o que mostra uma nova representação da mesma tabela destacando na cor verde o grupo de questões com maior acerto, excetuando-se no grupo valores menores que 70% (tabela 12):
Tabela 12 - Percentual de acerto no grupo de questões do livro impresso versus grupo de questões do hiperlivro
Os pilares da Física Moderna
Questão 4 Questão 5 Questão 6
Livro impresso 100% 100% 60% 50% 70% 60% 100% 0% 50% 100% 70% 60% 50% 90% 40% 100% 100% 40%
Bipolos e transformações de energia
Questão 1 Questão 2 Questão 3
Livro digital E1 50% 100% 0% E2 90% 90% 80% E3 100% 100% 40% E4 100% 90% 60% E5 100% 100% 0% E6 100% 100% 100%
Livro impresso E7 100% 50% 100% E8 90% 100% 80% E9 75% 100% 80% E10 50% 100% 100% E11 50% 100% 0% E12 100% 30% 80% Livro digital 50% 100% 30% 100% 0% 60% 100% 50% 60% 100% 70% 66% 100% 75% 60% 50% 100% 80% Fonte: do autor
Uma das possibilidade de tais resultados diz respeito à complexidade dos temas estudados nos dois momentos do experimento: bipolos e transformações de energia teve um aproveitamento mais expressivo que os pilares da Física Moderna independente do suporte utilizado ou do objeto educacional digital como instrumento de diferenciação. Conforme indicado nos objetivos dos OEDs, há uma dificuldade na formação dos professores de Física quanto à segunda temática por sua densidade, e isso se reflete não apenas em sala de aula, senão nas explicações fornecidas nos livros da disciplina ou, nesse caso, nos OEDs, ambos com pouca didática.
Ao verificarmos individualmente as questões (colunas) percebemos ainda um equilíbrio em relação aos resultados obtidos dos estudantes que interagiram com os dois tipos de artefatos. Na tabela 13, utilizaremos novamente a cor verde para indicar em qual grupo de participantes houve maior acerto de cada uma das questões e a cor amarela para quando a porcentagem de acertos for equivalente aos dois grupos:
Tabela 13 - Relação grupo de participantes e percentual de acertos em cada questão.
Os pilares da Física Moderna
Questão 4 Questão 5 Questão 6
Livro impresso 100% 100% 60% 50% 70% 60% 100% 0% 50% 100% 70% 60% 50% 90% 40% 100% 100% 40%
Bipolos e transformações de energia
Questão 1 Questão 2 Questão 3
Livro digital E1 50% 100% 0% E2 90% 90% 80% E3 100% 100% 40% E4 100% 90% 60% E5 100% 100% 0% E6 100% 100% 100%
Livro impresso E7 100% 50% 100% E8 90% 100% 80% E9 75% 100% 80% E10 50% 100% 100% E11 50% 100% 0% E12 100% 30% 80% Livro digital 50% 100% 30% 100% 0% 60% 100% 50% 60% 100% 70% 66% 100% 75% 60% 50% 100% 80% Fonte: do autor
O equilíbrio no acerto das questões fica mais claro a partir da tabela 13. Notamos que apesar de haver uma grupo de participantes com uma porcentagem maior em dada questão, aquele que estudou no suporte oposto obteve resultados muito próximos e até mesmo equivalentes em suas respostas, como ocorreu com a questão 4. Esse equilíbrio é evidenciado especialmente no segundo tema de estudo (os pilares da Física Moderna). Nele temos, além do “empate” na quarta questão, uma acerto superior na quinta pergunta entre os alunos que estudaram o conteúdo no livro impresso e na sexta daqueles que estudaram no livro digital.
Para compreender um pouco mais os tipos de respostas verificados nas avaliações com base no livro utilizado (impresso ou digital enriquecido com OED) é dada a tabela 14:
Tabela 14 - Quantidade de cada tipo de respostas para cada uma das questões.
Tipo de
resposta Dispositivo utilizado para o estudo
Bipolos e transformações
de energia Os pilares da Física Moderna
Q1. a) Q1. b) Q2 Q3 Q4 Q5 Q6. I. Q6. II. Q6. III. Precisa Hiperlivro 6 4 4 1 4 2 2 1 Livro impresso 6 2 4 2 4 2 2 1 Parcial Hiperlivro Livro impresso 2 Imprecisa Hiperlivro 2 2 3 2 3 4 4 Livro impresso 3 2 3 2 3 4 3 3 Incorreta Hiperlivro 1 5 2 Livro impresso 1 3 Não respondeu Hiperlivro 2 Livro impresso 1 1 Fonte: do autor
Vemos na tabela 14 as questões divididas em subitens (a,b, c ou I, II, III) e o nível de precisão nas respostas. Temos, por exemplo, na questão 1 - item a, uma totalidade de acertos dos seis participantes que estudaram o conteúdo no livro impresso, e também daqueles que o fizeram no livro digital. Há ainda um número alto de participantes com respostas imprecisas, ou seja, sem um bom nível de detalhamento nas argumentações, o que pode ser explicado pelo tempo previsto para a avaliação e pelo rápido contato com o conteúdo nas etapas de leitura. Quanto ao número de respostas incorretas, houve uma frequência maior no segundo assunto demonstrando a dificuldade no entendimento do tema, ou mesmo a má formulação das perguntas.
A seguir, são apresentados os níveis de atividade observados durante todo o experimento e, mais adiante, configurados os elementos para a composição do diagrama, baseado nos estudos de Engeström (1987), com seus repectivos breakdowns.
6.3. Níveis de atividades
A partir da descrição de como ocorreram as fases do experimento, desde o estudo entre as duplas nos suportes impresso e digital até às avaliações individuais, foi possível determinar os níveis de atividade que abrangem as três noções explicitadas no capítulo três: atividade, ações e operações.
A tabela 15 nos mostra, nesse primeiro momento, como estão organizados os níveis de atividade na interação com o livro impresso:
Tabela 15 - Níveis de atividade no livro impresso.
Atividade Ações Operações
Leitura e compreensão dos conteúdos propostos no livro impresso Manipulação do livro
Posicionar o livro sobre a bancada para que a dupla possa visualizá-lo da melhor maneira
Abrir o livro
Buscar a página estipulada pelo pesquisador no rodapé do livro Folhear as páginas
Encontrar o assunto proposto Iniciar a leitura
Leitura do conteúdo proposto
Leitura e visualização de texto, imagens e legendas
Acompanhamento utilizando o dedo indicador sobre as linhas de texto
Associação dos textos às ilustrações e esquemas propostos pelos autores do livro
Folhear a página ao término da atual
Retornar à(s) página(s) anterior(es) para esclarecer pontos de dúvida.
Discussão com o colega
Conversar com o colega para o esclarecimento do assunto Abordar assuntos já vistos ao longo do ensino médio. Releitura e
término
Demonstrar, através de gesticulações, pontos de dúvida sobre o assunto e relê-los
Finalizar a etapa no tempo previsto estipulado pelo pesquisador
Estudar para a avaliação
Buscar possíveis assuntos, especialmente aqueles que
envolvessem fórmulas, que poderiam aparecer na avaliação de compreensão
Realização da avaliação de compreensão individual
Inserir dados pessoais Ler as questões
Responder as questões (escrever) Finalizar a avaliação e entregá-la
Fonte: do autor
Ações e operações se mantiveram dentro das expectativas para o livro impresso. Houve alguns acréscimos em relação àquelas efetuadas no experimento piloto, mas, aparentemente,
tratam-se de comportamentos possíveis de serem encontrados até mesmo em pesquisas com mais alunos.
A principal similaridade em relação ao experimento piloto diz respeito ao objetivo geral da atividade que, mais uma vez, incluía a leitura, a compreensão e a interpretação dos temas propostos. Na tabela foram inseridas todas as informações observadas durante as etapas. Procurou-se, além de relatar aspectos comuns aos participantes, colocar ainda especificidades. Dentre os exemplos, destaca-se o acompanhamento das linhas de texto utilizando o dedo indicador, operação realizada por apenas um dos participantes.
Os contatos estabelecidos entre os estudantes e o pesquisador se fundamentaram no questionamento das páginas onde estavam os conteúdos e o ponto de término da leitura. Além disso, houve quem interpelasse sobre as etapas do experimento mesmo já tendo sido aclaradas antes do início da atividade. Como todas as duplas ouviram tal questionamento, ocorreu um esforço entre elas para uma leitura mais meticulosa visando a avaliação.
Como item geral, percebe-se que, em razão da finalização da leitura antes do tempo previsto, muitos alunos aproveitaram para reler o conteúdo e buscar possíveis temas ou passagens no texto que se adequariam a perguntas e/ou respostas na avaliação de compreensão. Trata-se então de uma nova ação com certa relevância para o objetivo da atividade e nos resultados das avaliações.
Apesar do inedismo requerido para o experimento, grande parte dos alunos, por estudar em cursos particulares voltados à vestibulares e ao Exame Nacional do Ensino Médio, já tinha noção de alguns conceitos e derivações dos assuntos abordados nas etapas, especialmente na primeira, alusiva a bipolos e transformações de energia. Isso os motivou a discutirem os temas e relembrá-los, associando ou buscando possíveis relações com os tópicos do experimento.
Quanto à avaliação de compreensão, ao contrário do que ocorreu no estudo piloto, optou- se por fazê-la sem consulta ao material estudado (livro impresso, digital e OEDs). Isso evitou que os alunos copiassem algumas das respostas e se esforçassem a lembrar dos conteúdos, demonstrando se estes ficaram internalizados, ou não, para a seguinte externalização escrita.
A seguir, veremos na tabela 16 como estão organizados os níveis de atividade na interação dos estudantes com o livro digital enriquecido com OEDs.
Tabela 16 - Níveis de atividade no livro digital.
Atividade Ações Operações
Leitura e compreensão dos conteúdos propostos no livro digital Manipulação do livro Pular o tutorial
Digitar a página requerida no input “ir para a página” Iniciar a leitura
Controlar a página com o mouse
Folhear as páginas com os botões de avançar e voltar
Aplicar zoom
à página
Utilizar as teclas “Ctrl+”
Efetuar duplo clique com o mouse Arrastar a
página para visualizar o restante do conteúdo
Clicar, arrastar e soltar (drag and drop) vertical e horizontalmente
Utilizar a rolagem, ou scroll, do mouse (apenas verticalmente)
Clicar nos botões referentes à próxima página e página anterior Leitura do
conteúdo proposto
Leitura e visualização linear de texto, imagens e legendas Folhear a página ao término da atual
Retornar à(s) página(s) anterior(es) para esclarecer pontos de dúvida.
Discussão com o colega
Conversar com o colega para o esclarecimento do assunto Demonstrar através de gesticulações pontos de dúvida sobre o assunto
Acessar os conteúdos dos OEDs
Buscar o OED no menu lateral esquerdo do hiperlivro Clicar nos OEDs escolhidos para o experimento Iniciar o acesso ao OED
Interação com o conteúdo parcial ou totalmente
Leitura das introduções dos OEDs parcial ou totalmente
Clique nos botões (avançar, voltar, fechar, abertura de conteúdo) Visualização não-linear do conteúdo principal
Utilização da barra de rolagem para textos extensos (no infográfico)
Buscar o botão “tocar” nos vídeos.
Clicar fora da popup para tentar fechar o OED
Clicar no botão fechar após visualizá-lo para retornar à leitura do
livro ou terminar a etapa de estudo Realização da
avaliação de compreensão
Inserir dados pessoais Ler as questões
Responder as questões (escrita) Finalizar a avaliação e entregá-la
Em oposição à proposta do experimento piloto onde os capítulos dos livros já se encontravam abertos nas páginas exatas para o acesso, nesta os estudantes deveriam encontrar os temas no livro digital. Para isso, tiveram a liberdade de interagir com todas as ferramentas do hiperlivro, navegando em sua interface. Porém, antes de iniciar a busca pela página, nenhum dos alunos leu a popup com as instruções de como navegar (figura 49), que se encontrava aberta no início da atividade, fechando-a quase que inconscientemente.
Figura 49 - Tutorial de navegação do livro digital
Fonte: Editoras Ática e Scipione.
O caminho mais fácil encontrado pelos participantes foi digitar no input de texto a numeração da página de onde estariam os conteúdos indicados pelo pesquisador. A partir daí, procuraram a ferramenta de zoom a fim de facilitar a leitura dos textos, tendo alguns pouco ou nenhum sucesso nesta tarefa. Essa é a ação mais evidente nas observações, visto que algumas duplas insistiram na busca e, ao perceberem que não achariam, optaram por desistir e ler o texto da maneira mais próxima possível à tela do computador.
A leitura e visualização do conteúdo ocorreu como em um livro impresso, seguindo uma linearidade e recorrendo às imagens e esquemas quando da indicação no texto. Quanto ao acesso dos OEDs, há em si uma ação pela não familiaridade com a interface do hiperlivro. A localização da ferramenta bem como os nomes dos objetos educacionais digitais foram indicados pelo pesquisador a fim de facilitar este primeiro contato. A partir daí, mesmo que em tempo diferentes, todos os participantes souberam como acessar os objetos.
Dentro dos OEDs se percebeu que nem todo o conteúdo ali apresentado era interessante quando relacionado à leitura preliminar, nas páginas do livro. Era, de certo modo, um complemento com relevância questionável. Há também de se pensar sobre como se deu a concepção desses OEDs em relação as suas qualidades (interface, ludicidade, compreensão, concepção pedagógica, entre outros fatores). Para isso é possível se apoiar em alguns questionamentos: a faixa etária do público a que se destinam os objetos foi levada em consideração? Adotar animações de personagens é a melhor alternativa para representar
conteúdos densos? Havia a chance de conceber um conteúdo audiovisual ao invés de escolher vídeos estrangeiros prontos com narrações em português? Como deixar as informações da interface dos OEDs mais visíveis, visto que itens como o botão tocar ou o quiz após o vídeo passaram despercebidos por alguns dos participantes? Seria mesmo necessário tantos itens a serem clicados no infográfico ou a qualidade do conteúdo inserido em cada uma das popups
abertas poderia ser primada em detrimento da quantidade?
Algumas dessas perguntas, e consequentemente suas possíveis respostas, ajudam a compreender operações equivocadas dos estudantes. Melhorias como a disponibilidade da ferramenta zoom para o dispositivo em uso (que nesse caso não era a tablet), não apenas na abertura do livro digital senão no menu ajuda ou nas configurações do hiperlivro, poderiam ser adotadas. Consequentemente, o tempo estimado na descoberta de se efetivar tal ação seria reduzido. Além disso, reduzir a quantidade de textos presentes nas introduções dos OEDs bem como no infográfico e facilitar o fechamento dos objetos ao clicar na área sombreada localizada fora da popup, são outras mudanças cabíveis de serem adotadas.
Para seguir compreendendo alguns dos supostos fatores que influenciaram nos objetivos e resultados do experimento, veremos a seguir como se configurou o sistema de atividades dos grupos participantes, indicando breakdowns que transformaram pequenas operações em ações mais complexas.