Avaliação sobre as Entrevistas

Como já descrito anteriormente, o roteiro de perguntas para guiar as entrevistas foi dividido em cinco categorias: (a) uso geral da plataforma; (b) interação com a funcio- nalidade de quiz; (c) opinião sobre a funcionalidade de visualização de desempenho; (d) padrão de respostas sobre os quizzes; e por Ąm, (e) considerações Ąnais sobre a plataforma. Para a primeira categoria (uso geral da plataforma), foi possível a utilização da pla- taforma por todos os estudantes que participaram da entrevista, alguns estudantes utili- zaram de forma mais contínua e outros preferiam utilizar mais em períodos próximos às avaliações. Percebeu-se, também, que mesmo os que utilizaram pouco, gostaram muito das funcionalidades. Quando perguntado se acharam a funcionalidade útil, as respostas foram bastante positivas, como pode ser visto nas transcrições abaixo:

5.5. Experimento 4: Análise sobre o Impacto na Utilização do MAE 113

estudar..."

"Achei mais útil que o moodle, porque é mais simples, prático, já te dá os tópicos organizados e já tem os slides das disciplinas, isso Ąca mais fácil pra estudar para as provas..."

Para a segunda categoria (interação com a funcionalidade de quiz), foi possível perce- ber que todos os estudantes entrevistados aprovaram a funcionalidade. Quando questio- nado sobre o comportamento, a maioria dos estudantes respondia o quiz tão logo quando percebia. Isso ajuda a reiterar a utilidade de funcionalidade. As transcrições abaixo tra- zem respostas de diferentes estudantes para a pergunta sobre comportamento relacionado à resposta do quiz.

"Sim, decorei todos eles. Muito positivo, porque avalia o conhecimento do aluno. Sempre que eu via um quiz eu tentava responder, se eu errasse eu ia lá e olhava."

"Quando eu via o quiz eu já tentava responder. Primeiro eu via o slide e já tentava responder o quiz."

Quando questionado se eles viram com facilidade a funcionalidade, alguns estudantes relataram que a interface poderia ser melhorada, conforme transcrição abaixo:

"A funcionalidade ajuda muito... Às vezes o quiz Ącava um pouco difícil de visualizar, a na barra inferior não mostrava onde tinha os quiz."

Na terceira categoria (opinião sobre a funcionalidade de visualização de desempenho) grande parte dos estudantes considerou a funcionalidade muito útil. Logo em seguida, são apresentadas algumas transcrições da resposta para a pergunta sobre utilidade e alteração no comportamento:

"... Sim. Essa é uma parte muito boa, dá pra você elaborar uma metodologia de estudo e observar o que você está falhando e acertando e consegue dedicar mais tempo ao conteúdo que está errando. Achei excelente. Isso ia ser muito proveitoso em outras matérias, às vezes você está estudando um assunto que já está dominando e Ąca perdendo tempo e não faz nas partes que não está tão bem..."

"Sim, uma funcionalidade interessante. Dá pra você ver em qual conteúdo você está melhor em relação a outros tópicos..."

"Sim, acho que seria bem útil. Com base nessa informação eu consigo saber onde eu preciso estudar mais..."

Analisando as entrevistas, também Ącou claro para essa categoria que a funcionalidade pode não ter Ącado tão clara na interface. Muitos estudantes relataram que não viram ou, às vezes, não perceberam ao ver o ícone. Isso, com certeza, é um problema no design que pode ser analisado e melhorado.

Para a quarta categoria (padrão de respostas sobre os quizzes), foi perguntado se eles responderam ao mesmo quiz mais de uma vez. Essa pergunta tinha o intuito de veriĄcar se os estudantes praticavam ações relacionadas com Gaming the System4_{. Neste caso,}

alguns alunos responderam que sim para Ąxar melhor o conteúdo. Já outros estudantes aĄrmaram que só respondiam o mesmo quiz se tivessem errado nas tentativas anteriores. É interessante que alguns estudantes voltavam ao conteúdo tentando realmente encontrar a resposta, e outros simplesmente Ącavam fazendo ŞchutesŤ até encontrar a resposta correta. Algumas transcrições para essa categoria podem ser vistas abaixo:

"...Sim, mesmo acertando eu tentava outras vezes. Mas pra revisar..." "Na verdade eu tentava responder, até acertar..."

É interessante notar que a maioria dos estudantes não voltava no conteúdo para revisar, e, consequentemente, não respondeu ao mesmo quiz mais de uma vez. Foi possível notar, no comportamento de alguns estudantes, que eles tentavam burlar o sistema realizando ŞchutesŤ aleatórios nas respostas.

Para a última categoria, foi dada a oportunidade dos estudantes sugerirem alterações para melhoria da plataforma. Muitas sugestões interessantes foram obtidas, dentre elas: possibilidade de impressão do conteúdo apresentado; adicionar indicador de quiz na barra de visualização dos slides; melhorar a apresentação para a visualização por meio de grá- Ącos; e retirar a barra de visualização em miniatura. Um estudo sobre essas alterações será viabilizado e adicionado nos trabalhos futuros.

Em geral, a parte da análise por meio das entrevistas trouxe uma visão mais qualitativa para este experimento. Considera-se que estas entrevistas foram positivas e contribuíram, signiĄcativamente, para um melhor entendimento da percepção dos estudantes acerca dos recursos de visualização, bem como, uma visão geral da plataforma ubíqua com recursos de MAE. Os achados neste experimento irão guiar o processo de consolidação das ferra- mentas testadas e também proporcionará que implementações futuras estejam adequadas às considerações dos estudantes.

5.6 Considerações Finais

Este capítulo apresentou experimentos e resultados acerca da avaliação do modelo proposto neste trabalho. Foram planejados e executados quatro experimentos. Todos eles

4 _{comportamento no qual o estudante tenta burlar o sistema apresentando respostas caracterizadas por} ŞchuteŤ.

5.6. Considerações Finais 115

foram aplicados a usuários reais e apontou um alto rigor estatístico, no qual se utilizou de conceituados métodos para validar os resultados. Resultados do primeiro experimento mostraram que o modelo proposto é eĄciente e apresentaram valores com alta correlação quando comparados com as notas reais dos estudantes. Outra conclusão diz respeito ao procedimento de avaliação por meio do comportamento, como mostraram os resultados do terceiro experimento, o comportamento é uma variável que pode ser perfeitamente utilizada para auxiliar a avaliação do estudante. Por Ąm, o segundo experimento mostrou quais são as melhores estruturas para construção das RBs, e o quarto experimento trouxe uma análise qualitativa, mostrando a satisfação dos estudantes ao utilizarem tanto o MAE quanto à plataforma ubíqua.

117

Capítulo

6

Conclusões