Após o desenvolvimento da ferramenta, foram feitos experimentos para validar o ambiente. As seções abaixo descrevem os experimentos em detalhes.
4.3.1 Objetivos
Estes experimentos tiveram como objetivo principal verificar como o Ensinus auxilia na aprendizagem dos alunos. Foram realizados dois experimentos: um na Universidade
61 Federal de Pernambuco e o outro na Faculdade de Ciências Humanas - ESUDA. Nas duas instituições de ensino, para avaliar o ambiente, os estudantes e o professor responderam a
questionários11 que indicaram o quanto o ambiente poderia efetivamente ajudá-los no aspecto
motivacional, bem como o quanto eles se sentiram efetivamente auxiliados pela ferramenta.
4.3.2 Organização
O primeiro passo na organização do experimento foi a seleção das disciplinas a serem utilizadas. O objetivo foi que diferentes áreas de ensino fossem abordadas, para que se comprovasse que a ferramenta efetivamente se aplicaria a usos genéricos. Nesse sentido, foram escolhidas disciplinas de duas áreas completamente distintas: exatas e humanas. Na área de Ciências Exatas, foi escolhida a disciplina de Estatística e Probabilidade para Computação, dos cursos de Ciência da Computação e Engenharia da Computação da UFPE. Na área de Ciências Humanas, foi escolhida a disciplina de Psicologia do curso de Pedagogia da Faculdade de Ciências Humanas - ESUDA.
A ferramenta foi instalada e aplicada em um laboratório de cada uma das duas instituições de ensino superior. Durante a aplicação, foram colhidos testemunhos dos alunos a respeito do uso da ferramenta, juntamente com as respostas dos questionários. Foram também recebidas críticas e sugestões relativas à usabilidade. Devido a essa interação, no ESUDA foi possível fazer uma segunda aplicação da ferramenta, na qual já estavam implementadas algumas das sugestões colhidas na primeira aplicação. Os resultados referentes ao ESUDA, apresentados a seguir, referem-se à segunda aplicação.
4.3.3 Resultados
No experimento realizado no ESUDA, houve a participação de 15 alunos. Os resultados foram satisfatórios, considerando que a maioria dos alunos não teve quaisquer dificuldades na utilização da ferramenta, além de todos os alunos terem se sentido efetivamente auxiliados por ela.
10
Java é uma linguagem de programação orientada a objetos desenvolvida pela Sun Microsytems.
11
62 Os resultados serão apresentados nas quatro tabelas a seguir.
As Tabelas 4.1, 4.2 e 4.3 mostram, respectivamente, o perfil dos alunos participantes do experimento e suas respostas aos questionários 1 e 2. A Tabela 4.4 apresenta um resumo da opinião dos alunos no que diz respeito à qualidade e à usabilidade do Ensinus.
Tabela 4.1: Perfil dos alunos participantes do experimento
Característica Número de Participantes
Sexo 4 Masculino;
11 Feminino.
Média de idade 25 anos
Grau de instrução superior incompleto.
Experiência em Ambientes Virtuais de Ensino 1 Sim; 14 Não.
Tabela 4.2: Respostas do Questionário 1
Perguntas Ótimo Muito Bom
Bom Razoável Ruim
1. O que você achou do conteúdo apresentado no ambiente ?
4 7 3 1
2. O que você achou dos exercícios propostos ? 5 10 3. Como você classifica o assistente virtual ? 1 7 5 2 4. O que você achou de ter utilizado o Ensinus
nos seus estudos ?
2 4 9
Tabela 4.3: Respostas do Questionário 2
Perguntas Sim Não
1. As informações contidas na Ajuda foram úteis para você ?
15 2. Você considera as informações fornecidas pelo
assistente virtual importantes ?
15 3. De forma geral o Ensinus foi fácil de usar ? 11 4 4. Você acha que o Ensinus precisa ser melhorado ? 6 9
63 Tabela 4.4: Usabilidade e Qualidade do Ensinus
Perguntas Respostas dos alunos
1. Como você classifica o assistente virtual ? 87 % dos alunos responderam “ótimo”, “muito bom” e “bom”. 2. O que você achou de ter utilizado o Ensinus
nos seus estudos ?
100 % dos alunos responderam “ótimo”, “muito bom” e “bom”. 3. De forma geral o Ensinus foi fácil de usar ? 73 % dos alunos responderam
“sim”. 4. Você acha que o Ensinus precisa ser
melhorado ?
40 % dos alunos responderam “sim”.
4.3.4 Críticas dos Participantes
Como foi colocado anteriormente, durante a aplicação do experimento, os participantes tiveram a oportunidade de registrar suas críticas e sugestões sobre a ferramenta. As críticas e sugestões dos alunos foram as seguintes:
• Seria bom se a ferramenta possuísse a opção de imprimir os conteúdos
teóricos.
• Nos exercícios seria bom o aluno saber na hora se acertou cada questão.
• Colocar links dentro do conteúdo para encaminhar para detalhes do assunto
em sites relacionados (já implementado).
• Na resolução de exercícios, seria bom mostrar quais foram respondidos
erradamente, quais foram respondidos corretamente e quais as respostas corretas.
• Não apagar as respostas dadas na tentativa anterior (já implementado).
• Mostrar a lista das respostas erradas.
• Gostei muito da ferramenta.
• Era bom poder ver a resposta correta.
• Era bom mostrar o rendimento através de gráficos (já implementado).
• A ferramenta auxiliou bastante me mostrando onde tenho dificuldades.
• Acho que a ferramenta reforça/motiva você a estudar, pois você sabe onde está
em seu desempenho.
64
• Eu nunca soube usar computador (o aluno que fez esse comentário apresentou
dificuldades durante a utilização da ferramenta).
4.4 Conclusões
Neste capítulo, foi mostrado inicialmente como o Ensinus foi desenvolvido. A seguir quais tecnologias foram aplicadas na sua implementação. Por fim, foi apresentado o experimento, com as respostas dos questionários, bem como as críticas e sugestões dos alunos.
A partir dos resultados colhidos, pode-se concluir que o Ensinus é uma ferramenta que propicia um efetivo auxílio aos alunos no processo de aprendizagem. Porém, pode-se também perceber que existem ainda aprimoramentos a serem realizados no que diz respeito à
usabilidade. Apesar de alguns desses aprimoramentos já terem sido implementados, questões
colocadas no que diz respeito à resolução de exercícios ainda não foram absorvidas na ferramenta. Por exemplo, seria realmente interessante se ao final da resolução de um exercício a ferramenta apresentasse um relatório mais detalhado do que o aluno acertou e errou.
No próximo capítulo, serão apresentadas as contribuições e conclusões desta dissertação e alguns trabalhos futuros.
65
Capítulo 5
Conclusões e Trabalhos Futuros
_______________________________
Neste capítulo apresentaremos uma revisão do trabalho desenvolvido nesta dissertação, relatando as suas contribuições, conclusões e trabalhos futuros.