Resultados Obtidos na Avaliação do Primeiro Protótipo

Depois de concluída uma primeira versão do protótipo foi repassada uma cópia dos arquivos da aplicação aos testadores (Figura 43). Esses utilizam cada funcionalidade do sistema e realizam a avaliação, anotando as notas e os problemas e pontos a serem melhorados, bem como características das situações aonde realizaram o teste, como: configuração dos computadores, da rede, quantidade de máquinas, etc.

Figura 43 - Testador avaliando o sistema

O resultado colhido no primeiro teste realizado é exibido na Tabela 6.

Neste teste foram utilizadas 12 máquinas do laboratório de informática da Universidade Federal do Ceará – UFC Campus Cariri. Esse laboratório é dotado de computadores desktops com a seguinte configuração de hardware e softwares instalados: processador Pentium D de 3Ghz; memória RAM de 2GB; HD de 160GB; sistema operacional Microsoft Windows XP Professional Versão 2002 Service Pack 3; e, JAVA SE Runtime Environment (JRE) Version 6.

Todos esses computadores estão interligados através de uma rede ethernet 10/100Mbps. Essa rede é provida por dois switches Planet 24-Port 10/100 + 2 Gigabit-Port Ethernet Switch interligados entre si.

Os slides foram criados e editados no Microsoft Office XP e salvos no formato ppt.

Critério Funcionalidade Efi ci ên ci a Est ab il ida de U sa bi li d ade Sat isf açã o

Importação de objetos de aprendizagem (OAs) com extensão ppt 2 2 1 2 Importação de OAs com outras extensões 2 2 2 2

Preenchimento de metadados 2 2 1 1

Abertura de OAs do tipo apresentação 2 2 2 2 Abertura de OAs de demais tipos 2 2 2 2 Navegação do OA do tipo apresentação 1 2 1 1

Criação de contexto 2 2 1 2

Conexão com a rede 2 2 2 2

Compartilhamento de OAs 2 2 2 2

Busca por OAs compartilhados 2 1 1 1

Cópia (download) de OAs compartilhados 2 2 1 2 Criação de sessão (por apresentador) 1 2 1 1 Participação de sessão (por espectador) 1 2 1 1 Sair de sessão (por espectador) 2 2 2 2 Encerrar sessão (por apresentador) 2 2 2 2

Tabela 6 – Notas obtidas na avaliação feita pelo testador

Tomando-se por base os critérios de avaliação utilizados, foram obtidos os seguintes resultados:

 Durante o teste nenhuma das funcionalidades foi considerada inadequada em nenhum dos quesitos.

 Quanto ao quesito eficiência 81% das funcionalidades foram consideradas adequadas e 19% regulares. No quesito estabilidade 94% das funcionalidades foram consideradas adequadas e apenas 6% regulares.

 O aspecto usabilidade foi o que possuiu pior pontuação, com 56% das funcionalidades consideradas regulares e 44% consideradas adequadas.

 Por fim, quanto à satisfação do usuário obteve 69% da avaliação como adequada e 31% como regular.

O testador, ao final da avaliação, relatou uma série de pontos a serem melhorados na aplicação para cada funcionalidade examinada.

Dentre os pontos destacam-se: a navegação entre os slides não é possível através de teclas direcionais bem como a barra de espaço; falta a opção de ir para um slide específico; o slide não ocupa todo o espaço da janela; no preenchimento dos metadados os campos são indicados em inglês; não é perceptível facilmente o contexto atual; também não é clara qual a sessão de apresentação que o usuário está participando; após o download de um arquivo compartilhado, não é informado ao usuário o término do processo; e, devido a possibilidade da existência de mais de um usuário com o mesmo nome na rede, ocorre alguns problemas com a sincronização e participação em uma sessão, por exemplo, dois usuários com o mesmo nome receberem mensagens de sincronização mesmo que participando de sessões diferentes.

A primeira versão do protótipo do software também foi testada em sala de aula (Figura 44). Para isso foi utilizado o laboratório de informática número dois da Faculdade de Juazeiro

do Norte – FJN. Este laboratório é dotado de 16 computadores desktops com a seguinte configuração: processador Pentium 4 de 3,06Ghz; memória RAM de 512MB; HD de 80GB; placa de rede sem fio TPLink Realtek 81/85; e, sistema operacional Microsoft Windows XP Professional.

A rede sem fio é provida por um roteador sem fio 108Mbps MWR/AP-108M MYMAX.

(a) (b)

Figura 44 - Aluna utilizando o sistema (a) e sincronização entre o slide exibido pelo professor e visualizado pelos alunos (b)

Foi utilizada uma aula do mini-curso sobre Threads em JAVA como aula de teste. O mini-curso contou com a participação de quatro alunos e um professor, sendo realizado durante a Semana de Tecnologia da Informação - SETI 2009.2 do curso de Sistemas de Informação da FJN.

Após o término da aula o questionário apresentado no Apêndice B.3 foi preenchido pelos alunos. As respostas foram compiladas em uma planilha eletrônica e analisadas. A seguir são apresentados os resultados obtidos nesta análise:

 Em resposta à pergunta 1, “Você gostou da aula utilizando este sistema?”, todos os alunos responderam que Sim, ou seja, 100%.

 Na pergunta 2, “Quanto à facilidade em utilizar o sistema, você considera:”, dois alunos responderam Boa (representando 50%), um aluno informou Excelente (representando 25%) e um aluno considerou Fraca (representando 25%).

 Na pergunta 3, “A qualidade da aula utilizando o sistema é:”, dois alunos responderam Excelente (representando 50%) e dois alunos consideraram Boa (representando 50%).

 Na pergunta “A qualidade da imagem dos slides é:”, três alunos responderam Excelente (representando 75%) e um aluno informou Boa (representando 25%).

 Em resposta à pergunta, “Você gostaria de ter mais aulas utilizando este sistema no seu curso?”, todos os alunos responderam que Sim, ou seja, 100%.

 Na pergunta aberta de número 6, “Do que você mais gostou?”, os alunos indicaram: a facilidade de uso, desempenho, funcionalidades e a sincronização de slides.

 Já na pergunta 7, “Do que você menos gostou?”, os mesmos indicaram: que a interface gráfica precisa de melhorias para deixá-la mais intuitiva; lembraram também do desempenho prejudicado pela configuração do computador e pela rede wireless utilizada.

O professor participante da aula de teste preencheu o questionário do Apêndice B.2. A Tabela 7 apresenta a lista com a reprodução das perguntas e o resultado das respostas do professor.

Perguntas Respostas

O ambiente em geral? Bom

A interface gráfica? Bom

As funcionalidades (recursos) do sistema? Bom

A facilidade de uso do sistema? Satisfatório

A etapa de preparação de aula? Excelente

A recepção da nova tecnologia por parte dos alunos, antes da aula? Excelente A recepção da nova tecnologia por parte dos alunos, depois da aula? Excelente A ajuda do sistema no processo de ensino e aprendizagem? Excelente

Você gostou da aula utilizando este sistema? Sim

Você utilizaria esse sistema em suas aulas? Sim

Tabela 7 – Resposta do questionário pelo professor

O professor em resposta as questões abertas 11, 12 e 13, informou que gostou muito da funcionalidade de compartilhamento de arquivos e sugere a melhoria da interface gráfica e características de navegação. Como os alunos, o professor também lembrou o problema gerado pela instabilidade da rede sem fio e pelo baixo desempenho das máquinas do laboratório utilizado, problema comum no uso de outras aplicações.

Apesar do pequeno número de amostras utilizadas, esta quantidade foi suficiente para detectar diversos pontos a serem melhorados na aplicação.

Dessa forma, analisando os resultados do primeiro teste realizado e comentado nessa seção, pode-se observar o bom funcionamento do ambiente tanto nos testes realizados por especialistas como também na aplicação em sala de aula. Também é visível a aprovação pelos usuários. Por outro lado é necessária uma melhoria na usabilidade do sistema.