Este estudo teve como objetivo avaliar a eficiência e eficácia das novas interfaces de programação, também denominada Sistema de Avaliação da Produção Institucional (SAPI), visto que este sistema está em desenvolvimento e será utilizado pelos professores da UNIVALI para publicação de seus materiais, em substituição à versão anterior. Questões abertas sobre a satisfação da interface do validador 94 Tabela 14. Propostas de correções de interface baseadas na norma ISO 9241-10 99.
INTRODUÇÃO
- PROBLEMATIZAÇÃO
- Formulação do Problema
- Solução Proposta
- OBJETIVOS
- Objetivo Geral
- Objetivos Específicos
- METODOLOGIA
- ESTRUTURA DO TRABALHO
O objetivo geral deste TTC (Trabalho de Conclusão de Curso Técnico-Científico) é avaliar a usabilidade nas interfaces dos módulos de ensino e validação do sistema SAPI 2.0 por meio de avaliação heurística e testes de usabilidade para identificar aspectos positivos e aspectos que necessitam de melhorias. O Capítulo 4 apresenta o desenvolvimento dos testes de usabilidade e os resultados obtidos e sua avaliação.
FUNDAMENTAÇÃO TEÓRICA
ANÁLISE DE TRABALHOS SIMILARES
Os testes produziram resultados qualitativos que foram analisados e propostas soluções para os problemas de usabilidade encontrados. A seguir serão discutidas as interfaces do sistema SAPI, que passaram por avaliação heurística, e na próxima fase serão aplicados testes de usabilidade aos usuários.
O SAPI
- O SAPI Atual
- O SAPI 2.0 em Desenvolvimento
- Perfil do Docente no SAPI 2.0
- Perfil do Validador no SAPI 2.0
A seguir serão apresentadas as principais funcionalidades do sistema SAPI 2.0, que serão avaliadas nesta proposta de trabalho de conclusão de curso. Mais detalhes sobre as telas de interface do novo sistema podem ser vistos no Apêndice B deste artigo.
USABILIDADE
Eficácia – Definida como a capacidade de realizar atividades com precisão para atingir o seu propósito original; Eficiência – Definida como a capacidade de realizar atividades de forma que o tempo gasto e o número de erros cometidos durante a utilização sejam reduzidos e o nível de produtividade aumente gradativamente dependendo da sua utilização;
ENGENHARIA DE USABILIDADE
- Ciclo de Vida da Engenharia de Usabilidade
- Técnicas de Avaliação de Usabilidade
- Avaliação Analítica
- Avaliação heurística
- Avaliação por lista de verificação
Recursos que se enquadram na análise de questões de ergonomia previamente identificadas que poderiam causar problemas de usabilidade. Após a realização dos testes de usabilidade, um relatório deve ser gerado e fornecido aos projetistas do sistema.
PROJETO
AVALIAÇÃO HEURÍSTICA DO SAPI 2.0
- DESENVOLVIMENTO DA AVALIAÇÃO HEURÍSTICA
- RESULTADOS QUALITATIVOS
Com esses valores chegamos ao gráfico da Figura 13 para melhor compreender os dados coletados durante a avaliação heurística baseada nos sete princípios da norma ISO 9241-10. Na Tabela 2 é possível verificar os problemas encontrados e o princípio por eles afetados na interface do Validador do sistema SAPI 2.0. Na tela de validação da produção docente onde estão listados os professores, não há botão para abrir o material.
Agrupando os dados encontrados, chegamos ao número total de princípios de diálogo mais desrespeitados no módulo validador, separados por princípio que foi P3 (controlabilidade) com três problemas onde não há opção para qualquer ação realizada no sistema em praticamente cancelar ou desfazer. todos os casos realizaram as tarefas, P4 (Atendimento às expectativas do usuário) com três problemas onde em alguns momentos no sistema a mesma ação é realizada por botões com formatos diferentes (sem padrão), P6 (adaptação à individualização) com dois problemas onde não há opção adaptação das telas para cada usuário, como aumento do tamanho da fonte para melhor visualização das informações. Com esses resultados, chegamos ao gráfico da Figura 14 para melhor compreender os dados coletados durante a avaliação heurística, baseada nos sete princípios da norma ISO 9241-10.
PLANEJAMENTO DOS TESTES DE USABILIDADE
- Contexto de Uso
DESIGN DO EXPERIMENTO
Satisfação A satisfação foi medida através do questionário de satisfação do ANEXO C e do número de reclamações registradas durante os testes. Houve um grupo de usuários que utilizou o sistema na interface de ensino e outro na interface do validador onde os participantes responderam um questionário de avaliação de satisfação ao final de cada teste. Os dados coletados para responder às questões de pesquisa foram mensurados pela observação da interação do participante do teste por meio do preenchimento do checklist e do questionário de satisfação pós-teste pelo avaliador.
Informação: Uma semana antes do início dos testes, os participantes foram informados sobre o experimento e no dia do teste receberam os termos do acordo para assinar e o questionário de perfil do participante para preencher. Envolvimento: Informações sobre o interesse e envolvimento dos participantes foram obtidas por meio do questionário de perfil.
DESENVOLVIMENTO
REALIZAÇÃO DOS TESTES DE USABILIDADE
PERFIL DOS PARTICIPANTES
Através do questionário, percebe-se que o perfil dos participantes é bastante homogêneo, não interferindo nos resultados dos testes, pois, apesar das poucas diferenças, os participantes possuem os mesmos conhecimentos necessários para interagir com o sistema. Devido ao pequeno número de participantes, os valores são apresentados em número de participantes pois o percentual não seria muito significativo para esta aplicação. Podem ser destacados pontos importantes como experiência em TI, publicação de material na internet e o grau de importância dado aos testes de usabilidade onde pode-se afirmar que todos os participantes tinham o mesmo perfil necessário para o teste.
Para avaliar a interface do verificador, dois participantes colaboraram onde aspectos-chave poderiam ser levantados e classificados. Para os participantes dos testes de interface do Validador foi possível observar uma diferença na experiência de utilização do sistema de publicação de materiais, mas essa diferença não foi considerada um risco uma vez que ambos os participantes são validadores atuais no ambiente SAPI (Antigo) e esta funcionalidade teve maior peso considerando que estes serão os usuários do sistema quando ele estiver em uso.
DIAGNÓSTICOS DOS PROBLEMAS DE USABILIDADE NAS
- Interface Docente SAPI 2.0
- Interface Validador SAPI 2.0
A Figura 16 apresenta a tela de configuração inicial do módulo de aprendizagem, onde foi detectado um erro de software na última etapa de configuração. A Figura 17 mostra a tela de configuração inicial do módulo de aprendizagem, onde ao clicar no botão “Concluir” rotulado como 1, o sistema automaticamente exibe uma janela confirmando a conclusão e dá apenas a opção “OK” conforme rotulado 2. A Figura 23 mostra Quando o Foi apresentada a tela de confirmação de produção mostrada no módulo de ensino, constatou-se que devido ao campo marcado com 1 não impedir a inserção do conteúdo e o botão para localizar o arquivo não estar muito visível, ocorreram erros nesta tarefa, quando quais usuários inseriram o nome do arquivo e quando clicaram no botão "Verificar", ocorreu um erro.
A Figura 24 mostra a tela de inclusão da produção não Lattes do módulo de aprendizagem onde os tokens ainda aparecem nos últimos níveis do menu conforme marcador 1. A Figura 25 mostra a tela de inclusão da produção não Lattes, que também gerou reclamações por não mostrar previamente quais campos eram obrigatórios. Somente quando o botão “Salvar” é clicado o erro é mostrado e um campo é mostrado para cada curva.
RESULTADOS QUANTITATIVOS
A Tabela 5 apresenta as medidas de tempo de execução das cinco tarefas que foram realizadas no teste de usabilidade e apresenta os valores médios das medidas que foram coletadas e o desvio padrão. Analisando os valores obtidos, pode-se concluir que durante os testes de usabilidade da interface do Professor, o sistema atendeu as expectativas do usuário em 67%, levando assim à conclusão que a interface do Professor possui um alto índice de aprovação, porém necessita de alguns ajustes. . Tal como a interface do professor, a interface do validador conseguiu satisfazer as expectativas dos utilizadores em 87%, originando assim um menor número de reclamações, mas com alguns ajustes necessários.
A Tabela 11 apresenta os dados coletados com o questionário descritivo após os testes de usabilidade com a interface do professor, juntamente com a quantidade de vezes que ele foi sugerido pelos participantes. A Tabela 13 apresenta os dados coletados com o questionário descritivo após testes de usabilidade com a interface do validador, juntamente com o número de vezes que ele foi sugerido pelos participantes.
RESULTADOS QUALITATIVOS
Certamente poderia melhorar a orientação do usuário sobre o que ele ou ela está fazendo em uma parte estratégica da tela." Os ícones também podem estar presentes na parte superior da tela para facilitar a visualização dos recursos."
ANÁLISE
Para a interface do professor, temos a tarefa 4 com maior desvio padrão, conforme mostra a Tabela 3, onde o participante 2 demorou mais tempo para concluir a tarefa. Isso se deve ao fato de que apesar do participante não ter cometido nenhum erro nesta tarefa conforme Tabela 7, pois havia perdido muito tempo tentando entender o significado do status no sistema de acordo com a tarefa. Um grande número de erros também pode ser observado para a tarefa 3, o que causou uma diferença significativa entre o tempo esperado como ideal e o tempo médio alcançado durante os testes, o que comprova que há problemas na interface SAPI 2.0, problemas que não o são. dificultam o desempenho da tarefa, mas afetam diretamente a sua eficácia e, portanto, a sua eficiência. Para a interface professor podemos ainda referir o índice de satisfação global alcançado, que, conforme Tabela 10, ascendeu a uma aprovação de 67%, facto devido ao número de erros cometidos, o que causou alguma frustração nos professores. os professores, participantes.
Para a interface do validador, temos a tarefa 2 com maior desvio padrão, conforme Tabela 5, fato verificado durante os testes devido à falta de indicação, ou porque o sistema é mais intuitivo na execução da tarefa, onde o participante perdeu passou muito tempo sem saber o que fazer e por isso cometeu erros quase idênticos em relação ao outro participante. Para a interface do validador, podemos ainda referir a pontuação global de satisfação obtida, que, conforme Tabela 12, ascendeu a uma aprovação de 87%, facto devido ao número de erros cometidos, o que causou alguma frustração por parte do validador. . entretanto, os usuários participantes, em comparação com a interface do professor, conseguiram obter uma boa pontuação, fato devido ao menor número de avaliações obtidas.
SUGESTÕES DE MELHORIAS
Estas são as sugestões levantadas para corrigir os problemas de usabilidade encontrados nos módulos professor e validador do SAPI 2.0 e devem ser de grande utilidade para os desenvolvedores de sistemas.
CONCLUSÃO
TRABALHOS FUTUROS
O objetivo deste questionário é obter informações de perfil do participante do teste de usabilidade a ser realizado no sistema SAPI 2.0. O objetivo deste questionário é obter informações sobre a opinião do participante sobre o teste de usabilidade realizado no sistema SAPI 2.0. O objetivo deste teste de usabilidade não é avaliar o seu conhecimento, mas sim medir a eficiência, eficácia e satisfação do sistema SAPI 2.0.
Tarefa 4 – SAPI 2.0 trabalha com notas para atribuir pesos às atividades enviadas pelos professores, acessar a tela de pontuação e alterar o peso da nota informado no formulário anexo. FORMULÁRIO DE COLETA DE DADOS – LINK DO PROFESSOR O objetivo deste documento é coletar informações no momento do teste de usabilidade com os participantes selecionados, onde as informações nele contidas surgirão da observação do participante durante a interação com o sistema SAPI 2.0.
FORMULÁRIO PARA EXECUÇÃO DAS
Serão apresentadas detalhadamente as atividades que podem ser realizadas dentro do sistema SAPI 2.0, que serão analisadas neste trabalho. O sistema SAPI 2.0 possui interface diferente para ambos os perfis acessados, mas o padrão permanece; a seguir serão apresentadas as principais interfaces necessárias para o professor realizar a tarefa. Após selecionar os cursos ministrados pelo professor na instituição, ele deve proceder através do botão mostrado no canto inferior direito da Figura 3, após esta confirmação o sistema orienta o usuário para a próxima e última etapa da configuração inicial, que é a inserção são dentre as áreas de atuação do professor que são denominadas “Áreas Qualis” dentro do sistema SAPI 2.0, o usuário deverá selecionar no mínimo uma e no máximo duas “Áreas Qualis” com sua interface mostrada na Figura 4.
Toda produção criada no SAPI 2.0 deverá ser validada para poder contar como resultado no currículo do professor. Essa validação é feita por prova, que dentro do SAPI 2.0 pode ser feita de quatro formas conforme mostra a Figura 8, prova em papel, prova por anexo, prova por DOI, prova por URL. Concluímos aqui as principais atividades realizadas por um professor ao interagir com o sistema SAPI 2.0, desde sua configuração inicial até a inclusão de seus materiais e comprovação de sua autenticidade.
