Análise dos Resultados

A partir dos valores obtidos através dos cálculos realizados é possível verificar que todos os participantes avaliaram o SIGAA/IFPA versão Mobile no Tablet Educacional com a usabilidade geral acima da média do SUS com 84,2 pontos. Na escala de Bangor, Kortum e Miller (2009), o sistema enquadrou-se na categoria B, o segundo melhor nível de usabilidade com “Excelente” nessa escala. Na escala de Sauro e Lewis (2012), o sistema obteve classificação A+. A Tabela 3 mostra a classificação do sistema nessas duas escalas.

Tabela 3 - Resultados obtidos após a aplicação do teste SUS

SIGAA/IFPA Mobile Bangor, Kortum e Miller Sauro e Lewis

SUS Média Final Faixa Nota Faixa Nota

Detalhando os resultados por grupos de participantes utilizando a escala de Bangor, Kortum e Miller (2009), na Tabela 4 é possível verificar que para quatro dos treze participantes (P2, P9, P10 e P11) o sistema enquadrou-se na categoria C, que corresponde a “Bom”, terceiro melhor nível de usabilidade nessa escala. Para quatro participantes P1, P6, P8 e P12 o sistema se enquadra na Categoria B com usabilidade referente ao segundo melhor nível considerado “Excelente”. Os demais (P3, P4, P5 e P7), contabilizando quatro, definem a usabilidade do sistema como o “Melhor Imaginável” com categoria A.

Tabela 4 - Resultados obtidos após a aplicação do teste SUS

Participante Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Pontuação Final (SUS Score) P1 5 1 3 1 3 1 5 1 4 1 87,5 P2 3 3 5 1 2 2 5 2 4 1 75 P3 5 1 5 1 3 1 5 1 5 1 95 P4 5 1 5 1 5 1 5 1 5 1 100 P5 5 1 5 1 5 1 5 1 5 1 100 P6 5 2 5 2 1 2 5 1 5 2 80 P7 4 1 5 1 3 2 5 1 5 1 90 P8 5 2 5 1 4 2 5 2 5 2 87,5 P9 4 2 4 2 4 2 4 2 4 2 75 P10 5 2 4 2 4 3 4 2 4 2 75 P11 5 3 3 1 3 2 4 1 3 1 75 P12 5 2 5 2 4 2 4 2 4 1 82,5 P13 5 4 4 1 3 3 4 2 4 1 72,5 Pontuação Geral 84,2

Com esta pontuação (84,2) pode-se concluir que de forma geral os participantes desta experimentação ficaram satisfeitos com as funcionalidades oferecidas pelo SIGAA/IFPA versão Mobile no Tablet Educacional. Dessa forma, este sistema pode ser considerado uma ferramenta útil para as atividades acadêmicas e administrativas como lançamento de frequências, cadastramento de notícias de uma disciplina e acompanhamento das disciplinas ministradas.

Considerando cada questão do questionário SUS, de forma separada, foi encontrado o índice de todas as questões. A partir dos índices de cada questão é possível analisar as 10

questões contidas neste questionário juntamente com o percentual para cada ponto da escala. Sabendo-se que as melhores avaliações se encontram nas extremidades da escala. Para as afirmativas ímpares a melhor avaliação é quando o valor máximo, 5 (cinco), da extremidade é escolhida. Para as afirmativas pares a melhor avaliação é quando o valor máximo, 1 (um), da extremidade é escolhida. As questões apresentaram os seguintes valores (Tabela 5)

Tabela 5 - Índices encontrados para cada questão do SUS

Questões SUS Índices

Questão 1 92,3 Questão 2 76,9 Questão 3 86,5 Questão 4 92,3 Questão 5 59,6 Questão 6 78,8 Questão 7 90,4 Questão 8 88,5 Questão 9 84,6 Questão 10 92,3

1) Frequência de uso: o índice de 92,3 indica que os participantes gostariam de usar esse sistema com frequência. A Figura 15 mostra que 76,9% dos participantes escolheram a máxima pontuação concordando completamente e 15,4% apenas concordam com questão e 7,7% se mantiveram neutros;

Figura 15 - Pontuações para a frequência de uso

2) Complexidade encontrada no sistema: o índice é de 76,9 de discordância, o que indica que o sistema apresenta pouca complexidade favorecendo uma boa navegação. Na Figura 16 percebe-se que as maiores escolhas estiveram na extremidade contabilizando 77%, 15,4% foram neutros e 7,7% identificaram complexidades no sistema;

Figura 16 - Pontuações para a complexidade encontrada no sistema

3) Facilidade ao usar o sistema: o índice para esta questão foi de 86,5 mostrando a facilidade de utilização do sistema em que o usuário tem a possibilidade de aprender com a aplicação sendo representada pela apreensibilidade na ISO 9126. Nota-se ainda que na Figura 17 que 61,5% (valor máximo) e 23,1% (segundo melhor valor) aprovam o sistema com relação à apreensibilidade;

Figura 17 - Pontuações para a facilidade de usar o sistema

4) Auxílio técnico para usar o sistema: o índice calculado foi de 92,3 de discordância. Este índice é comprovado pelas porcentagens encontradas na extremidade com melhor valor (69,2 % e 30,8%) indicando que os usuários não necessitaram de auxílio técnico para usar o sistema (Figura 18);

Figura 18 - Pontuações para auxílio técnico ao usar o sistema

5) Funções integradas: para esta questão o índice foi de 59,6. Esta pontuação em particular encontra-se abaixo da média do SUS necessitando novas funções como inclusão de notas;

6) Inconsistência: o índice para esta questão foi de 78,8. Este índice sugere que os comandos e as ações apresentam o mesmo efeito em grande parte do sistema, facilitando o reconhecimento por parte do usuário, ou seja, os aspectos de interface são mantidos em contextos semelhantes (BASTIEN E SCAPIN, 1993). A Figura 19 mostra as porcentagens na extremidade com melhores valores;

Figura 19 - Pontuações referentes à inconsistência

7) Aprendizagem rápida: o índice encontrado foi de 90,4. Nota-se que quase a totalidade dos participantes não apresentou dificuldade de assimilar o sistema rapidamente. Podemos visualizar esta aprendizagem na Figura 20, sendo que 38,5% dos participantes concordam e 61,5% concordam plenamente. Para Barbosa e Silva (2010) se refere ao tempo e esforço necessário para que o usuário possa aprender a usar o sistema e obter os resultados rapidamente;

Figura 20 - Pontuações referentes à aprendizagem rápida

8) Complexidade ao usar o sistema: Percebe-se que com o índice de 88,5 os participantes tiveram uma pequena dificuldade ao usar o sistema, sendo comprovada pela Figura 21 em que as melhores pontuações estão nos pontos 1 e 2 da escala;

Figura 21 - Pontuações referentes à complexidade ao usar o sistema

9) Confiança ao usar o sistema: Com um índice de 84,6 os usuários avaliam de forma positiva e expressam as emoções e sentimentos do usuário com relação ao uso do sistema definindo-o como agradável (BARBOSA E SILVA, 2010);

10) Aprendizagem anterior: O índice de 92,3 indica que os participantes não necessitaram interromper a utilização do sistema para aprender algo e depois prosseguir com a interação. A Figura 22 mostra que todos os participantes escolheram as escalas com os maiores valores;

Figura 22 - Pontuações sobre aprendizagem anterior

Para verificar os objetivos citados acima também se adotou a relação proposta por Tenório et al. (2011), que reconhece as heurísticas de usabilidade indicadas por Jakob Nielsen nas questões propostas pelo questionário SUS citadas na tabela baixo:

Tabela 6 - Relação de usabilidade de Nielsen nas questões do SUS

Nielsen Questões SUS Índice Calculado

Facilidade de aprendizagem 3, 4, 7 e 10 90,3

Eficiência 5, 6 e 8 75,6

Facilidade de memorização 2 76,9

Minimização de erros 6 78,8

Satisfação 1, 4 e 9 89,7

 Facilidade de aprendizagem: representada pelas questões 3, 4, 7 e 10 do SUS. A média para essas questões é de 90,3. Este resultado mostra que os usuários apresentam grande facilidade de aprender a utilizar o sistema.

 Eficiência: representada pelas questões 5, 6 e 8. Para essas questões a média de 75,6 destaca que os usuários consideram o sistema eficiente.

 Facilidade de memorização: representada pela questão 2 o índice de 76,9 está acima da média do SUS o que demonstra aprovação deste item pelos usuários.

 Minimização dos erros: sendo representada pela questão 6 as inconsistências obtiveram índice de 78,8.

 Satisfação: representadas pelas questões 1, 4 e 9 a satisfação dos usuários obteve índice médio de 89,7 para essas questões.