PAI. Estudo de Caso
6. Relatório Final do Estudo da usabilidade de um sítio Web:
Resumo e análise dos resultados globais, incluindo um conjunto de orientações, para o gestor do sítio Web, com vista a melhorar visivelmente a usabilidade do sítio Web.
Os procedimentos gerais utilizados neste estudo de caso PAI apresentados no capítulo ante-rior, ‘A investigação PAI’ , são apresentados em seguida para o estudo de caso.
5.4.1. Avaliação Preliminar da Secretaria Virtual
5.4.1.1. Avaliação da Acessibilidade do sítio Web https://online.iscap.ipp.pt/iscap
A avaliação de acessibilidade da secretaria virtual foi feita por um especialista. Recorreu--se a duas ferramentas automáticas complementares (ver capítulo 3, secção 3.5.2, p. 76) com o objectivo de serem detectados problemas de acessibilidade no nível mínimo71,A, exigido aos sítios Web do sector governamental.
5.4.1.2. Relatório Preliminar: Lista de problemas e propostas de soluções
O relatório de acessibilidade apresenta, entre outras, as seguintes recomendações mais re-levantes:
• Melhorar a pesquisa de informação, uma fragilidade encontrada neste estudo de acessi-bilidade.
• Disponibilizar ajuda para que os utilizadores possam navegar, localizar conteúdos e de-terminar o local em que se encontram.
71. Mais informação disponível em http://www.acessibilidade.gov.pt/legis/rcm_155_07.htm
• Proporcionar a visualização de conteúdos em diferentes formatos, sem perda de informação ou estrutura.
• Fornecer alternativas em modo de texto para qualquer conteúdo não textual para que o mesmo possa ser adaptado a outras formas mais adequadas à necessidade do utilizador.
• Possibilitar a compatibilidade com agentes de utilizador, incluindo tecnologias de apoio;
• Facilitar a acessibilidade a partir do teclado.
• Permitir que as páginas Web surjam e funcionem de maneira previsível.
• Facilitar a visualização de conteúdos aos utilizadores, nomeadamente uma separação clara do primeiro plano do plano de fundo.
5.4.2. Entrevistas Informais
As entrevistas efectuadas a alunos, docentes, funcionários e órgãos de gestão tiveram como objectivo detectar quais as tarefas executadas mais frequentemente, as tarefas críticas e infor-mação acerca da utilização do sítio Web.
5.4.2.1. Análise das Respostas
Foi seleccionado um conjunto de dez tarefas, onde três são comuns a todos os perfis, na pers-pectiva de poder-se concluir acerca dos tempos médios de execução das mesmas independente-mente do perfil, e sete tarefas específicas de cada perfil.
Foi também possível concluir sobre a facilidade ou não no acesso à informação e a impressão geral sobre a interface do sítio Web. Esta conclusão originou três questões de resposta aberta a serem respondidas no final do teste de usabilidade.
5.4.3. O Teste de Usabilidade
5.4.3.1. Selecção de Participantes: 60 no total
Analisados os utilizadores do sítio Web verificou-se que essencialmente há três grandes grupos (ou perfis) de utilizadores: Professores, funcionários, alunos, visitante, roaming e en-tidade externa.
Foi seleccionado um grupo representativo de cada um dos três tipos de utilizador mais fre-quentes — Estudante, Funcionário e Professor — para participarem no estudo, num total de sessenta, vinte por perfil.
5.4.3.2. Execução de Dez Tarefas
No PAI os utilizadores foram observados a interagir com o sítio Web da secretaria com base em tarefas previamente seleccionadas e de acordo com o respectivo perfil.
Com o intuito de obter uma estimativa da duração de cada teste de usabilidade a autora executou, na qualidade de especialista, cada um dos grupos de tarefas. Os resultados obtidos serviram posteriormente como pontos de referência.
O teste de usabilidade foi conduzido individualmente, numa sala privada equipada com um computador, e durou em média trinta minutos por utilizador.
Foi pedido a cada participante que completasse um conjunto de dez tarefas pré-definidas, as mais frequentemente executadas por cada tipo de utilizador.
projecto de avaliação de interfaces — pai | 107
A autora cronometrou o tempo de execução das tarefas, os erros cometidos e a conclusão ou não da tarefa.
A lista com as dez tarefas distribuídas a cada participante (por perfil) pode ser consultada no apêndice 3, ‘Teste de Usabilidade’, pp. 184–186.
5.4.3.3. Registo de Comentários dos Participantes
Durante a realização do teste utilizou-se o protocolo ‘falar em voz alta’, ou seja, foi pedido a cada participante que fosse dizendo as dificuldades que sentia na execução de cada tarefa. A autora registou os ‘pensamentos’ de cada utilizador que foram posteriormente relacionados com a duração da execução das tarefas e com os comentários dos outros participantes.
5.4.3.4. Análise das Respostas às Questões Abertas
Após a realização do teste de usabilidade foi pedido a cada participante que respondesse a um conjunto de três questões abertas sobre aspectos relacionados com a execução das tarefas, acesso à informação e interacção com a interface, visando obter dados qualitativos (ver apêndi-ce 3, ‘Teste de usabilidade’, p. 187).
5.4.4. O Questionário Pós-teste (SUS)
Para se poder comparar o estudo de caso do PAI com os valores estatísticos de Sauro (2009), obtidos quando analisou centenas de sítios Web com o SUS, constituindo uma referência mais
‘universal’, no final do teste foi pedido a cada participante — professores, alunos e funcionários
— que respondesse ao mesmo questionário SUS.
5.4.4.1. Preenchimento do Questionário
Como já foi dito no capítulo 4, secção 4.4.4.1, p.91, o interesse em preencher o questionário SUS, imediatamente após a realização do teste de usabilidade, deve-se ao facto de os partici-pantes terem presente na memória as ocorrências mais importantes, assim como terem ainda fresca a sua impressão na interacção com o sítio Web.
5.4.4.2. Cálculo e Análise das Pontuações
O questionário SUS mede o grau de satisfação dos utilizadores ao utilizarem o sítio Web. A análise das pontuações obtidas permitiu concluir acerca desta métrica, onde os valores foram superiores a 68 e são considerados estar acima da média de todos os sítios Web analisados por Sauro (2009).
5.4.4.3. Análise das Respostas às Duas Questões Abertas
Além de questões quantificáveis este questionário contém duas questões de resposta aberta com a intenção de obter os aspectos mais positivos e mais negativos no sítio Web.
O questionário utilizado pode ser consultado no anexo 5, p. 223.
5.4.4.4. Resultados do Questionário
Relatório com a lista das pontuações obtidas por participante e valores (média das pontua-ções, desvio padrão a coeficiente de variação) que ajudam a explicar estatisticamente os resul-tados obtidos.
Este relatório também contém um resumo das respostas às questões de resposta aberta.
5.4.5. A Avaliação Heurística
A avaliação heurística foi realizada por cinco grupos de avaliadores, que verificaram a con-formidade de um conjunto de itens (lista da UserFocus) com os elementos constituintes de cada ecrã seleccionado.
5.4.5.1. A Selecção de Quinze Ecrãs
Optámos por seleccionar Quinze ecrãs devido à impossibilidade de logística e tempo sufi-cientes para alargar o seu número. Como discutiremos adiante, um dos principais problemas dos modernos sítios Web, onde os ecrãs são gerados dinamicamente, é o enorme número de combinações diferentes.
Neste caso concreto, o sítio Web da secretaria, a sua análise exaustiva implicaria verificar a conformidade de cada ecrã possível de ser gerado com nove heurísticas, cada uma constituída por um conjunto itens (entre 13 a 44) perfazendo um total de 247 itens.
Houve assim que decidir que ecrãs deviam ser objecto de avaliação de usabilidade. Com efei-to, sendo os ecrãs gerados dinamicamente, vários dos ecrãs repetem-se com pequenas variações (por exemplo, as barras laterais esquerdas e superior mantêm-se na maioria das vezes) entre si.
Analisou-se quais ecrãs são quase iguais e quais são bastante diferentes e dentro dos essen-cialmente diferentes estudou-se os que continham as funcionalidades mais utilizadas no sítio Web da secretaria. A lista dos ecrãs estudados foi a seguinte:
Tabela 5.1. Ecrãs estudados Ecrãs estudados
1. Página inicial 2. Notas 3. Mensagens 4. Propinas 5. Transferências 6. Plano de curso 7. Sistema 8. Certidões ou
Para o estudo de cada ecrã utilizou-se a folha de cálculo, semi-automatizada, disponibilizada72 no sítio Web da empresa UserFocus (2011), que automatiza o cálculo da pontuação final para cada uma das directrizes após a resposta a 247 questões para cada ecrã. A pontuação obtida por cada um dos ecrãs estudados (por heurística) pode ser consultada na tabela 6.17, Avaliação heurística da usabilidade dos ecrãs (parte 1/3, parte 2/3 e parte 3/3), pp. 130–132, incluídas no capítulo 5.
72. Esta folha é disponibilizada em várias línguas, no entanto optámos pela versão em castelhano pela similaridade com o português (ver apêndices 6 a 14, pp. 193–204).