Resposta às questões definidas por meio do GQM

Nesta seção são retomadas as questões definidas anteriormente para avaliação de acessibilidade Web por meio da aplicação da abordagem GQM. As questões são respondidas com base nos resultados apresentados nas seções anteriores e nos relacionamentos obtidos. As questões definidas e as respectivas respostas são apresentadas a seguir:

Q1) Qual o grau de percepção do conteúdo dos sítios Web avaliados?

Em linhas gerais, os usuários obtiveram alto grau de percepção do conteúdo das tarefas T2 e T3, visto que a média resultante ficou próxima da escala máxima (sete). Para a tarefa T1, o grau de percepção dos usuários foi sensivelmente mais baixo, indicando que o conteúdo desta tarefa não foi percebido satisfatoriamente pelos usuários. Isto pode ser explicado pelo emprego de imagens distorcidas, sem o equivalente textual ou audível, na página específica que compõe a tarefa T1. Especificamente para esta tarefa, as imagens distorcidas foram utilizadas como um mecanismo de segurança que é comumente utilizado em sítios Web para evitar a captura indevida de informações. De todas as tarefas, apenas a tarefa T1 fez uso deste recurso sem alternativa audível, impossibilitando o acesso a alguns usuários.

Em relação aos dados obtidos pela ferramenta automatizada, as tarefas T1 e T3 obtiveram os menores quantitativos de violações para o princípio da percepção. Devido à baixa percepção dos conteúdos por parte dos usuários era esperado que o quantitativo de violações para a tarefa T1 fosse o mais alto entre as três tarefas. Isto é explicado pelo fato de que as ferramentas de avaliação ainda não estão preparadas para identificar corretamente o uso de imagens distorcidas sem o equivalente textual ou audível e, neste caso, aplicar regras mais severas quanto à pontuação para estas barreiras de acessibilidade ou prover indicativos de maior gravidade. Embora a tarefa T1 tenha apresentado apenas uma imagem distorcida, é evidente o impacto para os usuários quando o conteúdo Web não contempla um equivalente textual ou audível para estes casos.

Q2) Qual o grau de operação do conteúdo dos sítios Web avaliados?

A operação dos conteúdos, de forma geral, pode ser considerada satisfatória para todas as tarefas, à exceção da tarefa T1 que obteve um grau de operação, quanto ao tempo de execução, muito abaixo do registrado para as demais tarefas. Nas sessões de avaliação foi observado que os usuários perderam muito tempo na tentativa de transpor a página que continha as imagens distorcidas mencionadas anteriormente.

Foi observado que quanto maiores os níveis de operação dos conteúdos das tarefas, menores foram os quantitativos de violações encontrados para este princípio. Este fato indica que há uma relação inversa entre o grau de operação dos conteúdos e os quantitativos de violações, o que era esperado.

Q3) Qual o grau de entendimento do conteúdo dos sítios Web avaliados?

Os resultados obtidos para o grau de entendimento dos conteúdos das tarefas indicam que as imagens distorcidas também afetaram o entendimento dos conteúdos, visto que a tarefa T1 obteve valores muito abaixo quando comparados aos valores obtidos para as demais tarefas.

Também foi observado que quanto maiores os níveis de entendimento dos conteúdos das tarefas, menores foram os quantitativos de violações encontrados para este princípio. Este fato indica que também há uma relação inversa entre o grau de entendimento dos conteúdos e os quantitativos de violações para este princípio.

Q4) Qual a produtividade dos usuários durante a interação com a Web?

Os tempos de execução registrados para as tarefas T2 e T3 foram bastante satisfatórios, pois 80% dos usuários, em ambos os casos, conseguiram concluir estas tarefas com tempos inferiores ou iguais às médias dos tempos de execução por tarefa.

Por outro lado, apenas 10% dos usuários conseguiram concluir a tarefa T1 (um único usuário com deficiência visual média). Este fato corrobora com o resultado obtido para o grau de operação com relação ao tempo de execução, visto que os valores desta métrica, coletados para a tarefa T1, foram significativamente inferiores quando comparados aos valores das demais tarefas.

Também foi observado que os percentuais de usuários que finalizaram as tarefas em tempos inferiores ou iguais às médias por tarefa possuem uma relação direta com os graus de percepção, operação e entendimento dos conteúdos, pois os valores atribuídos a estes princípios crescem à medida que estes percentuais aumentam. Esta mesma relação também foi observada para a satisfação. Portanto, pode-se afirmar que a produtividade dos usuários está diretamente relacionada à percepção, operação e entendimento dos conteúdos e que a satisfação está diretamente relacionada à produtividade.

Q5) Qual o grau de satisfação dos usuários quanto à execução das tarefas?

Durante as sessões de avaliação, os usuários foram orientados a considerar o item de satisfação como sendo um resumo das suas experiências considerando a qualidade da interação durante a execução das tarefas. Os resultados obtidos mostram que a satisfação dos usuários também foi afetada pelos quantitativos de violações aos princípios, ou seja, quanto maiores os quantitativos de violações, menores são os níveis (graus) de satisfação dos usuários. Entretanto, este fato foi observado apenas para os quantitativos relacionados aos princípios da operação e entendimento. Para o princípio da percepção esta relação foi confirmada apenas para as tarefas T1 e T3.

Por outro lado, o grau de satisfação dos usuários possui uma relação direta com a métrica de tempo de execução das tarefas. Foi observado que o grau de satisfação é

maior à medida que o percentual de finalização cresce. A mesma relação foi observada para o percentual de usuários que finalizaram a tarefa em um tempo inferior ou igual à média obtida para cada tarefa. Isto indica que a satisfação dos usuários está diretamente relacionada à conclusão das tarefas e ao tempo gasto pelos usuários para esta atividade.