Análise dos dados

A análise dos dados foi realizadas com base nos dados coletados por meio da ferramenta automatizada e do protocolo de coleta. Nesta fase foi realizada a análise individual dos dados obtidos por meio da aplicação desses dois instrumentos (ferramenta automatizada e protocolo de coleta) presentes na abordagem para avaliação de acessibilidade Web.

a) Análise dos dados obtidos com a execução da ferramenta automatizada A análise dos resultados apresentados na Tabela 4, demonstrou que os valores percentuais de violações aos itens de prioridade 1 são crescentes considerando a seguinte ordem das tarefas: T1 (14,2%), T3 (15,7%) e T2 (20,2%). Este resultado mostra que a tarefa T2 obteve o maior índice de violações aos itens de prioridade 1. Para os itens de prioridade 2, a seqüência de valores crescentes é a seguinte: T2 (3,9%),

T3 (9,1%) e T1 (9,8%). Para esta prioridade, o maior percentual de violações obtido se refere à tarefa T1. Não foram identificadas violações aos itens de prioridade 3.

Sendo os itens de prioridade 1 mais críticos que os itens de prioridade 2, sob o ponto de vista da avaliação de acessibilidade, a tarefa T2 seria considerada menos acessível que as demais tarefas. Esta afirmação, entretanto, não pôde ser confirmada somente com a análise isolada dos resultados apresentados na Tabela 4.

Foi observada, na análise dos dados apresentados na Tabela 6, a seguinte ordem crescente para os percentuais de violações totais por tarefa: T1 (10,5%), T2 (10,8%) e T3 (12,8%). Estes resultados apresentam uma pequena margem de diferença entre os percentuais totais obtidos para as três tarefas.

Os resultados apresentados na Tabela 5 têm maior grau de importância do que aqueles apresentados nas demais tabelas (Tabela 4 e Tabela 6), pois estes resultados estão relacionados aos percentuais de violações aos princípios de acessibilidade (Percepção, Operação e Entendimento). A análise dos dados apresentados nesta tabela demonstrou que os percentuais de violações ao princípio da Percepção são crescentes considerando a seguinte ordem: T2 (11,7%), T1 (13,2%) e T3 (27,2%). Para o princípio da Operação é valida a seguinte ordem crescente de percentuais: T2 e T3 (0%) e T1 (2,8%). Finalmente, para o princípio do Entendimento foi observada a seguinte ordem crescente de percentuais: T3 (0%), T1 (12,2%) e T2 (17,4%).

Desconsiderados os quantitativos de violações potenciais, a seguinte ordem crescente de violações reais foi obtida para o princípio da Percepção T3 (22), T1 (23) e T3 (59). Para o princípio da Operação a seguinte ordem crescente foi obtida: T2 e T3 (0) e T1 (2). Finalmente, para o princípio do Entendimento, a seguinte ordem foi obtida: T3 (0), T2 (4) e T1 (5). Estes últimos resultados revelam que a tarefa T1

apresenta os maiores quantitativos de violações reais para dois terços (2/3) dos princípios de acessibilidade.

b) Análise dos dados obtidos com a aplicação do protocolo de coleta • Análise dos dados demográficos

A partir da análise dos dados apresentados na Tabela 7 foi realizada uma distribuição percentual da população de usuários em características distintas. Os seguintes resultados percentuais foram obtidos: quanto ao nível de escolaridade, 60% dos usuários concluíram ou estão em fase de conclusão da graduação, 80% atuam no mercado de trabalho há mais de cinco (5) anos, 100% utilizam a Web para estudo ou trabalho e 70% utilizam a Web por mais de vinte e quatro horas semanalmente.

Entretanto, os dados demográficos de maior relevância para o escopo deste trabalho são relacionados ao nível de deficiência visual, experiência com a Web e percepção geral de acessibilidade Web. No contexto da deficiência visual, 30%, 20% e 40% dos usuários têm níveis médio, alto e total de deficiência visual, respectivamente. No que se refere à experiência com a Web, 80% trabalham com a Web há mais de 5 (cinco) anos. Em relação à percepção geral de acessibilidade Web, 90% dos usuários afirmaram que a Web possui baixa (40%) ou média (50%) acessibilidade.

• Análise dos dados da observação dos usuários

Os dados da observação dos usuários, no que se refere à finalização e ao tempo de execução das tarefas, são apresentados na Tabela 8. Analisando estes dados, pode-se afirmar que 100% dos usuários conseguiram concluir a execução das tarefas T2 e T3, sendo que apenas 10% destes concluíram a tarefa T1. Adicionalmente, foram explorados os tempos de execução registrados para cada usuário durante a execução das tarefas.

A norma ISO/IEC 9126-4 estabelece que os resultados para a métrica de tempo de execução das tarefas (task time) são melhores à medida que se aproximam de zero, mas a norma não adota um referencial, apenas informa sobre o melhor caso. Fazendo uma analogia, para este trabalho foi adotada para cada tarefa a média dos tempos de execução como sendo o referencial para comparação aos tempos de execução registrados para cada usuário. A média para a tarefa T2 foi de 10,8 minutos e, para a tarefa T3, de 8 minutos. Para estas duas tarefas, 80% dos usuários conseguiram tempos de execução abaixo ou iguais à média por tarefa. Estes resultados mostram que a grande maioria dos usuários teve extrema dificuldade para interagir com o conteúdo da tarefa T1, visto que apenas 10% dos usuários conseguiram finalizá-la. Por outro lado, a maioria dos usuários finalizou adequadamente as tarefas T2 e T3.

• Análise dos dados da percepção dos usuários

Os dados da percepção dos usuários apresentados na Tabela 9 apresentam a percepção dos usuários quanto aos princípios de acessibilidade Web e quanto à satisfação no contexto da qualidade em uso. As notas atribuídas pelos usuários para cada questão referente a cada princípio foram somadas originando o Total por questão. A Média por questão foi obtida por meio da divisão do Total por questão pelo número de usuários e a Média por princípio foi obtida por meio da divisão da soma das Médias por questão (para os princípios em que há mais de uma questão), ou pela Média por questão (para os casos em que há apenas uma questão por princípio), pelo número de questões por princípio. O número de questões presentes no protocolo de coleta para os princípios de Percepção, Operação, Entendimento, e para Satisfação, são, respectivamente, um (1), quatro (4) , um (1) e um (1).

A análise dos dados relacionados ao princípio de Percepção demonstrou que os usuários tiveram maior dificuldade para perceber os conteúdos Web da tarefa T1 e

tiveram maior facilidade, neste aspecto, para a tarefa T3. A ordem decrescente das médias para o princípio da Percepção dos conteúdos Web foi a seguinte: T3 (6,00), T2 (5,50) e T1 (2,90).

O protocolo de coleta possui 4 (quatro) questões relacionadas ao princípio de Operação (Q1O, Q2O, Q3O e Q4O). Para todas as questões, à exceção da questão Q2O (tempo para interação com o conteúdo da tarefa), as notas atribuídas pelos usuários tiveram valores acima da média (3,50) para todas as tarefas, embora tenham sido ligeiramente mais baixas para a tarefa T1. Entretanto, considerando as médias para este princípio, a tarefa T1 foi a que obteve a menor média, denotando que os usuários tiveram maior dificuldade para operar os conteúdos desta tarefa. A ordem decrescente das médias para o princípio de Operação dos conteúdos Web foi a seguinte: T3 (5,95), T2 (5,68) e T1 (4,48).

A análise dos dados relacionados ao princípio de Entendimento demonstrou que os usuários tiveram maior dificuldade para entender os conteúdos Web da tarefa T1 e tiveram maior facilidade, neste aspecto, para a tarefa T3. A ordem decrescente das médias para o princípio de Entendimento dos conteúdos Web foi a seguinte: T3 (6,00), T2 (5,60) e T1 (3,30).

Por fim, a análise dos dados relacionados à Satisfação demonstrou que a satisfação dos usuários, quanto à execução das tarefas T2 e T3, obteve médias muito superiores à tarefa T1. Em outras palavras, devido à quase totalidade dos usuários não terem conseguido concluir a tarefa T1, era esperado que as notas atribuídas para satisfação em relação à execução desta tarefa fossem muito baixas. A ordem decrescente das médias para a Satisfação quanto à execução das tarefas foi a seguinte: T3 (5,70), T2 (5,60) e T1 (1,00).