Coleta de Dados para as Métricas Subjetivas

Para responder às questões identificadas por meio da aplicação do GQM, foi necessário construir um instrumento para avaliação subjetiva de acessibilidade, visto que não foi encontrado na literatura um instrumento deste tipo, com foco na acessibilidade Web, que pudesse ser aplicado a usuários reais. O instrumento para a avaliação é um protocolo de coleta baseado em um questionário psicométrico que é recomendado pela ISO/IEC 9126-4 (INTERNATIONAL ORGANIZATION FOR STANDARDIZATION, 2001b) para a coleta de dados sobre a satisfação aplicada à qualidade em uso. Neste trabalho, o protocolo de coleta é composto de três partes: (1) dados demográficos, (2) dados da observação e (3) dados da percepção do usuário.

Os dados demográficos servem para descrever características específicas da população de usuários e permitem fazer agrupamentos destas características para a análise dos resultados. As características descritas são: (i) nível de deficiência visual, (ii) experiência no uso da Web, (iii) principais interesses e motivação para uso da Web, (iv) experiência no uso de tecnologias assistivas, (v) percepção geral de acessibilidade da Web, (vi) locais de costume para uso da Web e (vii) tempo semanal de uso da Web (em horas).

O nível de deficiência visual dos usuários é caracterizado por quatro valores possíveis: (i) baixo (usuários que conseguem ler conteúdos na tela do computador, desde que o sítio Web possua recursos para exibição de fontes ampliadas), (ii) médio (usuários que conseguem ler conteúdos na tela do computador com muita dificuldade, mesmo estando as fontes ampliadas), (iii) alta (usuários que somente conseguem enxergar vultos de pessoas e, por este motivo, não conseguem distinguir os conteúdos na tela do computador) e (iv) total (usuários que têm cegueira total). O nível de

deficiência visual dos usuários merece destaque, pois determina a diversidade dos usuários quanto às inabilidades visuais que estes possuem.

A experiência no uso da Web e a experiência no uso de tecnologias assistivas são características dos usuários representadas numericamente, em anos, no protocolo de coleta. Os principais interesses no uso da Web representam necessidades ou motivações dos usuários para utilizar a Web (estudo ou pesquisa, entretenimento, trabalho, compras etc.).

A percepção geral de acessibilidade Web representa a opinião dos usuários sobre o nível de acessibilidade da Web, de forma geral, considerando sua experiência acumulada e as barreiras de acessibilidade comumente encontradas por estes na Web. Os valores possíveis para a percepção geral de acessibilidade são os seguintes: (i) nenhuma, (ii) baixa, (iii) média, (iv) alta ou (v) total acessibilidade.

Os dados da observação devem ser obtidos por meio de um observador externo que observa e interage com os usuários durante as sessões de avaliação. O observador externo é responsável por conduzir as sessões de interação com os usuários e coletar, por meio do protocolo de coleta, os dados relacionados à finalização das tarefas e o tempo gasto pelos usuários para concluir cada tarefa. Estes dados são posteriormente cruzados com outros dados para identificar tendências relacionadas à finalização e ao tempo de execução das tarefas. Embora esta seção dê enfoque à coleta de dados para as métricas subjetivas, os dados da observação estão relacionados às únicas métricas objetivas cujos valores são coletados por meio do protocolo de coleta.

Um importante aspecto relacionado aos dados coletados durante a observação dos usuários é que boa parte das interações é ser registrada em vídeo. Os vídeos são importantes para o registro do comportamento dos usuários frente às situações que

envolvem barreiras de acessibilidade durante as sessões de avaliação de acessibilidade Web.

Como parte do conjunto de dados coletados por meio do protocolo de coleta, os dados da percepção do usuário têm grande relevância devido a sua coleta ser realizada por meio da prática real dos usuários nas sessões de interação com os sítios Web. Neste contexto, o protocolo de coleta apresenta questões subjetivas cujas respostas, para o registro da percepção do usuário, são coletadas utilizando uma escala de intervalo de valores que varia de 0 (para o pior caso) a 7 (para o melhor caso).

Em outras palavras, os dados da percepção refletem, para os usuários participantes das sessões de avaliação: (1) a percepção dos conteúdos Web, por meio da audição, com o apoio de um software leitor de telas, (2) a operação dos conteúdos Web, percebida pelos usuários, com o apoio do teclado ou dispositivo apontador (mouse), considerando aspectos relacionados à complexidade da navegação, tempo gasto na interação e facilidade de encontrar âncoras (links) para os conteúdos Web e (3) o entendimento dos conteúdos Web percebidos pelos usuários durante as sessões de interação, considerando o nível de compreensão obtido por estes acerca dos conteúdos.

Para a aplicação do protocolo de coleta, descrita no capítulo posterior, foi necessário realizar a validação deste instrumento para que houvesse a garantia de que todas as questões seriam corretamente compreendidas pelos usuários participantes. A validação foi realizada por meio de uma sessão de avaliação piloto com a presença de um usuário portador de deficiência visual total com menos de doze (12) meses de experiência no uso da Web. O objetivo principal da validação foi eliminar a ocorrência de falso entendimento das questões do protocolo de coleta. Para isto, todas as questões foram lidas em voz alta para o usuário validador.

No decorrer da validação do protocolo de coleta, o usuário foi convidado para a execução de todas as tarefas previstas para uma sessão real de avaliação. Depois de realizada a sessão de avaliação piloto, o protocolo de coleta foi alterado de forma que contivesse todas as sugestões dadas pelo usuário validador. O protocolo de coleta com as questões validadas é apresentado na Figura 8. É importante ressaltar que as questões do protocolo de coleta estão diretamente relacionadas à boa parte das métricas definidas na seção 3.3.1: percepção (métrica 1), operação (métricas 3, 4, 5 e 6), entendimento (métrica 8) e satisfação (métrica 11).