Processo de Validação do Checklist

Logo após o processo de criação das questões foi desenvolvido um processo de validação para estas questões. Este processo, como já dito, consiste na adição de dois campos extras: o campo Não aplicar e Refazer Texto para cada questão, ver seção 3.2. Estes campos têm a função de detectar a opinião dos respondentes sobre a importância da questão no sentindo de identificar os problemas de usabilidade de um aplicativo para a TV Digital.

Para este processo de validação um passo indispensável é a seleção das pessoas que irão responder o checklist. Sendo assim, ficou definido que as pessoas deveriam ser da área de usabilidade ou da área de TV Digital como desenvolvedor, analista ou projetista de software para a TV Digital.

Diante do requisito imposto para se selecionar as pessoas para validação do checklist encontrou-se dificuldade em encontrar pessoas que os possuíssem. Tendo, portanto um número reduzido de pessoas para a validação deste checklist. Ao total foram 12 pessoas participaram do processo de validação. Sendo:

• 7 Desenvolvedores de aplicativos para TV Digital

• 5 Possuem experiência na área de usabilidade

Sendo assim o checklist foi submetido ao processo de validação. A Tabela 2 mostra os resultados encontrados de cada questão mostrando os índices que as mesmas atingiram.

Tabela 2: Resultados obtidos através do processo de validação do checklist

Critério Ergonômico Questão

Não Aplicar Refazer Texto

Legibilidade Questão 1 9% 18% Questão 2 18% 18% Questão 3 0% 18% Questão 4 9% 18% Questão 5 9% 36% Questão 6 27% 9% Questão 7 0% 27% Ações Mínimas Questão 1 0% 36% Questão 2 0% 0% Questão 3 0% 18% Consistência Questão 1 0% 18% Questão 2 0% 0% Questão 3 0% 27% Questão 4 0% 27% Questão 5 0% 18% Questão 6 0% 18% Gestão de Erros Questão 1 9% 27% Questão 2 9% 0% Questão 3 0% 9% Navegação Questão 1 0% 9% Questão 2 0% 9% Presteza Questão 1 9% 27% Questão 2 0% 0% Questão 3 9% 18% Questão 4 0% 45% Feedback Questão 1 0% 18% Questão 2 0% 9% Questão 3 0% 0%

Agrupamento por Localização

Questão 1 9% 27%

Questão 2 0% 9%

Questão 3 0% 9%

Questão 4 0% 45%

A partir da análise estatística das respostas dos especialistas no processo de validação percebe-se que existem questões que atingiram o índice de rejeição, este representado pelo campo “Não Aplicar”, pois obtiveram mais de 20%. É o caso da questão 6 alocada no critério de Legibilidade, descrita a seguir:

• A fonte utilizada nos textos possui serifa (finos detalhes nas extremidades das letras)? Acredita-se que está questão atingiu o índice de rejeição pelo motivo de disponibilizar em seu texto uma expressão pouco conhecida como é caso da palavra serifa. Portanto de acordo com método utilizado esta questão está automaticamente excluída da lista de verificação.

Por conseguinte as questões que obtiverem índice superior a 20 % através do campo “Refazer Texto” devem entrar na fase denominada “Refazer Questão” sendo substituídas por outras de mesmo conceito, modificando-se a redação para o melhor entendimento para os usuários. Sendo assim, 8 questões foram posta em fase de reconstrução das questões, sendo modificada e novamente validadas, por exemplo, as seguintes questões apresentavam índice superior a 20 % de Refazer texto:

• O espaço de apresentação está diagramado (organizado) em pequenas zonas

funcionais?

• O usuário pode obter ajuda de facilmente sobre as funcionalidades?

Estas questões obtiveram um índice de 45 %, o principal motivo para isto se deve ao fato da questão ter sido mal elaborada. Na primeira questão o principal motivo se deve ao fato da questão está vaga, não perguntando exatamente ao usuário o que se deseja. Enquanto que na segunda existe uma preposição “de” que não deveria estar presente no texto, dificultado a interpretação da questão. Além disso, para a segunda questão devido à observação dos especialistas está saiu do critério presteza e foi alocada no critério gestão de erros. As questões foram substituídas por:

• A área da tela está organizada de modo a agrupar os elementos texto, vídeo, menu, botões etc.?

• O usuário pode obter ajuda facilmente sobre as funcionalidades do sistema?

Em seguida as questões foram posta novo processo de validação. Este não encontrou nenhum índice de rejeição e estas questões puderam assim ser adicionadas as demais questões que não obtiveram nenhuma rejeição participando assim da versão final do checklist. O

checklist completo se encontra disponível no Apêndice.

A importância do processo de validação do checklist só pode ser percebida depois dos seus resultados. No inicio apresenta-se como uma tarefa simples, mas a opinião de varias pessoas, principalmente especialista, melhora só vem a incrementar o checklist.

A seguir são listadas as principais modificações ocorridas no checklist, após a validação do mesmo:

• A modificação da escala para as resposta das questões: A princípio no checklist existiam dois tipos de escalas para as respostas dos especialistas. Os tipos que se apresentavam eram a escala de Likert e a escala dicotômica com valores sim e não. A primeira tentava obter do especialista uma opinião sobre determinado elemento, enquanto que a outra verifica se aquele elemento cumpria uma determinada recomendação. Entretanto de acordo com a opinião dos especialistas e uma busca na literatura pode-se confirmar que as maiorias dos checklists possuem como respostas os valores sim e não, ou verdadeiro e falso. As questões com resposta utilizando a escala de Likert devem ser utilizadas para ferramenta como o questionário, onde ocorre a possibilidade de variação do grau de resposta do usuário e não em checklists onde se deve verificar se a recomendação, princípio ou um critério está sendo seguido ou não.

• A inserção de novas questões: De acordo com a opinião dos especialistas que perceberam que necessitava de mais algumas questões e as sugeriram, pois alguns itens e elementos não estavam sendo contemplados pelo checklist.

• A retirada de questões: A questão retirada deve-se ao fato do processo de validação.

• A modificação ou reescrita de questões: A reescrita das questões também aconteceu pelo fato do processo de validação do checklist. E ocorreu em questões que apresentavam problemas ortográficos ou má formulação da questão.

Ao final do processo de validação e com todas as modificações feitas no checklist este foi dado como a versão final do checklist para a TV Digital. Esta versão final descrevendo o objetivo de cada questão está disponível no Apêndice B.