5 Resultados e Discussão
5.2 Aplicação do Checklist
Para tentar confirmar a efetividade do checklist fez-se um estudo comparativo do
checklist especializado para a TV Digital com o Ergolist. Sendo cada um avaliado a cada
momento, para o mesmo aplicativo para a TV Digital.
O aplicativo escolhido para o estudo de caso é o Jogoteca é um aplicativo desenvolvido no projeto anual sob orientação do Professor David Moises Barreto dos Santos da Universidade Estadual de Feira de Santana (UEFS). A Jogoteca é um conjunto de jogos para a TV Digital. O projeto foi desenvolvido utilizando a linguagem JavaTV (JAVATV, 2009) e utiliza um emulador XletView (XLETVIEW, 2009) para simular os jogos desenvolvidos para a TV digital.
Sendo assim, o aplicativo Jogoteca foi avaliado por cada um dos checklists. O resultado da avaliação feita pelo Ergolist está descrito na Tabela 3, onde são mostrados os 18 critérios ergonômicos avaliados pelo Ergolist e a quantidade de resposta de todos os critérios está em três colunas que são: Conforme, Não Conforme e Não Aplicar. A primeira coluna
representa se a quantidade de questão atende os requisitos de usabilidade exigidos, a segunda coluna representa que problemas de usabilidades foram encontrados e última mostra a quantidade de questões que não são aplicáveis aquele aplicativo.
Tabela 3: Resultados da aplicação do Ergolist ao aplicativo Jogoteca
Critérios ergonômicos
ERGOLIST
Conforme Não Conforme Não Aplicar
Presteza 4 4 9
Agrupamento por Localização 2 0 9
Agrupamento por Formato 4 2 11
Feedback 4 2 6 Legibilidade 14 1 12 Concisão 4 0 10 Ações Mínimas 2 0 3 Densidade Informacional 4 0 5 Ações Explícitas 3 0 1 Controle 0 1 3 Flexibilidade 1 0 2 Experiência Usuário 0 2 4
Proteção contra Erros 3 1 3
Qualidade das Mensagens 2 3 4
Correção de Erros 0 2 3
Homogeneidade / Consistência 4 2 5
Significado dos Códigos 5 1 6
Compatibilidade 6 1 14
TOTAL 62 22 110
O resultado da aplicação do checklist para a TV Digital no aplicativo Jogoteca está descrito na Tabela 4. Esta é composta dos 8 critérios ergonômicos que compõe o checklist e segue o mesmo procedimento descrito para o Ergolist em relação as respostas das questões que compõe os critérios ergonômicos com as seguintes colunas: Conforme, Não conforme e Não Aplicar.
Tabela 4: Resultados da aplicação
Critérios ergonômicos
Presteza
Agrupamento por Localização Feedback Legibilidade Ações Mínimas Gestão de Erros Consistência Navegação TOTAL
Ao realizar uma comparação deste tipo entre algumas observações de acordo com as
Em primeiro lugar o de questões que o Checklist
Em segundo lugar pode
caso do Ergolist este possui 194 questões e obteve c aproximadamente 32% estavam em conformidade
foram marcadas como não conforme, correspondente a 22 questões como a opção não aplicar correspondendo 110 questões
das respostas do Ergolist.
Figura
Resultados da aplicação do Checklist para a TV ao aplicativo Jogoteca
Critérios ergonômicos
Checklist Especializado para a TV Digital
Conforme Não Conforme
1 1
Agrupamento por Localização 2 2
0 3 7 2 2 0 3 4 4 2 2 2 21 16
Ao realizar uma comparação deste tipo entre checklist diferentes po algumas observações de acordo com as Tabela 3 e 4.
o Ergolist com 194 questões apresentam mais do que
Checklist Especializado para a TV Digital, com 40 questões.
Em segundo lugar pode-se analisar a distribuição das respostas de cada
caso do Ergolist este possui 194 questões e obteve como resultado as seguintes respostas: estavam em conformidade, isto correspondem a 62 questões
foram marcadas como não conforme, correspondente a 22 questões e
correspondendo 110 questões. A Figura 15 ilustra está distribuição
Figura 15: Distribuição das Respostas do Ergolist 32%
11% 57%
Ergolist - Distribuição das Respostas
Conforme Não Conforme Não Aplicável para a TV ao aplicativo Jogoteca
Especializado para a TV Digital Não Aplicar 2 0 1 0 0 0 0 0 3
diferentes pode-se fazer
tões apresentam mais do que o quádruplo 40 questões.
se analisar a distribuição das respostas de cada checklist. No omo resultado as seguintes respostas: , isto correspondem a 62 questões, 11% 57% foram marcadas ilustra está distribuição
Distribuição das Respostas
Conforme Não Conforme Não Aplicável
Este alto número de questões não aplicáveis, chegando a aproximadamente 57% do total de questões, se deve em g
formulários, rótulos de campos, títulos de
pelos formulários, elementos que o estudo de caso Jogoteca não possui. Analisando de forma mais espec
superior a 50% de questões marcadas como não aplicáveis. Sendo os critérios de por localização e concisão os que atingiram o maior índice de não
Em se tratando do Checklist diferente. Ao se aplicar o
conformidade o que correspondem a 21 questões representa 16 questões e
aplicar, o que corresponde a 3 deste checklist.
Figura 16: Distribuição das Respostas do
Pode-se ainda observar uma seja, marcadas com o termo não aplicar
1. Das 40 questões do não aplicáveis, tendo,
aplicáveis em relação ao total de questões. A
Checklist para a TV Digital
Este alto número de questões não aplicáveis, chegando a aproximadamente 57% do total de questões, se deve em grande maioria aos critérios que contém perguntas a respeito de formulários, rótulos de campos, títulos de Tabelas e gráficos, mensagens de erro disparadas pelos formulários, elementos que o estudo de caso Jogoteca não possui.
forma mais específica onze critérios ergonômicos obtiveram índice superior a 50% de questões marcadas como não aplicáveis. Sendo os critérios de
e concisão os que atingiram o maior índice de não-aplicabilidade.
Checklist especializado para a TV Digital a s
o checklist a Jogoteca têm-se os seguintes dados: o que correspondem a 21 questões, 40 % foram marcadas como
e aproximadamente 8% das questões foram
, o que corresponde a 3 questões. A Figura 16 representa a distribuição das respostas
Distribuição das Respostas do Checklist para a TV Di
se ainda observar uma relação entre à quantidade de questões não utilizadas, ou seja, marcadas com o termo não aplicar com o total de questões:
Das 40 questões do checklist para a TV Digital, apenas 3 foram marcadas como não aplicáveis, tendo, portanto um percentual de aproximadamente 8
em relação ao total de questões. A Figura 17 ilustra esses dados. 52%
40% 8%
Checklist para a TV Digital - Distribuição
das Respostas
Conforme Não Conforme Não Aplicável
Este alto número de questões não aplicáveis, chegando a aproximadamente 57% do critérios que contém perguntas a respeito de s e gráficos, mensagens de erro disparadas
critérios ergonômicos obtiveram índice superior a 50% de questões marcadas como não aplicáveis. Sendo os critérios de agrupamento
aplicabilidade.
a situação termina sendo se os seguintes dados: 52% estavam em 40 % foram marcadas como não conformes, foram marcadas como não representa a distribuição das respostas
para a TV Digital
à quantidade de questões não utilizadas, ou
para a TV Digital, apenas 3 foram marcadas como aproximadamente 8 % não
ilustra esses dados. Conforme
Não Conforme Não Aplicável
Figura 17: Quantidade de questões utilizadas pelo checklist específico
2. Das 194 questões do Ergolist, existiu um total de 110 questões não foram aplicadas tento, portanto um índice de aproximadamente 57%de questões marcadas como não aplicáveis. Na Figura 18 esses dados são ilustrados.
Figura 18: Quantidade de Questões utilizadas pelo Ergolist.
As Figuras 17 mostram que como o checklist para a TV Digital utiliza 92% das questões torna-se mais provável que estas questões possibilitem a detecção de erros de usabilidade, uma vez que são utilizadas. Enquanto que no Ergolist apenas 43% das questões são utilizadas, mostrado na Figura 18. Isto levando em consideração o total de questões.
Uma ultima analise que pode ser feita ao se comparar os dois checklists é em relação aos resultados sobre a quantidade de erros de usabilidade encontrados por cada checklist estão mostrado na Tabela 5.
Ao analisar a Tabela percebe-se que existem 20 critérios ergonômicos ao invés dos 18 de Scapin e Bastien (1993). Isto se deve aos seguintes motivos: O primeiro é em relação ao critério navegação que não faz parte de especificamente de nenhum critério ergonômico utilizado no Ergolist, entretanto é utilizado no checklist especializado por isto foi adicionado à Tabela. O Segundo é que Ergolist utiliza três critérios: Proteção para erros, Qualidade da Mensagem e Correção de Erros na parte de tratamento de erros. Enquanto que no checklist especializado é utilizado o critério Gestão de Erros. Portanto na Tabela 5 estão descritos 20 critérios ergonômicos, entretanto no Ergolist se avaliam apenas os 18 e no checklist especializado são avaliados apenas os 8 critérios.
Tabela 5:Quantidade de problemas de usabilidade detectados pelos Checklists.
Critérios ergonômicos Checklist Especializado para a TV Digital Ergolist Presteza 1 4
Agrupamento por Localização 2 0
Agrupamento por Formato - 2
Feedback 3 2 Legibilidade 2 1 Concisão - 0 Ações Mínimas 0 0 Densidade Informacional - 0 Ações Explícitas - 1 Controle do Usuário - 1 Flexibilidade - 0
Consideração da Experiência Usuário - 2
Gestão de Erros 4 -
Proteção contra Erros - 1
Qualidade das Mensagens - 3
Correção de Erros - 2
Homogeneidade / Consistência 2 2
Significado dos Códigos - 0
Compatibilidade - 1
Navegação 2 -
TOTAL
Um aspecto que deve ser salientado é que o Checklist Especializado para a TV Digital detecta um número maior de problemas em relação ao número total de questões, ou seja:
1. Das 40 questões do Checklist para a TV Digital, 16 detectaram problemas, tendo assim um percentual de 40% de problemas detectados em relação ao número de questões;
2. Enquanto que das 194 questões do Ergolist, 22 questões detectaram problemas de usabilidade, representando aproximadamente 11% em relação ao número de questões;
Em relação aos dados apresentados na Tabela 5. Percebe-se que o Ergolist consegue detectar uma maior quantidade de problema de usabilidade em relação ao checklist para a TV Digital, 22 para o primeiro e 16 para o segundo. Percebe-se que estes problemas são detectados de forma bem distribuídas entre os critérios ergonômicos. Portanto os destaques do Ergolist são:
1. Detectar problemas de usabilidade mais característicos de funcionalidades gerais da interface;
2. Detectar problemas de usabilidade associados a diversos de critérios ergonômicos.
Enquanto que o checklist para a TV Digital se destaca por possuir um numero reduzido de questões e conseguir detectar uma quantidade razoável de erros de usabilidade. Outro destaque é que as questões estão diretamente relacionadas às peculiaridades e características ligadas ao uso da TV Digital, diferente do Ergolist onde as questões estão mais ligadas aos aspectos mais gerais da interface.
Portanto, fica evidenciada a pertinência das questões do Checklist Especializado para a TV Digital. Além estes resultados comprovam os argumentos de Cybis (1998) que salienta “que a especialização [de lista de verificações] melhora as possibilidades de identificação de tipos de problemas específicos.” E confirmam os resultados apresentados na tese de Mestrado de Heumann (1997) na elaboração de um checklist especializado para base de dados.