Avaliação de uso

Quadro 15. Interpretação da avaliação subjetiva da abordagem

QUESTÃO ATRIBUTO-VALOR MÉDIA

Q1 A1 - 81,8% 6,1%

Q2 A2 - 27,3% 24,2%

Q3 A2 - 36,4% 21,2%

Q4 A2 - 36,4% 21,2%

Q5 A1 - 81,8% 0,0%

Q6 A2 - 27,3% 21,2%

Q7 A2 - 54,5% 15,2%

Facilidade 49,4% 15,6%

Q8 A2 - 36,4% 31,8%

Q9 A2 - 27,3% 24,2%

Q10 A1 - 81,8% 6,1%

Q11 A2 - 27, 3% 24,2%

Q12 A2 - 54,5% 15,2%

Motivação 50,0% 20,3%

Q13 A2 - 36,4% 21,2%

Q14 A1 - 81,8% 6,1%

Q15 A2 - 45,5% 18,2%

Q16 A2 - 27,3% 21,2%

Q17 A1 - 81,8% 6,1%

Adequação 54,6% 14,6%

PERFIL DO PARTICIPANTEParticipante 5 da Empresa 1, atua como arquiteto e avaliou aplicações para o ambiente web e para o ambiente dos dispositivos móveis.

ASPECTO O framework proposto contribui como guia, na seleção de atributos para inspeção da usabilidade?

COMENTÁRIO

Como a pergunta trata da contribuição para seleção de atributos (ou seja, a contribuição para determinar quais atributos devem ou não ser contemplados para um determinado sistema, que julgo ocorrer na tela de cadastro de execução), nada me chamou a atenção sobre este aspecto. Talvez esta pergunta esteja se referindo à base de dados de perguntas, mas acredito que o diferencial do projeto contemplar também a seleção de atributos dinamicamente.

Mecanismo de seleção de atributos

A seleção de atributos precisa ser feita manualmente sem nenhum tipo de apoio ou automação. Não existe uma descrição um pouco mais detalhada de cada categoria ou atributo, que pode ser útil mesmo para usuários experientes.

Como sugestão para melhorar a contribuição para seleção de atributos seria interessante incluir, por exemplo, requisitos a nível de serviço e de design implementados pelo sistema que influenciam a usabilidade, ou também informação de frameworks que já possuem classificações de usabilidade estabelecidas, tipo de usuário, nível de conhecimento no uso de sistemas desejável do usuário, entre outros. Outro ponto é que não é possível incluir um item de usabilidade manualmente, novo, específico para um determinado cenário.

Usuário sem experiência (não sei se é aplicável)

Talvez um usuário sem experiência de usabilidade não precisará selecionar os atributos (apenas responder as perguntas, conforme e-mail detalhando), mas se precisar, ele não conseguirá decidir quais atributos são ou não importantes.

ASPECTO

A estrutura de informação apresentada pelo framework proposto contribui na redução do esforço de assimilação de aspectos relacionados com a inspeção da usabilidade?

COMENTÁRIO

A inclusão de conceitos e recomendações junto com as questões é uma boa abordagem para garantir o entendimento. Entretanto sugiro algumas melhorias:

Revisar e tornar algumas questões mais objetivas. Muitas questões eram muito longas. Em alguns casos não é necessário por exemplo "O usuário..." pois o contexto já indica isto.

Destacar um contexto com base em categorias ou aspectos comuns, cores, imagens, etc. Identifiquei alguns casos onde uma mesma questão pode ter um aspecto positivo ou negativo, dependendo do contexto.

Segmentar as questões. Todas as questão dispostas em uma lista gigante, tornando a atividade cansativa (a sensação de progressão é menor, é cansativo).

Percebi também a falta da definição de alguns conceitos (caixa de diálogo por exemplo, ou o conceito de modal e não-modal). Para alguns usuários que não sabem do que se trata a marcação de respostas pode ser incorreta. Uma opção é colocar na própria questão um tooltip.

COMENTÁRIOSim, mas vide considerações anteriores.

ASPECTO A linguagem utilizada pelo framework proposto contribui na redução do esforço relacionado à compreensão de termos próprios da usabilidade?

COMENTÁRIO

Talvez para usuários menos experientes não (usuários sem conhecimento com usabilidade).

Neste caso uma sugestão é colocar exemplos em todas as questões. E não apenas texto, mas também animações, imagens. Inclusive exemplos interativos no próprio sistema de inspeção, onde o próprio inspetor pode em tempo real presenciar os resultados.

Outro ponto é diferenciação entre "Não" e "Não se aplica" nas respostas. Não estava claro. A definição que utilizei foi:

Não - "Deveria" existir, mas não está adequado.

Não se aplica - "Não precisa existir" na situação em questão.

ASPECTO

A estrutura de informação apresentada pelo framework proposto gera maior facilidade na realização de inspeções de usabilidade, do que a avaliação feita a partir de documentação ou norma?

COMENTÁRIOSem dúvida a utilização de um sistema é superior.

ASPECTO O framework proposto contribui na redução de esforço para conclusão de tarefas relacionadas com a inspeção da usabilidade de forma eficiente?

COMENTÁRIOSim

ASPECTO O framework proposto é fácil de ser utilizado?

COMENTÁRIO

Em geral sim, mas precisa de melhorias. Algumas observações como exemplo:

Persistir as informações de resposta de questões imediatamente após alteração (sem necessidade de clicar em "Salvar").

Segmentar as categorias e atributos de usabilidade

Remover o check-list das respostas das questões da janela modal. Incluir no corpo da aplicação principal.

Resolver os problemas de estabilidade do serviço

Colocar opção para sempre exibir na direta os conceitos, recomendações, exemplos, etc.

ASPECTO A estrutura de informação apresentada pelo framework proposto contribui para a redução do esforço na seleção de atributos de usabilidade?

COMENTÁRIOA existência de uma base de questões sim, mas a seleção com base nesta base precisa de inovação.

ASPECTO O framework pode ser utilizado nas próximas avaliações inspeções de usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIO

Está no caminho mas acredito que ainda não. É fundamental resolver as questões existentes e inovar um pouco a parte de seleção de atributos e facilidade para usuários sem conhecimento de usabilidade, inclusão de evidências de inspeção, etc.

(Desconheço como está a geração de indicadores, capacidade de integração, etc).

Outra questão é a visão de módulos ou serviços ("telas") das aplicações. O sistema parece estar desenhado para avaliar um produto como um todo, e acredito que isto precisa ser revisado. A inspeção de usabilidade deveria ter características modulares e incrementais, assim como o sistema em avaliação.

ASPECTO O framework proposto pode ser indicado para avaliação da usabilidade para outros interessados?

COMENTÁRIOSim.

ASPECTO O framework proposto contribui como ferramenta útil para a inspeção da usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIOSim. Existem considerações como a experiência dos inspetores, incremento, etc, conforme itens acima.

COMENTÁRIOSim. Precisa apenas resolver a questão da seleção de atributos, assim como questões técnicas da aplicação.

ASPECTO

Os mecanismos de seleção de componentes, abordados pelo framework proposto contribuem para a redução da complexidade na inspeção da usabilidade entre os envolvidos com projetos de desenvolvimento de software?

COMENTÁRIOSim.

ASPECTO

A estrutura de informações abordada pelo framework se mostrou adequada para ser aplicada em inspeções de usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIOAinda não. Já respondido.

ASPECTO As sugestões de questões apresentadas no framework contribuem como prática adequada em inspeções de usabilidade?

COMENTÁRIOSim. Com ressalvas já explicadas.

ASPECTO

O framework proposto pode ser utilizado como ferramenta de trabalho para inspeção da usabilidade durante outros projetos de desenvolvimento de software?

COMENTÁRIOAinda não. Já respondido

ASPECTO Qual o grau de concordância subjetiva do framework proposto em relação à inspeção da usabilidade durante projetos de desenvolvimento de software?

COMENTÁRIOEm geral muito bom.

PERFIL DO PARTICIPANTEParticipante 2 da Empresa 1, atua como gerente de projeto e avaliou aplicação web.

ASPECTO Aspectos Gerais

COMENTÁRIO

Referente alo framework avaliado, seguem algumas considerações:

- Algumas perguntas utilizam uma linguagem muito técnica, dificultando o entendimento de pessoas leigas em programação - Algumas questões são muito extensas e isso dificulta a compreensão do avaliador

- O framework possui uma interface muito amigável e de fácil entendimento

- O framework facilita a seleção de uma alternativa, pois somente clicando sobre a palavra a opção já é selecionada