5.2 EXECUÇÃO
5.2.4 Avaliações realizadas
Esta pesquisa realizou um total de treze avaliações de usabilidade distintas realizadas por onze participantes, em projetos/produtos de software que contemplaram os ambientes de execução web, desktop e dispositivos móveis. A seguir, as Tabelas de 14 a 26 apresentam cada uma das treze avaliações de usabilidade realizadas, bem como detalhes das avaliações realizadas.
Tabela 14. Avaliação de usabilidade 01
Ambiente de ExecuçãoWeb EmpresaEmpresa 2 ParticipanteParticipante 7
Tecnologias EnvolvidasJava, Hibernate, JSP, Javascript, Spring, Oracle, Jasper Reports/iText, Maven, Git Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do InspetorAnalista de Sistemas Nro Características avaliadas6
Características AvaliadasGestão de Erros, Navegabilidade/Orientação, Produtividade, Recursos visuais, Segurança, Utilidade Nro de Atributos Avaliados11
Atributos Avaliados
Animações e Transições, Componentes, Cores, Ícones, Legibilidade, Mensagens, Número de Erros, Prevenção/Proteção de Erros, Privacidade, Recursos de Segurança, Utilização de recursos Nro de Questões Avaliadas44
Questões Conformes29 Questões Não Conformes10 Questões Não Aplicáveis5 Questões com Avaliação Prejudicada0
AVALIAÇÃO 1
Tabela 15. Avaliação de usabilidade 02
Ambiente de ExecuçãoDesktop EmpresaEmpresa 2 ParticipanteParticipante 8 Tecnologias EnvolvidasCoreBuilder/Java Disciplina (Projeto ou Produto) Produto
Papel do InspetorAnalista de Suporte Nro Características avaliadas15
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário, Eficácia, Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade, Operacionalidade, Recursos visuais, Satisfação, Segurança, Utilidade
Nro de Atributos Avaliados31
Atributos Avaliados
Ações Mínimas, Animações e Transições, Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de Aprendizado, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do usuário, Cores, Design estético, Elementos gráficos, Emoção, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Mensagens, Navegabilidade/Orientação, Número de Erros, Precisão, Prevenção/Proteção de Erros, Produtividade, Recursos de Segurança, Reusabilidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas103 Questões Conformes24 Questões Não Conformes64 Questões Não Aplicáveis15 Questões com Avaliação Prejudicada0
AVALIAÇÃO 02
Tabela 16. Avaliação de usabilidade 03
Ambiente de ExecuçãoDesktop EmpresaEmpresa 1 ParticipanteParticipante 1 Tecnologias EnvolvidasPowerBuilder, Oracle Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do InspetorProgramador Nro Características avaliadas16
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Carga de Trabalho (Memória), Controle Do usuário, Eficácia, Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade,
Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Satisfação, Segurança Nro de Atributos Avaliados59
Atributos Avaliados
Acessibilidade, Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade, Atratividade/Agradabilidade, Auto-Descritivo, Capacidade de Aprendizado, Carga de Memória
Mínima/Brevidade, Comandos, Compatibilidade, Componentes, Compreensibilidade, Comunicabilidade, Concisão, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação explícita do usuário, Coordenação, Cores, Densidade Informacional, Desempenho, Design estético, Eficácia, Eficiência, Emoção, Escalabilidade, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Funcionalidade, Importância do Código, Informações Textuais, Inteligibilidade, Internacionalização, Mensagens, Navegabilidade/Orientação, Número de Erros, Operacionalidade, Personalização, Precisão, Presteza, Prevenção/Proteção de Erros, Produtividade, Promoção, Recursos de Segurança, Reusabilidade, Satisfação, Simetria/Equilibrio, Som, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tempo de Carga, Utilidade, Utilização de recursos
Nro de Questões Avaliadas267 Questões Conformes210 Questões Não Conformes37
Questões Não Aplicáveis2 Questões com Avaliação Prejudicada18
AVALIAÇÃO 03
Tabela 17. Avaliação de usabilidade 04
Ambiente de ExecuçãoWeb EmpresaEmpresa 1 ParticipanteParticipante 2 Tecnologias EnvolvidasJava, PL/SQL
Disciplina (Projeto ou Produto) Projeto e Implementação Papel do InspetorGerente de Projeto Nro Características avaliadas6
Características AvaliadasConfiabilidade, Facilidade de uso, Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Nro de Atributos Avaliados37
Atributos Avaliados
Agrupamento e distinção de Itens, Animações e Transições, Carga de Memória Mínima/Brevidade, Comandos, Compatibilidade, Componentes, Conteúdo de qualidade, Contraste, Controlabilidade/Ação explícita do usuário, Cores, Densidade Informacional, Design estético, Emoção, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Funcionalidade, Garantia, Ícones, Importância do Código, Informações Textuais, Janelas, Legibilidade, Mensagens, Navegabilidade/Orientação,
Personalização, Precisão, Privacidade, Promoção, Simetria/Equilibrio, Solicitação, Som, Tempo de Carga, Tolerância a falhas, Utilização de recursos
Nro de Questões Avaliadas166 Questões Conformes75 Questões Não Conformes52 Questões Não Aplicáveis35 Questões com Avaliação Prejudicada4
AVALIAÇÃO 04
Tabela 18. Avaliação de usabilidade 05
Ambiente de ExecuçãoWeb
EmpresaParticipante 10 ParticipanteEmpresa 3 Tecnologias EnvolvidasPHP, MySQL
Disciplina (Projeto ou Produto) Projeto e Implementação Papel do InspetorGerente de Projeto Nro Características avaliadas2
Características AvaliadasEficácia, Operacionalidade Nro de Atributos Avaliados6
Atributos AvaliadosConsistência, Feedback, Flexibilidade, Navegabilidade/Orientação, Precisão, Taxa de Conclusão/Plenitude Nro de Questões Avaliadas31
Questões Conformes25 Questões Não Conformes6
Questões Não Aplicáveis0 Questões com Avaliação Prejudicada0
AVALIAÇÃO 05
Tabela 19. Avaliação de usabilidade 06
Ambiente de ExecuçãoDispositivos Móveis EmpresaParticipante 11 ParticipanteEmpresa 4
Tecnologias EnvolvidasFlex, Java e SAP ABAP Disciplina (Projeto ou Produto) Produto
Papel do InspetorArquiteto Nro Características avaliadas10
Características Avaliadas
Acessibilidade, Atributos "avulsos", Capacidade de Aprendizado, Confiabilidade, Eficácia, Eficiência, Flexibilidade, Gestão de Erros, Inteligibilidade, Recursos visuais
Nro de Atributos Avaliados20
Atributos Avaliados
Ações Mínimas, Aplicabilidade, Componentes, Controlabilidade/Ação explícita do usuário, Desempenho, Design estético, Experiência do Usuário, Facilidade de Uso, Familiaridade/Padrões, Flexibilidade, Funcionalidade, Navegabilidade/Orientação, Precisão, Prevenção/Proteção de Erros, Produtividade, Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Utilidade, Utilização de recursos
Nro de Questões Avaliadas69 Questões Conformes51 Questões Não Conformes11 Questões Não Aplicáveis7 Questões com Avaliação Prejudicada0
AVALIAÇÃO 06
Tabela 20. Avaliação de usabilidade 07
Ambiente de ExecuçãoWeb EmpresaEmpresa 2 ParticipanteParticipante 9
Tecnologias EnvolvidasJava EE, Hibernate, Spring, Git, DWR, Prototype, Oracle, Aplication Server Disciplina (Projeto ou Produto) Produto
Papel do InspetorAnalista de Sistemas Nro Características avaliadas5
Características AvaliadasConfiabilidade, Flexibilidade, Gestão de Erros, Navegabilidade/Orientação, Segurança Nro de Atributos Avaliados19
Atributos Avaliados
Agrupamento e distinção de Itens, Consistência, Controlabilidade/Ação explícita do usuário, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Garantia, Legibilidade,
Navegabilidade/Orientação, Número de Erros, Precisão, Prevenção/Proteção de Erros, Privacidade, Recursos de Segurança, Solicitação, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tolerância a falhas
Nro de Questões Avaliadas111 Questões Conformes71 Questões Não Conformes30 Questões Não Aplicáveis10 Questões com Avaliação Prejudicada0
AVALIAÇÃO 07
Tabela 21. Avaliação de usabilidade 08
Ambiente de ExecuçãoDispositivos Móveis EmpresaEmpresa 1 ParticipanteParticipante 3 Tecnologias EnvolvidasJava ME
Disciplina (Projeto ou Produto) Projeto e Implementação Papel do InspetorProgramador
Nro Características avaliadas4
Características AvaliadasAcessibilidade, Eficiência, Flexibilidade, Operacionalidade Nro de Atributos Avaliados13
Atributos Avaliados
Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do usuário, Experiência do Usuário, Feedback, Flexibilidade, Legibilidade, Navegabilidade/Orientação, Operacionalidade, Simplicidade, Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas69 Questões Conformes25 Questões Não Conformes23 Questões Não Aplicáveis21 Questões com Avaliação Prejudicada0
AVALIAÇÃO 08
Tabela 22. Avaliação de usabilidade 09
Ambiente de ExecuçãoWeb EmpresaEmpresa 1 ParticipanteParticipante 3 Tecnologias EnvolvidasFlex, C#.net, sql(Oracle) Disciplina (Projeto ou Produto) Projeto e Implementação
Papel do InspetorProgramador Nro Características avaliadas3
Características AvaliadasFacilidade de uso, Produtividade, Utilidade Nro de Atributos Avaliados10
Atributos Avaliados
Carga de Memória Mínima/Brevidade, Controlabilidade/Ação explícita do usuário, Feedback, Flexibilidade, Garantia, Precisão, Privacidade, Tempo de Carga, Tolerância a falhas, Utilização de recursos
Nro de Questões Avaliadas27 Questões Conformes15 Questões Não Conformes10 Questões Não Aplicáveis1 Questões com Avaliação Prejudicada1
AVALIAÇÃO 09
Tabela 23. Avaliação de usabilidade 10
Ambiente de ExecuçãoDesktop EmpresaEmpresa 1 ParticipanteParticipante 4 Tecnologias EnvolvidasJAVA SE Disciplina (Projeto ou Produto) Produto
Papel do InspetorProgramador Nro Características avaliadas8
Características Avaliadas
Acessibilidade, Capacidade de Aprendizado, Carga de Trabalho (Memória), Controle Do usuário, Eficácia, Eficiência, Flexibilidade, Gestão de Erros
Nro de Atributos Avaliados16
Atributos Avaliados
Ações Mínimas, Carga de Memória Mínima/Brevidade, Consistência, Controlabilidade/Ação explícita do usuário, Densidade Informacional, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Navegabilidade/Orientação, Número de Erros, Operacionalidade, Precisão, Taxa de Conclusão/Plenitude, Tempo de Carga, Utilização de recursos
Nro de Questões Avaliadas63 Questões Conformes38 Questões Não Conformes11 Questões Não Aplicáveis10 Questões com Avaliação Prejudicada4
AVALIAÇÃO 10
Tabela 24. Avaliação de usabilidade 11
Ambiente de ExecuçãoWeb EmpresaEmpresa 1 ParticipanteParticpante 5
Tecnologias EnvolvidasSAP NetWeaver / Java EE Disciplina (Projeto ou Produto) Produto
Papel do InspetorArquiteto Nro Características avaliadas11
Características Avaliadas
Acessibilidade, Atributos "avulsos", Carga de Trabalho (Memória), Flexibilidade, Gestão de Erros, Inteligibilidade, Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Segurança, Utilidade Nro de Atributos Avaliados29
Atributos Avaliados
Animações e Transições, Aplicabilidade, Comandos, Consistência, Contraste, Cores, Densidade Informacional, Eficiência, Emoção, Experiência do Usuário, Feedback, Flexibilidade, Funcionalidade, Garantia, Importância do Código, Legibilidade, Mensagens, Número de Erros, Precisão, Prevenção/Proteção de Erros, Recursos de Segurança, Simetria/Equilibrio, Simplicidade, Suporte para o usuário reconhecer, diagnosticar e recuperar erros, Taxa de Conclusão/Plenitude, Tempo de Carga, Tolerância a falhas, Nro de Questões Avaliadas150
Questões Conformes83 Questões Não Conformes43 Questões Não Aplicáveis15 Questões com Avaliação Prejudicada9
AVALIAÇÃO 11
Tabela 25. Avaliação de usabilidade 12
Ambiente de ExecuçãoWeb EmpresaEmpresa 1 ParticipanteParticpante 6
Tecnologias EnvolvidasAdobe Flex, PL/SQL e .Net Disciplina (Projeto ou Produto) Teste
Papel do InspetorAnalista de Sistemas Nro Características avaliadas14
Características Avaliadas
Acessibilidade, Adequação, Capacidade de Aprendizado, Carga de Trabalho (Memória), Confiabilidade, Controle Do usuário, Facilidade de uso, Flexibilidade, Inteligibilidade, Navegabilidade/Orientação, Operacionalidade, Recursos visuais, Satisfação, Universalidade
Nro de Atributos Avaliados39
Atributos Avaliados
Ações Mínimas, Agrupamento e distinção de Itens, Animações e Transições, Aplicabilidade, Atratividade/Agradabilidade, Auto-Descritivo, Carga de Memória, Mínima/Brevidade, Comandos, Compatibilidade, Componentes, Consistência, Conteúdo de qualidade, Contraste, Controlabilidade/Ação explícita do usuário, Coordenação, Cores, Densidade Informacional, Design estético, Emoção, Experiência do Usuário, Familiaridade/Padrões, Feedback, Flexibilidade, Fonte, Ícones, Importância do Código, Informações Textuais, Legibilidade, Mensagens, Navegabilidade/Orientação, Personalização, Privacidade, Promoção, Simetria/Equilibrio, Simplicidade, Solicitação, Som, Tempo de Carga, Tolerância a falhas Nro de Questões Avaliadas226
Questões Conformes162 Questões Não Conformes46
Questões Não Aplicáveis18 Questões com Avaliação Prejudicada0
AVALIAÇÃO 12
Tabela 26. Avaliação de usabilidade 13
Ambiente de ExecuçãoDispositivos Móveis EmpresaEmpresa 1 ParticipanteParticpante 5 Tecnologias EnvolvidasJava EE e HTML5 Disciplina (Projeto ou Produto) Produto
Papel do InspetorArquiteto Nro Características avaliadas6
Características Avaliadas
Acessibilidade, Adequação, Atributos "avulsos", Capacidade de Aprendizado, Controle Do usuário, Recursos visuais
Nro de Atributos Avaliados8 Atributos Avaliados
Controlabilidade/Ação explícita do usuário, Coordenação, Eficiência, Experiência do Usuário, Facilidade de Uso, Flexibilidade, Simplicidade, Tempo de Carga
Nro de Questões Avaliadas23 Questões Conformes13 Questões Não Conformes5
Questões Não Aplicáveis2 Questões com Avaliação Prejudicada3
AVALIAÇÃO 13
Foram avaliadas 1349 questões em 13 avaliações de usabilidade geradas pela ferramenta, por 11 participantes. A Figura 49 apresenta o cenário de questões respondidas, de acordo com cada opção de resposta.
Figura 31. Cenário de questões respondidas
Todos os ambientes de execução propostos pela pesquisa foram avaliados no mínimo por duas execuções de checklist. Das 25 características criadas pelo framework proposto, apenas quatro não foram avaliadas. As características que não sofreram avaliação foram: Ajuda, Consistência na Interação, Mapeamento entre o sistema e o mundo real e Multimodal. Em relação aos 80 atributos de avaliação da usabilidade propostos pela pesquisa, foi possível avaliar cerca 68 atributos distintos, que representam 85% dos atributos criados. Os atributos que não foram avaliados foram: Adaptação ao Meio, Ajuda, Comunidade, Design de Entrada e Saída, Dispositivos, Estado de interação compartilhada, Estrutura, Interface/Layout, Objetivo, Previsibilidade, Sincronismo e Transição visível. Através das treze avaliações de usabilidade realizadas não foi possível avaliar características e atributos criados em sua totalidade, pois a escolha destes, por ambiente de execução, ficou a cargo exclusivamente dos participantes.