Avaliação de um software utilizando ensaios de interação e a Norma NBR 9241:11.

(1)

Avaliação de um software utilizando ensaios de interação e a Norma

NBR 9241:11.

Isabel Christina Corrêa Dias (UFPB) isabelccdias@gmail.com

Francisco Soares Másculo, PhD (UFPB) masculo@producao.ct.ufpb.br

Resumo

Este artigo relata sobre a avaliação do software XYZ produzido pela Universidade Delta através dos ensaios de interação com o usuário e a Norma NBR 9241:11/2002 (Ergonomia de Software) sobre usabilidade. Através dos ensaios de interação com o usuário e a Norma citada acima, concluiu-se que o software, que já está em fase de comercialização, não se enquadra nos quesitos de usabilidade propostos pela norma referente a este aspecto e que necessita de ajustes para diminuir o nível de insatisfação dos usuários.

Palavras-chave: Software, Avaliação, Usabilidade, Ensaios de interação, NBR 9241:11/2002.

1. Introdução

Os trabalhos realizados no campo de HCI - Human Computer Interaction (Interação Homem/Máquina) destacam a necessidade de se avaliar os softwares não somente na sua concepção, mas durante todo o processo de desenvolvimento, porém os estudos ainda buscam qual a melhor maneira de se fazer esta avaliação (CYBIS, 2002).

Matias (1995) afirma que o mercado para os softwares está cada vez mais competitivo, com a globalização da informática. Preocupado com os requisitos de saúde e segurança no trabalho, o Mercado Comum Europeu tem exigido padrões de qualidade nos produtos de software com a obrigatoriedade da aplicação de princípios de ergonomia de software em seus produtos. Por isso, a questão da usabilidade de um software vem se tornando fato prioritário para as indústrias de software, que perceberam que a competição se dá, principalmente, na interface do produto.

Como método de avaliação de software, os Ensaios de Interação ou Testes de Usabilidade visam averiguar a adequação à tarefa com o atendimento às necessidades do usuário, à facilidade de uso e também à facilidade de aprendizado.

O emprego de Ensaios de Interação ou Testes de Usabilidade numa análise ergonômica justifica o princípio fundamental de que a presença de usuários do futuro sistema poderá trazer à luz, dados reais sobre a qualidade da interação pretendida.

A norma NBR 9241:11/2002 esclarece que para se determinar o nível de usabilidade alcançado é necessário medir o desempenho e satisfação dos usuários trabalhando com um produto. Esta norma ainda explica que a medição de usabilidade é particularmente importante para visualizar a complexidade das interações entre o usuário, os objetivos, as características da tarefa e os outros elementos do contexto de uso.

É importante avaliar a usabilidade de um sistema para atingir seus objetivos junto aos usuários. Através desta avaliação é possível definir a aceitação de um projeto de software, propor revisões, correções de erros e aperfeiçoamento de sistemas em desenvolvimento e já implementados.

(2)

Esta avaliação de usabilidade tem por objetivo diagnosticar características e elementos que representem obstáculos para os usuários, assim como, os problemas existentes que dificultam a realização de suas tarefas; e medir os níveis de eficiência, eficácia e produtividade alcançadas com a utilização do software.

A boa usabilidade tem importância ímpar no sucesso e qualidade de um sistema.

2. Objetivos

O objetivo desta pesquisa é avaliar o software XYZ utilizando ensaios de interação e a Norma NBR 9241:11/2002, através de estudos de medidas de eficiência, eficácia e satisfação desta norma, seleção da amostra dos usuários que participarão da avaliação do programa e apresentação dos resultados.

3. Revisão bibliográfica 3.1 Ergonomia

Iida (1998) diz que ergonomia e ó estudo da adaptação do trabalho ao homem. Os objetivos práticos da ergonomia são a segurança, a satisfação e o bem-estar dos trabalhadores no seu relacionamento com sistemas produtivos.

Os conflitos entre o humano e a tecnologia expressam-se através de custos humanos do trabalho para o operador, como fadiga, doenças profissionais, lesões temporárias ou permanentes, mutilações, mortes, e de acidentes, incidentes, erros excessivos, paradas não controladas, lentidão e outros problemas de desempenho, assim como danificação e má conservação de máquinas e equipamentos, que acarretam decréscimos na produção, desperdício de matérias-primas, baixa qualidade dos produtos, o que acaba por comprometer a produtividade do sistema homem-máquina.

A ergonomia está mais participativa e vários são os fatores que têm colaborado para essa realidade. Segundo Wilson (1997), entre eles o clima social e político mundial que tem sido visto como mais participativo e democrático, apesar de aparentes e eventuais retrocessos localizados, e a grande ênfase na qualidade, flexibilidade e prestação de serviços ao consumidor que vem pouco a pouco substituindo os critérios mais quantitativos, relacionados a resultados, provocando uma maior participação dos trabalhadores.

3.1.1 Ergonomia de software

Moraes (2001) define ergonomia do software como um caso particular de adaptação do trabalho ao homem: “adaptação do sistema informatizado à inteligência humana”. A tecnologia informatizada faz parte da vida de cada vez mais pessoas. No entanto, muitas dessas pessoas passam por experiências frustradas e dificuldades ao tentar usar os sistemas. Em muitos casos a ergonomia é abordada somente na fase de avaliação de um software, o que, segundo Czaja (1997), limita a utilidade e efetividade das contribuições da ergonomia. Por isso, a Ergonomia do Software trata de aspectos relativos aos programas e à programação e busca melhorar a capacidade de utilização – usabilidade - dos softwares por usuários de diferentes características.

3.2 Usabilidade

Segundo Schackel apud Heemann (1997), a usabilidade envolve os quatro componentes principais de uma situação de trabalho: usuário, tarefa, sistema e ambiente. O autor afirma que um projeto com boa usabilidade depende da harmonia desses quatro componentes.

É importante perceber que a usabilidade não é uma simples propriedade da interface com o usuário. Segundo Nielsen (1993), usabilidade tem muitos componentes e é tradicionalmente

(3)

associada com cincos atributos: fácil de aprender, eficiente no uso, fácil de ser lembrado, ter poucos erros, gerar satisfação.

3.2.1 Norma NBR 9241:11

A norma NBR 9241 pode ser aplicada tanto como guia de orientação de projeto, quanto ferramenta para avaliação de usabilidade. É uma norma com múltiplas partes que tratam dos aspectos ergonômicos do uso de terminais de vídeo, envolvendo software e hardware.

Esta norma, na parte 11, indica quais as medidas de usabilidade de eficácia, eficiência e satisfação podem ser especificadas para objetivos globais (p.ex. produzir uma carta) ou para objetivos menores (p.ex. realizar busca e substituir). Ao selecionar medidas de usabilidade para os objetivos mais importantes do usuário pode ser necessário ignorar muitas funções, mas provavelmente esta seja a abordagem mais prática.

Para efeito deste trabalho, foram escolhidas as seguintes medidas de usabilidade global:

- Eficácia (porcentagem de objetivos alcançados): serão consideradas tarefas completadas com sucesso aquelas cujos objetivos sejam atingidos;

- Eficiência (tarefas completadas por unidade de tempo): leva-se em consideração o tempo de realização de uma tarefa completada pela avaliadora, a qual já tem uma certa experiência no uso deste programa. O usuário completar a tarefa com pelo menos 50% a mais do tempo da avaliadora, pois este é o tempo esperado de finalização de uma tarefa arbitrado pela mesma; - Satisfação (escala de satisfação): será utilizado um questionário pós-teste para quantificar o número de reclamações feitas pelos usuários. Para efeito deste teste, os itens “concordo em parte”, “tenho dúvidas” e “discordo plenamente” deste questionário representam as reclamações do usuário.

3.2.2 Ensaios de interação

Os ensaios de interação são testes realizados com os usuários do sistema. São uma simulação de uso do mesmo em que são apresentadas algumas tarefas para o usuário realizá-las. Os mesmos são acompanhados pelos avaliadores que analisarão os comandos dados, os erros cometidos, o comportamento do usuário. Os ensaios de interação identificam problemas de interação de mais alto nível, dificilmente identificados por outros métodos.

Um ensaio de interação consiste de uma simulação de uso do sistema da qual participam pessoas representativas de sua população alvo, tentando fazer tarefas típicas de suas atividades, com uma versão do sistema pretendido. Sua preparação requer um trabalho detalhado de reconhecimento do usuário alvo e de sua tarefa típica, para a composição dos cenários que serão aplicados durante a realização dos testes (CYBIS, 2003, p.117).

4. Metodologia

Para a validação do referido software, decidiu-se utilizar como método de avaliação os ensaios de interação tendo como base a Norma NBR 9241:11 Para o desenvolvimento dos ensaios seguiram-se as etapas da estrutura dos ensaios de interação apresentados Cybis (1999), que são:

Análise preliminar: esta etapa consiste em reconhecer o software e seus atributos ergonômicos. Fazem parte desta etapa o reconhecimento do software e o pré-dignóstico ergonômico.

- Definição dos cenários e da amostra de usuários: com base no pré-diagnóstico e nos dados obtidos no reconhecimento do perfil do usuário e sua tarefa, são criados os cenários, ou seja, elaborar tarefas a serem executadas pelos usuários.

(4)

- Realização dos ensaios: compreende a obtenção da amostra de usuários, ajustes nos cenários, planejamento dos ensaios, a sua realização e análise e interpretação dos dados.

5. Apresentação dos resultados

Realizado o ensaio de interação, passou-se a analisar as medidas de usabilidade escolhidas com base na Norma NBR 9241:11.

A tabela 1 mostra a porcentagem de usuários que completaram a tarefa com sucesso, ou seja, cujos objetivos foram atingidos em sua totalidade:

Com relação à tabela acima, percebe-se que apenas uma tarefa foi completada com sucesso.Isso implica em 25% do total esperado, que é 100%

A tabela 2 mostra os tempos médios de realização das tarefas executadas pelos usuários e pela avaliadora. Com base nesta tabela, verifica-se que nenhum usuário completou nenhuma tarefa nos tempos esperados.

Os dados das tabelas acima indicam que nenhum dos usuários conseguiu concluir as tarefas nos tempos previstos pela avaliadora. Mais uma vez, o idioma estrangeiro ao qual foi programado o software foi um dos grandes responsáveis pela demora na execução das tarefas. Para a análise da satisfação do usuário, foi utilizado o questionário pós-teste que encontra-se no anexo 1.

O questionário pós-teste, que tem por objetivo coletar informações difíceis de identificar no momento da realização dos ensaios e possibilitar conhecer o sentimento do usuário em relação ao produto, teve como resultado o exposto abaixo.

0% 10% 40% 50% concordo plenamente concordo em parte tenho dúvidas discordo plenamente

Figura 1 – Resposta à questão “a interface do software é agradável?” Tarefa Tarefas completadas com sucesso

1 50% 2 10% 3 100% 4 0% Tabela 1 – Porcentagem de tarefas completadas com sucesso

Tarefa Tempo (avaliadora) Tempo esperado Tempo (usuários)

1 1min 1min 30s 2 min

2 1min 1min 30s 10min

3 1min 1min 30s 5min

4 2min 3min 20min

Tabela 2 – Tempos da avaliadora, tempo esperado de execução e tempo de realização da tarefa pelos usuários

(5)

Figura 2 – Resposta à questão “a navegação do software é fácil?”

Figura 3 – Resposta à questão “os comandos são claros?”

Figura 4 – Resposta à questão “não tive dificuldades em realizar tarefas”

(6)

Figura 6 – Resposta à questão “estou satisfeito com o software?”

De acordo com estas figuras, todas as perguntas foram respondidas de modo que se percebe a insatisfação dos usuários com as porcentagens das alternativas “concordo em parte”, “tenho dúvidas” e “discordo plenamente” diferente de zero.

A questão 7 do questionário pós-teste pede ao usuário para atribuir uma nota de 0 a 10 ao

software. Abaixo, o gráfico 7 mostra as notas dadas, que estão numa média de 5,6 pontos.

0 2 4 6 8 Va lo r d as n o tas at ri b u íd as 1 2 3 4 5 6 7 8 9 10 Quantidade de notas atribuídas

Gráfico 7: Notas atribuídas pelos usuários

6. Conclusão

De acordo com os resultados obtidos, pode-se agora concluir que:

- Apenas 25% das tarefas foi concluída com sucesso, o que compromete a eficácia do programa;

- A eficiência do software também ficou comprometida devido aos grandes intervalos de tempo de realização das tarefas, o que indica que o programa tem problemas quanto à navegação;

- Quanto à satisfação do usuário, levando-se em consideração o gráfico 6 e as notas atribuídas ao software mostradas no gráfico 7, pode-se concluir que os usuários não ficaram satisfeitos com a utilização deste.

Dessa forma, o programa, em geral, não estaria pronto para a comercialização, uma vez que os testes de usabilidade em conjunto com a norma ISO 9241/11 deram negativos para a usabilidade.

Com a realização deste trabalho comprovou-se, inicialmente, como a ergonomia, em geral, e do software, em particular, contribuem para o desenvolvimento de sistemas que garantem a usabilidade, gerando produtividade e satisfação para o usuário. Isso se deve à igualdade dada tanto à lógica de utilização quanto à lógica de funcionamento, para isso o usuário deve participar de todo o processo durante todo o ciclo de vida do software, a fim de se obter um sistema que permita uma perfeita interação entre o usuário e a máquina, que gere eficiência, eficácia e satisfação.

(7)

Conclui-se que a participação do usuário é a base para o desenvolvimento e avaliação de um sistema. Porém, para que sua intervenção tenha valor ainda maior é necessário que ele seja respeitado, ouvido pela equipe de desenvolvimento e que tenha consciência de que a sua colaboração é importante, que suas análises e sugestões irão garantir a usabilidade do produto e que como consumidor e cidadão ele tem direito a produtos com qualidade, eficientes, eficazes, e que o satisfaçam. Para isso a escola deve proporcionar um ambiente democrático, de debates, de reflexão crítica sobre conteúdos e a realidade, para garantir a formação de cidadãos e consumidores, conscientes, autônomos, críticos e exigentes.

Referências

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR 9241/11: requisitos ergonômicos para trabalhos em escritórios com computadores: orientações sobre usabilidade. Rio de Janeiro. 2002.

CYBIS, W. A. Ergonomia de Interfaces Homem-Computador. Apostila para o curso de Pós-Graduação em Engenharia de Produção - Universidade de Santa Catarina, Florianópolis. (última atualização 05/11/2002)

disponível em: <http://www.labiutil.inf.ufsc.br>. Acesso em 12 fev 2005.

CZAJA, S.J. Systems design and evaluation. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997.p.17-39.

HEEMANN, V. Avaliação ergonômica de interfaces de bases de dados por meio de cheklist especializado. Florianópolis, 1997. Dissertação (Mestrado em Engenharia de Produção), Universidade Federal de Santa

Catarina. Disponível em <http://www.eps.ufsc.br>. Acesso em 05 mar 2005.

IIDA, I. Ergonomia: projeto e produção. São Paulo: Edgar Blücher, 1998.

MATIAS, Márcio. Checklist: uma ferramenta de suporte à avaliação ergonômica de interfaces. Florianópolis, 1995. Dissertação (Mestrado em Engenharia de Produção) - Departamento de Engenharia de Produção, Universidade de Santa Catarina.

MORAES, A. Definições. Disponível em: <http://www.venus.rdc.pucrio.br/moraergo/define.htm> . Acesso em

09 mar 2005.

NIELSEN, J. Usability testing. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997. p.1543-1568.

WILSON, J.R.; HAINES, H.M. Participatory ergonomics. In Gavriel Salvendy (edit.), Handbook of human factors and ergonomics. 2.ed. New York: John Wiley, 1997. p.490-513.

Anexo 1: Questionário pós-teste

1. A interface com o software é agradável

( ) Concordo plenamente ( ) Tenho dúvidas

( ) Concordo em parte ( ) Discordo plenamente

2. A navegação do software é fácil

3. Os comandos são claros

4. Não tive dificuldades em realizar alguma(s) tarefa(s)

(8)

( ) Concordo em parte ( ) Discordo plenamente 5. É fácil usar o software

6. Estou satisfeito com o software