Teste de Usabilidade

4.3.1

The Post-Study System Usability Questionnaire

O estudo proposto por [31] apresenta quatro métodos para avaliar a usabilidade de sistemas. O método The After-Scenario Questionnaire - (ASQ) é baseado em cenários, ou seja, os usários devem executar um cenário e em seguida responder a três questões, assim por diante, até a quantidade de cenários acabar.

O The Printer-Scenario Questionnaire - (PSQ) é uma versão antiga do ASQ. Também é baseada em cenários e possui um questionário com apenas três questões. O terceiro método é o The Computer System Usability Questionnaire - (CSUQ) e é indicado para quando o estudo de usabilidade é em um ambiente que não seja em laboratório.

O último método é o PSSUQ (The Post-Study System Usability Questionnaire). Este método permite calcular quatro diferentes fatores a partir das respostas obtidas do questi- onário de avaliação. Os 4 fatores são: satisfação geral, utilidade do sistema, qualidade da

informação e qualidade da interface. Optamos escolher este método (ApêndiceC) por ser o que está de acordo com nosso contexto, ele é baseado em um conjunto de tarefas com o usuário respondendo o questionário após a execução de todas as tarefas. É indicado para testes de usabilidade em ambientes laboratoriais e possui quatro fatores que podem ser avaliados, permitindo uma avaliação de usabilidade mais ampla.

O questionário do método PSSUQ é composto por dezenove índices, organizada em sete itens de resposta que estão em uma escala gráfica de 7 pontos, que varia de "Discordo totalmente"com valor 7 e "Concordo totalmente"com valor 1.

A partir deste método, adotamos apenas o questionário, já que permite uma avaliação de usabilidade mais ampla abrangendo quatro diferentes fatores, contudo, fizemos uma adaptação em virtude de sabermos que quanto maior a escala, mais difícil dos participan- tes a interpretarem [50]. Por esta questão e também pela quantidade dos participantes na avaliação da usabilidade, optamos reduzir para uma escala Likert de cinco níveis: con- cordo fortemente, concordo, neutro, discordo e discordo totalmente. Também poderíamos elaborar nosso próprio questionário, incluindo nossas próprias perguntas, porém, vários desafios seriam encontrados, por exemplo:

• Utilizar linguagem apropriada para a população; • Cada pergunta deve cobrir exatamente um conceito; • Evitar respostas vagas e ambíguas;

• Balancear as perguntas positivas e negativas.

Além disso, o questionário deve ser validado antes de sua utilização. Segundo [8], o melhor é utilizar instrumentos de outras pessoas, visto que já foram validados e, além disso, torna mais fácil a análise dos resultados da pesquisa. Por esta razão, decidimos escolher um questionário que já foi validado e amplamente utilizado.

4.3.2

Usuários

Os usuários que participaram do teste de usabilidade são alunos de pós-graduação em Ciência da Computação da instituição Universidade Federal de Pernambuco. Eles estavam cursando a disciplina de Engenharia de Requisitos e, portanto, possuiam algum contato com ferramentas de modelagem. Ao todo, 15 foram os usuários que participaram do teste.

102

4.3.3

Equipamentos e Ambiente

Os equipamentos utilizados na realização do teste de usabilidade estão descritos na Tabela

4.3.3.

Tabela 4.2 Equipamentos utilizados para realização do teste

Equipamento Características

Computador Pessoal Os componentes de hardware do teste foram computadores pessoais (monitor, gabinete, teclado e mouse). Softwares Básicos Windows 7, 64 bits, 8GB Ram, Processador AMD Phenom

(tm) II X4 B97 3.20 GHz, eclipse Kleper Build id:20130614-0229

Um ambiente real foi utilizado para a realização do teste: o laboratório de computado- res do Centro de Informática da Universidade Federal de Pernambuco. Os computadores foram previamente configurados com a versão do eclipse Kepler, a qual foi utilizada para desenvolver a ferramenta. Assim, possíveis erros de compatibilidade foram evitados, deixando o usuário focado apenas nas tarefas do teste de usabilidade.

4.3.4

Tarefas

Para esta avaliação, os usuários tiveram que realizar uma sequência de tarefas cujo objetivo era a construção de parte do cenário de check-in de um aeroporto, visto que o cenário completo exige mais tempo para a execução do teste. Este cenário foi escolhido visando explorar a utilização do máximo de recursos que a ferramenta oferece.

As tarefas envolvem a modelagem de ponto de variação, variantes, relacionamento entre o ponto de variação e variante, a definição do WorkflowPattern, que representa a maneira como as variantes serão alocadas em um novo processo, a importação de modelos BPMN, a modelagem de requisitos não-funcionais e informações contextuais e os relacionamentos entre os requisitos e informações de contexto com uma variante. As tarefas de usuário que foram utilizadas para o teste podem ser consultadas no Apêndice

B.

4.3.5

Processo de Coleta dos Dados

Devido a complexidade da abordagem BVCCoN, no dia 26/11/2013 foi apresentado um seminário com o objetivo de deixar os usuários cientes do teste. A abordagem foi breve-

mente apresentada, assim como uma introdução da ferramenta e suas funcionalidades. A coleta de dados foi realizada no dia 29/11/2013 das 10:00h às 12:00h. Inicialmente, cada usuário foi direcionado para um computador onde o eclipse Kleper já estava aberto e pronto para a inicialização do teste. Também foi entregue para cada usuário a lista de tarefas a serem realizadas (ApêndiceB) e um manual da ferramenta (ApêndiceA).

Em seguida, foram apresentadas aos usuários as seguintes regras para a realização do teste usabilidade:

1. Seguir a lista de tarefas, executando-as em sequência;

2. Em caso de dúvida na realização de alguma tarefa, consultar o manual da ferra- menta;

3. Se a dúvida persistir, tentar executar a tarefa da maneira que achar que está correto; 4. Se a tentativa anterior fracassar, pedir auxílio ao monitor;

5. Após finalizar o teste, acessar o formulário online disponível em: http:goo.glQ5eoB0 e respondê-lo de acordo com as tarefas que foram executadas (o formulário encontra-se no ApêndiceC);

6. Após a conclusão destas etapas, o teste foi finalizado. O teste é iniciado após o instrutor autorizar a inicialização.

4.3.6

Resultados

Para analisar os dados coletados no questionário, utilizamos o método proposto por [34]. Visto que nosso objetivo não é escolher o melhor método para avaliar os dados coletados, não fizemos comparações entre métodos.

O método descrito em [34] visa analisar resultados obtidos em questionários na forma de escala de Likert. A Tabela 4.3 apresenta os dados coletados do questionário. As respostas foram dadas por 15 participantes (A-O) a um questionário de 19 itens. A parte direita da tabela é exibido a soma da quantidade de respostas de cada participante agrupadas pelos pontos da escala Likert [33], ou seja, demonstra quantas vezes cada participante escolheu 5, 4, 3, 2, e 1 como resposta.

Para identificar o número que corresponderá a "sem opinião", calculamos a média como se todas as respostas para todos os índices fossem 3. Ou seja, Media = (19 ∗ 3)

104

onde 19 é o total de itens e 3 é o número que corresponde a neutro, "sem opinião". Neste caso, o resultado é 57.

Analisando a Tabela 4.3, o participante K atingiu o total de 58 pontos, muito pró- ximo do número 57, que corresponde a "sem opinião". Ainda analisando a Tabela4.3, identificamos que o participante L não mostrou coerência em suas respostas, marcando "concordo totalmente"para os 19 itens do questionário, tornando um viés para a pes- quisa. Por isso, ele foi excluído das próximas análises. O restante dos participantes que responderam o questionário mostraram coerência em suas respostas.

De acordo com método utilizado para analisar os dados [34], é importante observar que a identificação de participantes que não mostram coerência em suas respostas é realizada de forma manual, fazendo comparações com as respostas de outros participantes. Por isso, pode ocorrer certo viés durante a análise manual, tornando um ponto negativo do método usado.

105 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Total 5 4 3 2 1 A 5 4 5 4 4 4 5 4 3 3 5 4 5 5 4 5 5 5 4 83 9 8 2 0 0 B 4 4 5 5 5 4 4 4 3 3 3 4 4 4 4 4 5 4 5 78 5 11 3 0 0 C 4 3 4 5 5 3 4 3 3 3 5 5 3 5 5 4 3 4 4 75 6 6 7 0 0 D 4 4 4 3 3 4 4 2 3 3 3 4 4 4 4 4 2 3 3 65 0 10 7 2 0 E 5 5 5 5 5 4 4 5 5 5 3 3 4 4 4 4 4 4 5 83 9 8 2 0 0 F 4 4 4 3 4 4 4 2 3 3 4 3 3 3 3 4 4 4 4 67 0 11 7 1 0 G 4 4 4 4 4 3 4 4 3 3 4 4 4 4 4 4 4 4 4 73 0 16 3 0 0 H 4 4 4 4 3 4 4 4 3 4 4 4 4 3 4 4 4 4 4 73 0 16 3 0 0 I 4 4 5 5 3 4 4 4 4 3 3 4 4 4 4 4 4 4 4 75 2 14 3 0 0 J 5 5 5 4 5 4 4 3 1 2 4 3 5 4 5 4 4 3 4 74 6 8 3 1 1 K 2 3 4 2 3 1 3 2 3 4 4 4 3 3 4 4 3 3 3 58 0 6 9 3 1 L 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 95 19 0 0 0 0 M 4 4 2 4 4 3 3 2 4 4 4 4 4 4 4 4 3 4 4 69 0 14 3 2 0 N 3 3 4 3 4 3 4 4 2 3 4 3 4 4 4 3 3 3 3 64 0 8 10 1 0 O 4 4 3 4 3 4 4 4 3 4 4 4 4 3 4 3 4 4 4 71 0 14 5 0 0

106

4.3.6.1 Satisfação Geral

A Tabela 4.4 apresenta os dados com o participante L já excluído, assim, podemos continuar com a análise. Utilizando a Tabela4.4, calculamos a média de todas as respostas obtidas. Somamos os dados da coluna "Total"e dividimos pelo total de participantes. Assim sendo: Media = (1008/14), cujo resultado é 72. Portanto, a média de todos os participantes é superior a média 57 ("sem opinião"), implicando que de uma maneira geral nossa ferramenta foi bem aceita pelos participantes. Desta forma, o primeiro fator que queremos calcular (satisfação geral) foi respondido.

O próximo passo é criar os grupos dos participantes que são "favoráveis"e os que são "desfavoráveis"ao tema em questão. Para isto, fizemos uma comparação da média que representa "sem opinião", neste caso 57 com o total obtido por cada participante (Coluna "Total"). Os participantes com um total inferior a 57 entrariam no grupo dos que são "desfavoráveis"e aqueles com um total superior a 57 no grupo dos "favoráveis".

Não foi possível criar os dois grupos, visto que todos os participantes são "favorá- veis", ou seja, estão no grupo dos que concordam que nossa ferramenta possui uma boa usabilidade. Também somamos as respostas das colunas, visando identificar os índices cujas respostas de uma maneira geral foram positivas, negativas, ou os participantes não possuem opinião sobre a mesma. Para realizar esta tarefa, calculamos a média de respostas de cada índice individualmente e comparamos com a média se todas as respostas para um índice fossem 3 ("sem opinião"). Assim, Media = 3 ∗ 14 onde 3 é o número que corresponde a neutro, "sem opinião"e 14 é o número de participantes. Obtemos como resposta o número 42.

De acordo com a Tabela4.4, a média de todas os itens foram superiores ao número 42. Porém, a média do item número 9 (média 43) se aproxima muito do número 42, que corresponde a "sem opinião". Portanto, de uma maneira geral, os participantes não possuem opinião sobre o item The system gave error messages that clearly told me how to fix problems..

107 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Total 5 4 3 2 1 A 5 4 5 4 4 4 5 4 3 3 5 4 5 5 4 5 5 5 4 83 9 8 2 0 0 B 4 4 5 5 5 4 4 4 3 3 3 4 4 4 4 4 5 4 5 78 5 11 3 0 0 C 4 3 4 5 5 3 4 3 3 3 5 5 3 5 5 4 3 4 4 75 6 6 7 0 0 D 4 4 4 3 3 4 4 2 3 3 3 4 4 4 4 4 2 3 3 65 0 10 7 2 0 E 5 5 5 5 5 4 4 5 5 5 3 3 4 4 4 4 4 4 5 83 9 8 2 0 0 F 4 4 4 3 4 4 4 2 3 3 4 3 3 3 3 4 4 4 4 67 0 11 7 1 0 G 4 4 4 4 4 3 4 4 3 3 4 4 4 4 4 4 4 4 4 73 0 16 3 0 0 H 4 4 4 4 3 4 4 4 3 4 4 4 4 3 4 4 4 4 4 73 0 16 3 0 0 I 4 4 5 5 3 4 4 4 4 3 3 4 4 4 4 4 4 4 4 75 2 14 3 0 0 J 5 5 5 4 5 4 4 3 1 2 4 3 5 4 5 4 4 3 4 74 6 8 3 1 1 K 2 3 4 2 3 1 3 2 3 4 4 4 3 3 4 4 3 3 3 58 0 6 9 3 1 M 4 4 2 4 4 3 3 2 4 4 4 4 4 4 4 4 3 4 4 69 0 14 3 2 0 N 3 3 4 3 4 3 4 4 2 3 4 3 4 4 4 3 3 3 3 64 0 8 10 1 0 O 4 4 3 4 3 4 4 4 3 4 4 4 4 3 4 3 4 4 4 71 0 14 5 0 0 5 3 2 5 4 4 0 1 1 1 1 2 1 2 2 2 1 2 1 2 4 9 9 7 6 5 9 11 7 2 4 8 9 9 8 11 11 7 9 9 Média 3 1 3 1 3 5 4 2 2 9 8 4 4 3 4 1 2 4 4 3 72 2 1 0 1 1 0 0 0 4 1 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 Total 56 55 58 55 55 49 55 47 43 47 54 53 55 54 57 55 52 53 55

108

Tabela 4.5 Utilidade do Sistema

1 2 3 4 5 6 7 8 Total 5 4 3 2 1 A 5 4 5 4 4 4 5 4 35 3 5 0 0 0 B 4 4 5 5 5 4 4 4 35 3 5 0 0 0 C 4 3 4 5 5 3 4 3 31 2 3 3 0 0 D 4 4 4 3 3 4 4 2 28 0 5 2 1 0 E 5 5 5 5 5 4 4 5 38 6 2 0 0 0 F 4 4 4 3 4 4 4 2 29 0 6 1 1 0 G 4 4 4 4 4 3 4 4 31 0 7 1 0 0 H 4 4 4 4 3 4 4 4 31 0 7 1 0 0 I 4 4 5 5 3 4 4 4 33 2 5 1 0 0 J 5 5 5 4 5 4 4 3 35 4 3 1 0 0 K 2 3 4 2 3 1 3 2 20 0 1 3 3 1 M 4 4 2 4 4 3 3 2 26 0 4 2 2 0 N 3 3 4 3 4 3 4 4 28 0 4 4 0 0 O 4 4 3 4 3 4 4 4 30 0 6 2 0 0 4.3.6.2 Utilidade do Sistema

Nesta seção, analisamos os itens que correspondem a utilidade do sistema. Neste caso, os itens são aqueles que estão entre 1 e 8. Realizamos todos os procedimentos que foram descritos na seção4.3.6.1e encontramos os resultados obtidos na Tabela4.5.

• Média para todas as respostas com pontuação 3 ("sem opinião"): 24;

Comparando o número 30,71 que corresponde a média de todos os itens de todos os participantes com o número 24 que é a média se todas as respostas fossem 3 ("sem opi- nião"), concluímos que nossa ferramenta foi considerada útil pelos usuários na realização das tarefas que a mesma se propõe a fazer.

Para este caso específico (utilidade do sistema), apenas um participante (o K) faz parte do grupo dos que são "desfavoráveis". Ou seja, sua média de respostas foi inferior a média "sem opinião". Assim, os 13 participantes restantes fazem parte do grupo dos "favoráveis".

4.3.6.3 Qualidade da Informação

Nesta seção, analisamos os itens correspondentes a qualidade da informação fornecida pela ferramenta assim como a documentação. Os itens analisados são aqueles entre 9 e 15. Os procedimentos realizados na seção4.3.6.1foram repetidos para este caso e os resultados são encontrados na Tabela4.6.

Tabela 4.6 Qualidade da Informação 9 10 11 12 13 14 15 Total 5 4 3 2 1 A 3 3 5 4 5 5 4 29 3 2 2 0 0 B 3 3 3 4 4 4 4 25 0 4 3 0 0 C 3 3 5 5 3 5 5 29 4 0 3 0 0 D 3 3 3 4 4 4 4 25 0 4 3 0 0 E 5 5 3 3 4 4 4 28 2 3 2 0 0 F 3 3 4 3 3 3 3 22 0 1 6 0 0 G 3 3 4 4 4 4 4 26 0 5 2 0 0 H 3 4 4 4 4 3 4 26 0 5 2 0 0 I 4 3 3 4 4 4 4 26 0 5 2 0 0 J 1 2 4 3 5 4 5 24 2 2 1 1 1 K 3 4 4 4 3 3 4 25 0 4 3 0 0 M 4 4 4 4 4 4 4 28 0 7 0 0 0 N 2 3 4 3 4 4 4 24 0 4 2 1 0 O 3 4 4 4 4 3 4 26 0 5 2 0 0

Comparando o número 25,93 que corresponde a média de todos os itens de todos os participantes com o número 21 que é a média se todas as respostas fossem 3 ("sem opinião"), concluímos que nossa ferramenta foi considerada pelos usuários como ofertante de boa qualidade de informação visual, bem como em documentação na realização das tarefas.

Para este caso específico (qualidade da informação), apenas a média do participante F(média 22) ficou muito próximo da média "sem opinião"(média 21). Ou seja, apenas uma pessoa não possuiu uma opinião bem definida sobre a qualidade da informação da ferramenta.

4.3.6.4 Qualidade da Interface

Para analisar a qualidade da interface, os itens relacionados são os 16, 17 e 18. Mais uma vez repetimos os procedimentos da seção4.3.6.1para encontrarmos os dados relacionados a qualidade da informação. A Tabela4.7apresenta os resultados que foram alcançados.

• Média para todas as respostas com pontuação 3 ("sem opinião- linhas): 9;

Comparando o número 11,43 que corresponde a média de todos os itens de todos os participantes com o número 9 que é a média se todas as respostas fossem 3 ("sem opinião"), podemos concluir que nossa ferramenta possui uma boa qualidade da interface e que é agradável sua utilização.

Quando comparamos a média individual de cada participante com a média "sem opinião", identificamos que os participantes D e N possuem a mesma média (média 9).

110

Tabela 4.7 Qualidade da Interface 16 17 18 Total 5 4 3 2 1 A 5 5 5 15 3 0 0 0 0 B 4 5 4 13 1 2 0 0 0 C 4 3 4 11 0 2 1 0 0 D 4 2 3 9 0 1 1 1 0 E 4 4 4 12 0 3 0 0 0 F 4 4 4 12 0 3 0 0 0 G 4 4 4 12 0 3 0 0 0 H 4 4 4 12 0 3 0 0 0 I 4 4 4 12 0 3 0 0 0 J 4 4 3 11 0 2 1 0 0 K 4 3 3 10 0 1 2 0 0 M 4 3 4 11 0 2 1 0 0 N 3 3 3 9 0 0 3 0 0 O 3 4 4 11 0 2 1 0 0

Também identificamos que a média do participante K (média 10) se aproxima muito da média "sem opinião".

A partir destas informações, podemos concluir que 11 participantes (79%) concordam que a ferramenta possui uma boa qualidade de interface e que 3 participantes (21%) não possuem uma opinião bem definida sobre esta questão.