Execução do teste

Para a execução do teste de usabilidade, foi resevado um período de 4 horas. Esse período foi dividido em dois momentos de 2 horas. Primeiramente foi brevemente apresentado o processo GSC2SPL, com o objetivo de tornar clara a execução das atividades.

No segundo momento foi realizado o teste da ferramenta. Inicialmente, cada participante foi alocado em uma maquina onde a ferramenta GCL-Tool já se encontrava aberta. Para a execução do teste, foi entregue uma lista de atividades (Apêndice G) a serem realizadas. Após o termino do teste, cada participante recebeu um questionário para avaliar a ferramenta.

4.3.5. Resultados

Para analisar os dados do questionário, foi utilizada a avaliação proposta por LEWIS (1995). O método propõe analisar os resultados obtidos em questionários na forma de escala de Likert, ou seja, em níveis de satisfação.

Esse método também propõe que seja calculada a média para representar o número neutro. Esse número representa que o usuário é neutro sobre determinado aspecto da ferramenta. Em PEREIRA (2014) o número neutro foi calculado como 57. Como citado anteriormente, para a avaliação foi adotada a escala proposta por PEREIRA (2014), consequentemente o número neutro será 57.

Na Tabela 25 são apresentadas as respostas dos usuários com relação ao questionário proposto para avaliação. Os usuários são representados pelas linhas (A – G) e as quetões são apresentas pelas colunas (1 -19) A coluna Total representa a soma das respostas de cada participante.

Tabela 25. Respostas do questionário

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 Total A 4 5 4 4 4 5 5 4 3 4 2 2 3 4 5 5 5 5 4 77 B 5 5 5 5 4 5 4 4 2 4 3 3 2 3 4 5 5 5 4 77 C 5 4 5 5 4 4 4 4 4 3 3 3 4 4 5 4 5 5 5 80 D 4 5 3 4 5 4 3 3 3 4 2 2 3 3 4 5 5 4 5 71 E 4 4 5 4 4 3 4 4 2 5 3 3 4 4 5 4 4 5 5 78 F 3 4 4 4 5 5 4 4 2 4 2 2 2 4 5 5 5 4 4 72 G 4 4 5 3 4 5 4 5 4 3 2 3 2 5 5 4 4 5 5 76 Total 29 31 31 29 30 31 28 28 20 27 17 18 20 27 33 32 33 33 32 531 Fonte: AUTOR (2015) Satisfação Geral

Para analisar a satisfação geral é necessário comparar o total do somatório das respostas de cada participante com a média geral. Para realizar essa comparação, primeiramente é necessário calcular a média geral. Para obter esse valor, foi somado os dados da coluna Total e dividido pelo total de participantes.

Assim sendo, a média é (528/7), cujo resultado é 75. Portanto, a média de todos os participantes é superior a 57 ("número neutro"), assim a ferramenta foi bem aceita pelos participantes.

Com base no número neutro são criados os grupos de favoráveis e desfavoráveis, ou seja, grupo de participantes que consideram a ferramenta boa ou não. Analisando os dados, nota-se o grupo de desfavoráveis possui 2 participantes e o grupo de favoráveis possui 4 participantes. O participante H emonstrou não possuir opnião, pois a soma das suas respostas foi igual a 76, valor muito próximo ao número neutro.

Além de avaliar a satisfação por participante, também foi avaliado a satisfação de cada item do questionário, visando identificar os itens cujas respostas de uma maneira geral foram positivas, negativas, ou os participantes não possuem opinião sobre a mesma. Para realizar essa avaliação, primeiramente foi calculada a média, cujo valor é 3*7=21, onde 3 é o número neutro, e 7 é quantidade de participantes.

Para cada item é comparado o seu somatório com média descoberta anteriormente. Após realizar essa comparação, nota-se que a média do item 9 (média 20) se aproxima da média (21), assim concluimos que os participantes não possuem opnião sobre o item The system gave error messages that clearly told me how to fix problems. A neutralidade em relação a esse item ocorre porque no desenvolvimento da ferramenta não houve a preocupação de implementar validadores para os editores gráficos.

Ainda analisando os itens, notou-se que a média do item 11 (média 17) e média do item 12 (média 18) são inferiores a média 21. Portanto, os participantes ficar insatisfeitos em relação ao Item 11 - The information (such as line help, on-screen messages and other documentation) provided with this system was clear e ao Item 12 - It was easy to find the information I needed. Essa insatisfação ocorre, pois a versão atual da ferramenta não possui um Help.

Utilidade do Sistema

Essa análise tem como objetivo verificar a utilidade da ferramenta para realização do processo. Para verificar a utilidade são analisados os itens 1 a 8 do questionário. As respostas dos itens 1 a 8 são apresentado na Tabela 26.

Tabela 26. Dados sobre a utilidade do sistema 1 2 3 4 5 6 7 8 Total A 4 5 4 4 4 5 5 4 35 B 5 5 5 5 4 5 4 4 37 C 5 4 5 5 4 4 4 4 35 D 4 5 3 4 5 4 3 3 31 F 4 4 5 4 4 3 4 4 32 G 3 4 4 4 5 5 4 4 33 H 4 4 5 3 4 5 4 5 34 Total 29 31 31 29 30 31 28 28 237 Fonte: Autor (2015)

A média será 3*8 que é igual a 24. O número 3 representa o item neutro das respostas e o número 8 representa o total de itens analisados para verificar a utilidade do sistema.

A média das respostas dos participantes é igual a 33 (237/7), assim a média das respostas do participante é maior que a média dos itens. Portanto, conclui-se que a ferramenta foi considerada útil na realização das atividades do processo GSC2SPL.

Qualidade da Informação

A avaliação da qualidade da informação é realizada para saber qual a qualidade

dos artefatos obtidos com a utilização da ferramenta. Para verificar a qualidade da informação são analisados os itens 13, 14 e 15. As respostas desses itens são apresentados na Tabela 27.

Tabela 27. Dados referentes à qualidade da informação

13 14 15 Total

A 3 4 5 12

B 2 3 4 9

D 3 3 4 10 F 4 4 5 13 G 2 4 5 11 H 2 5 5 12 Total 20 27 33 80 Fonte: AUTOR (2015)

Assim como a outras avaliações, primeiramente é calculada a média. A média

para analisar a qualidade da informação é igual a 3*3=9. O número 3 representa o item neutro das respostas e o número 3 representa o total de itens analisados para verificar a qualidade da informação.

A média das respostas dos parcipantes é igual a 26 (80/3), assim a média das respostas é maior que a média dos itens. Portanto, conclui-se que os participantes consideraram que as informações obtidas são de boa qualidade.

Qualidade da Interface

Essa avaliação tem como objetivo avaliar a qualidade da interface do sistema. Para essa avaliação são analisados os itens 16, 17 e 18 do questionário. As respostas para esse itens são apresentadas na Tabela 28.

Tabela 28. Dados referentes a qualidade da interface

16 17 18 Total A 5 5 5 15 B 5 5 5 15 C 4 5 5 14 D 5 5 4 14 F 4 4 5 13 G 5 5 4 14 H 4 4 5 13 Total 32 33 33 98 Fonte: AUTOR (2015)

A média será igual a 3*3=9. O número 3 representa o item neutro das respostas e o número 3 representa o total de itens analisados para verificar a qualidade da informação.

Analisando os dados, nota-se que média das respostas dos parcipantes é igual a 32 (98/3), assim a média das respostas é maior que a média dos itens. Portanto, conclui-se que os participantes consideraram que a internface possui uma boa qualidade.

4.4. Considerações Finais

Nesse capítulo foi apresentada a ferramenta. Inicialmento foi apresentado uma visão geral da ferramenta GCL-Tool. Essa ferramenta é composta por editores e módulos. Os editores são utilizados para modelar e visualizar os artefatos do processo. No total a ferramenta é composta por 4 deles editores de modelagem gráfica e 1 editor de informações textuas.

Os editores de modelagem gráfica são os seguintes: editor do i*-ortogonal, editor do i*-wiki, editor de modelo de features e editor de modelo de contextos. O editor do i*-ortogonal é utilizado para criar modelos de objetivos segundo a linguagem de modelagem i*-ortogonal (LIMA, 2011). O editor do i*-wiki possibilita criar modelos de objetivos segundo a linguagem i*-wiki (GRAU, et. al., 2008).

O editor de modelo de features foi elaborado de acordo com os conceitos expresso em CZARNECK; HELSEN; EISENECKER (2004). Para o editor de features foi criado um metamodelo. Nesse metamodelo foi possível inserir todas as restrições do modelo de features. Também foi elaborado um editor de modelo de contextos segundo os conceitos expressos por ALI; DALPIAZ; GIORGINI (2010). Também foi desenvolvido um editor de informações textuais para a visualização de edição dos cenários de caso de uso.

Foi desenvolvido o Módulo de Engenharia de Domínio e o Módulo de Engenharia de Aplicação. Os dois módulos são baseados em transformação entre modelos. O módulo de engenharia de domínio tem como objetivo auxiliar a realização das atividades do subprocesso de engenharia de domínio. Através desse módulo foi possível auxiliar todas as diretrizes das atividades para a obtenção do modelo de features e da tabela Goal2Feature. Já para a obtenção dos cenários de caso de uso, não foi possivel auxiliar todas as diretrizes, pois a realização de algumas dessas diretrizes depende da intervenção do analista.

O módulo de engenharia de aplicação tem como objetivos auxiliar a realização das atividades do subprocesso de engenharia de aplicação. Esse módulo realiza o cálculo da prioridade das variantes. Também permite que o analista escolha os elementos que devem estar presente no produto configurado.

Por fim foi apresentao o teste de usabilidade da ferramenta GCL-Tool. Para realizar esse teste, cada participante realizou uma série de atividades do processo GSC2SPL.. Após o teste, cada participante respondeu um questionário, a fim de obter a opnião do usuário em relação à usabilidade da ferramenta. O questionário utilizado foi proposto no método The Post-Study System Usability Questionnaire (PSSUQ). Esse método permite que seja avaliada a satisfação geral do sistema, a utilidade da informação, a qualidade da informação e a qualidade da interface.

Através da avaliação da satisfação geral, concluimos que no geral a ferramenta foi bem aceita pelos participantes. Porém, através dessa análise também foi identificado que a ferramenta deixa a desejar quanto às mensagens de erro, cosnequentemento o sistema não auxilia o usuário a corrigir erros que venham a acontecer. Esse problema pode ser corrigido com o desenvolvimento de checadores mais completos.

A partir da avaliação da utilidade do sistema foi verificado que o sistema permite realizar todas as atividades ao qual ele foi proposto. Há uma ameaça a validade dessa avaliação, pois ela não considera a Atividade 7 – Refinamento dos Cenários de Caso de Uso. A realização dessa atividade é feita através do editor de cenários de caso de uso e como citado anteriormente esse editor possui uma série de limitações. Por esse motivo foi decidido não avaliar esse editor.

A partir da avaliação da qualidade, concluimos que a ferramenta gera informações de qualidade. Por fim, na avaliação da qualidade da interface foi verificado que a interface possui uma boa qualidade. Também há uma amaeça quanto a validade da avaliação da qualidade, pelo fato de que não foi avaliado o editor de cenários de caso de uso.

Após a interpretação de todos os resultados obtidos a paritr da avaliação conclui-se que a ferramenta é útil para a realização do processo. No próximo

capítulo será apresentada uma exemplicação do processo com a utilização da ferramenta.

5