Análises e Interpretação dos Resultados Baseado no Método GQM

O objetivo deste estudo foi definido como segue:

Objetivo: Analisar a ferramenta e linguagem GenML quanto à avaliação de seu uso e compreensão do ponto de vista dos desenvolvedores no contexto de modelagem de bancos de dados de genoma.

Depois de definir o objetivo, ele foi então refinado em questões que tentam caracterizar os objetos de medição. Nesta análise foram definidas as questões a seguir:

Q1: Quais os problemas de usabilidade da ferramenta de modelagem de acordo a ob-

servação das variáveis 𝐶𝑂, 𝑃 𝑈 e 𝐸𝐹 ?

Q2: Quão compreensível é a linguagem GenML de acordo as ocorrências das variáveis

𝐸𝐶, 𝐷𝑁 𝑉 e 𝐸𝐴?

A análise dos dados coletados foi iniciada pelo perfil dos usuários. Todos eles indica- ram ter conhecimento médio em modelagem de software e banco de dados. Apenas dois

indicaram ter experiência profissional em atividades de modelagem, os demais só tive- ram contato direto com modelos durante os períodos de formação acadêmica. Nenhum dos participantes relatou ter conhecimento alto em modelagem de software ou banco de dados. Devido à homogeneidade dos participantes (grande maioria com conhecimento médio), esta informação não foi utilizada para correlação com os resultados das variáveis observadas.

Uma das variáveis observadas foi o tempo gasto para modelar os diagramas(variável

𝑇 𝑀 ). A informação de horário de início e término para elaborar cada diagrama foi anotada

pelo observador no formulário de observação. A Figura 33A ilustra o tempo gasto por cada usuário para conclusão da modelagem. A média do tempo (𝑎𝑣𝑔(𝑇 𝑀1, ..., 𝑇 𝑀5)) gasto para conclusão da modelagem foi de 9𝑚𝑖𝑛𝑢𝑡𝑜𝑠.

A quantidade de vezes que os usuários acionaram o observador para sanar dúvidas sobre a ferramenta também foi observada (variável 𝐶𝑂). Todos os usuários consultaram o observador pelo menos uma vez. As dúvidas dos usuários foram provocadas principal- mente por insegurança no uso de alguns botões para modificações do diagrama (exclusões, por exemplo) e problemas de usabilidade da ferramenta. Os usuários fizeram perguntas como "onde alterar o nome de um elemento?", "como alterar o tipo de dado de um atri-

buto?","como excluir elementos do diagrama?". A Figura 33B ilustra a frequência da

variável 𝐶𝑂.

Como mencionado anteriormente, a ferramenta apresentou alguns problemas de usabi- lidade (variável 𝑃 𝑈 ) que devem ser levados em consideração para melhorar a experiência do usuário. Todas as ocorrências desta natureza foram devidamente anotadas pelo obser- vador e serão consideradas para melhoria da ferramenta. A Figura 33C ilustra a frequência da variável 𝑃 𝑈 .

Assim, concluiu-se que devem ser realizadas algumas melhorias na usabilidade da ferramenta para melhorar a experiência do usuário. Como exemplo de melhorias, será ne- cessário adicionar algumas facilidades como a alteração de nomes e exclusão de elementos diretamente no diagrama.

Os diagramas desenvolvidos pelos participantes do experimento foram avaliados com base nos requisitos básicos que deveriam ser alcançados para categorizar se os diagramas estariam ou não completos. Para esta avaliação foram verificados tanto a utilização dos elementos obrigatórios do meta-modelo quanto os atributos definidos na estrutura da entidade proposta no exercício. Nenhum dos usuários concluiu a atividade com diagramas incompletos (variável 𝐷𝐼).

Outra variável observada nesse experimento foi a quantidade de componentes utiliza- dos incorretamente na elaboração dos diagramas (variável 𝐸𝐶, Figura 33D). Esta variável se preocupou em observar erros de compreensão do usuário na utilização dos elementos gráficos da linguagem. Apenas um usuário cometeu este tipo de erro confundindo o ele- mento gráfico de entidade com o de atributo. O usuário percebeu a falha e corrigiu o

diagrama sem intervenção do observador.

Os diagramas foram avaliados ainda quanto ao uso correto dos elementos para ca- tegorizar se os diagramas estariam ou não válidos (aprovados pela validação da própria ferramenta). A validação da ferramenta verifica se os modelos estão em conformidade com as regras do meta-modelo (sintaxe abstrata da linguagem de modelagem). Nenhum dos diagramas apresentou este tipo de problema (variável 𝐷𝑁 𝑉 ) mas é importante menci- onar que a ferramenta foi desenvolvida com recursos que impedem estes tipos de erros. Não é possível que o usuário crie uma versão de uma fonte (SourceVersion) sem antes ter criado o elemento Source que irá recebê-lo, por exemplo. Assim, os usuários são levados a obedecer as regras e hierarquia definidas pelo meta-modelo. Desta maneira, a ferramenta também contribuiu para que não houvesse a ocorrência de casos para as variáveis 𝐸𝐴 e

𝐸𝐹 .

Para responder a questão 𝑄1 de uma maneira quantitativa foi definida uma equa- ção com base na média aritmética da ocorrência das variáveis (métricas) relacionadas a usabilidade da ferramenta. Esta equação foi definida como segue:

𝑈 = 𝐶𝑂+𝑃 𝑈 +𝐸𝐹_{𝑁 𝑃}

onde:

• 𝑈 é o indicador de usabilidade;

• 𝐶𝑂 é o número de ocorrências da variável 𝐸𝐶;

• 𝑃 𝑈 é o número de ocorrências da variável 𝐷𝑁 𝑉 ;

• 𝐸𝐹 é o número de ocorrências da variável 𝐸𝐴; e

• 𝑁 𝑃 é o número de participantes do estudo.

Para responder a questão 𝑄2 de uma maneira quantitativa foi definida uma equa- ção com base na média aritmética da ocorrência das variáveis (métricas) relacionadas a compreensão do modelo. Esta foi definida como segue:

𝐶 = 𝐸𝐶+𝐷𝑁 𝑉 +𝐸𝐴_{𝑁 𝑃}

onde:

• 𝐶 é o indicador de compreensão;

• 𝐸𝐶 é o número de ocorrências da variável 𝐸𝐶;

• 𝐷𝑁 𝑉 é o número de ocorrências da variável 𝐷𝑁 𝑉 ;

• 𝐸𝐴 é o número de ocorrências da variável 𝐸𝐴; e

6.2.2.1

Discussão

Após calcular os resultados, foi obtido como resposta para a questão 𝑄1 o valor 2, 8, indicando que melhorias de usabilidade ainda devem ser realizadas na ferramenta de modelagem para melhorar a experiência do usuário uma vez que este valor representa que 56% dos usuários enfrentaram algum problema de usabilidade.

Já para a questão 𝑄2, foi obtido o valor 0, 2 indicando que a linguagem GenML possui um ótimo nível de compreensão uma vez que este valor representa que apenas 4% dos usuários demonstraram não terem compreendido algum elemento da linguagem GenML. Mas é importante mencionar ainda, que este problema de compreensão foi resolvido pelo próprio usuário sem intervenção do observador e o exercício foi concluído com sucesso.