Análise dos Resultados

6.4.1. Duração

A Tabela 9 apresenta a duração de cada transformação em cada etapa do experimento e a Figura 49 ilustra o gráfico correspondente.

Transformação Automática Transformação Manual

Experimento 1 1 hora e 1 minuto 1 hora e 28 minutos

Experimento 2 6 segundos 1 hora e 18 minutos

Tabela 9. Duração das Etapas do Experimento

00:00 00:14 00:28 00:43 00:57 01:12 01:26 01:40 Exp 1 Exp 2

Transformação Automática Transformação Manual

Figura 49. Gráfico de Duração das Etapas do Experimento

Podemos observar uma grande diferença na duração das transformações automáticas dos Experimentos 1 e 2. Isso ocorreu porque no Experimento 1 os participantes do Grupo 2 perceberam a necessidade de realizar alguns ajustes no Modelo de Features gerado por ReqSys-MDD. Enquanto no Experimento 2 os participantes do Grupo 1 chegaram a conclusão de que a especificação PL-AOVgraph gerada por ReqSys-MDD não precisava de nenhum ajuste.

Quanto às transformações manuais, nenhum dos grupos optou por fazer modificações no modelo de saída depois de receber a Tabela de Mapeamento (Tabela 8).

6.4.2. Rastreabilidade

Ao analisar tanto a especificação PL-AOVgraph quanto o Modelo de Features gerados por ReqSys-MDD durante o experimento, percebemos que estes representam 100% dos elementos e características definidas no modelo de entrada. Ou seja, nenhuma informação do modelo de entrada foi perdida após a transformação, apesar de PL-AOVgraph e Modelo de Features utilizarem diferentes abordagens de representação. Por exemplo, Em PL-AOVgraph as informações transversais são concentradas em crosscuttings enquanto no Modelo de Features podem estar espalhadas por todo modelo.

6.4.3. Verificação das Hipóteses

Para verificar as hipóteses precisamos responder as questões utilizando suas respectivas métricas.

• Q1: O usuário de ReqSys-MDD ganha tempo ao realizar a transformação automática

de PL-AOVgraph para Modelo de Features, mesmo tendo que eventualmente efetuar ajustes manuais?

o Métrica: O tempo utilizado pelo Grupo 2, que realizou esta transformação através de ReqSys-MDD, foi inferior ao tempo utilizado pelo Grupo 1, que realizou a mesma transformação manualmente, apesar do Grupo 2 ter realizado alguns ajustes manuais no Modelo de Features gerado.

o Hipótese: Dessa forma, podemos concluir que “Menos tempo é necessário para realizar a transformação de PL-AOVgraph para Modelos de Features com ReqSys-MDD e efetuar os ajustes do que realizar a mesma transformação manualmente” (Hipótese H11).

• Q2: O usuário de ReqSys-MDD ganha tempo ao realizar a transformação automática

de Modelo de Features para PL-AOVgraph, mesmo tendo que eventualmente efetuar ajustes?

o Métrica: O tempo utilizado pelo Grupo 1, que realizou esta transformação através de ReqSys-MDD, foi inferior ao tempo utilizado pelo Grupo 2, que realizou a mesma transformação manualmente. Isto se deve ao fato do Grupo 1 não ter encontrado a necessidade de realizar nenhum ajuste na especificação PL-AOVgraph gerada.

o Hipótese: Assim, concluímos que “Menos tempo é necessário para realizar a transformação de Modelos de Features para PL-AOVgraph com ReqSys-MDD e efetuar os ajustes do que realizar a mesma transformação manualmente” (Hipótese H21).

• Q3: As especificações PL-AOVgraph produzidas por ReqSys-MDD possuem

elementos que representam todas as features definidas no Modelo de Features e suas características?

o Métrica: A análise da especificação PL-AOVgraph gerada por ReqSys-MDD mostrou que 100% das features do Modelo de Features de entrada, bem como suas características, foram representadas na especificação.

o Hipótese: Logo, “Todas as features definidas no Modelo de Features e suas características são representadas nas especificações PL-AOVgraph produzidas por ReqSys-MDD” (Hipótese H31).

• Q4: Os Modelos de Features produzidos por ReqSys-MDD contém elementos que

representam todos os requisitos modelados em PL-AOVgraph e suas características?

o Métrica: A análise do Modelo de Features gerado por ReqSys-MDD mostrou que 100% dos requisitos da especificação PL-AOVgraph de entrada, bem como suas características, foram representados no Modelo de Features.

o Hipótese: Portanto, “Todos os requisitos modelados em PL-AOVgraph e suas características são representados nos Modelos de Features produzidos por ReqSys-MDD” (Hipótese H41).

6.4.4. Considerações Finais do Experimento Controlado

Este experimento revelou que a transformação automática, através de ReqSys-MDD, proporcionou um ganho maior quando o modelo de saída não necessitou de ajustes, uma vez que este foi gerado em segundos. O experimento também demonstrou que mesmo quando os usuários de ReqSys-MDD precisaram realizar ajustes manuais nos modelos de saída, o tempo total para elaboração da versão final do Modelo de Features foi inferior ao utilizado pela equipe que produziu o modelo manualmente.

Além disso, os artefatos gerados por ReqSys-MDD representaram todas as informações contidas no modelo de entrada. A preservação das informações do modelo de origem é fundamental caso seja necessário realizar uma transformação inversa, para manter a rastreabilidade entre os modelos.

A ferramenta XFeature foi utilizada em todas as etapas do experimento, inclusive na transformação manual, permitindo a criação, edição e visualização dos Modelos de Features, porém foi bastante criticada pelos participantes pelos seguintes motivos: (i) Não permite o ajuste do zoom do Modelo de Features para facilitar a visualização do modelo como um todo ou em partes a critério do usuário; (ii) Não permite a seleção de todas as features ao mesmo tempo; (iii) Não permite a exclusão de uma feature ao pressionar a tecla “del”, apenas através da função “Remove node”; (iv) Não implementa a auto-organização do Modelo de Features; (v) Não implementa a funcionalidade “Localizar”, muito útil para encontrar uma feature específica em um modelo extenso; (vi) Não permite que o Modelo de Features seja salvo como uma figura. Além disso, alguns participantes estranharam a notação FMP por estarem familiarizados com a notação FODA.

Apesar de ReqSys-MDD e XFeature serem diferentes ferramentas, ao vinculá-las, ou seja, ao tornar ReqSys-MDD dependente de XFeature, mesmo que indiretamente, estendemos à nossa ferramenta todas as limitações de XFeature. Por este motivo, como trabalho futuro sugerimos a implementação de um editor gráfico de Modelos de Features que seria acoplado a ReqSys-MDD.

Este foi apenas um experimento inicial, que indicou uma evidência positiva na utilização da ferramenta ReqSys-MDD no processo de mapeamento entre PL-AOVgraph e Modelo de Features. Em trabalhos futuros pretendemos realizar outro experimento controlado, considerando as ameaças a validade identificadas neste experimento inicial, com o intuito de obter resultados mais precisos e confiáveis.