Essa seção apresenta e discute os resultados das métricas já mencionadas na Seção 3.5. Foram analisadas 11 características na LPS WebStore, onde 4 são opcionais e 7 obrigatórias. Na LPS MobileMedia foram analisadas 17 características, sendo 7 opcionais e 10 obrigatórias. As características opcionais desempenham o papel principal na tarefa de permitir variabilidade em LPS e, portanto, devem estar bem modularizadas. Por outro lado, as características obrigatórias também precisam ser investigadas para medir o impacto das mudanças no núcleo da arquitetura da LPS.
Os dados foram coletados e organizados em uma planilha para cada métrica. Para a LPS WebStore, cada planilha possui um total de 4.442 linhas, isto é, uma linha para cada combinação de característica, versão da LPS, mecanismo de variabilidade e artefato. Para a LPS MobileMedia, cada planilha possui um total de 10.622. Assim, em todo o estudo foram medidos 60.264 pontos.
A Figura 5.4 apresenta o valor médio das métricas CDC, CDO, CDLOC e LOCC para cada versão da LPS WebStore. Os valores médios da métrica CDC para o mecanismo FOP foram consistentemente menores em todas as versões. Os valores para o mecanismo DP ficaram entre os valores de FOP e CC. Os valores médios da métrica CDLOC também foram menores para o mecanismos FOP, mas com uma diferença maior em relação aos outros mecanismos. Diferentemente da métrica CDC, CDLOC apresentou menores valores para o mecanismo CC em relação a DP, mas essa diferença foi diminuindo nas versões subsequentes, sendo praticamente iguais na versão 5. Para as métricas CDO e LOCC não houve diferença significativa entre as versões ou os mecanismos de variabilidade.
A Figura 5.5 o apresenta o valor médio das métricas CDC, CDO, CDLOC e LOCC para cada versão da LPS MobileMedia. Os valores médios da métrica CDC tiveram um comportamento similar ao encontrado na LPS WebStore. Os valores para o mecanismo FOP foram consistentemente menores do que os valores em DP, que foram também me- nores que os valores para o mecanismo CC. Para a métrica CDLOC, diferentemente da LPS WebStore, não houve diferença significante entre os valores médios dos mecanismos FOP e DP, mas o mecanismo CC obteve valores muito maiores do que FOP e DP. Além disso, como ocorreu na LPS WebStore, não houve diferença significativa entre os valores médios das métricas CDO e LOCC para os mecanismos FOP, DP e CC. No entanto, para a versão 3, o mecanismo DP apresentou os menores valores médios para as métricas CDLOC, CDO e LOCC.
A Tabela 5.1 apresenta os resultados da mediana, média e desvio padrão para as métricas CDC, CDO, CDLOC e LOCC, considerando todas as versões. Os valores foram submetidos ao teste de Wilcoxon, que é teste não paramétrico frequentemente usado para verificar se existe diferença entre a média de duas amostras pareadas. O teste de Wilcoxon considera informações sobre o sinal e da magnitude das diferenças entre os pares.
5.2. Análise de modularidade 63
Figura 5.4: Métricas de modularidade na evolução da LPS WebStore
Nossos dados foram pareados de acordo com a característica e a versão em cada coluna dos mecanismos CC, FOP e DP. Isso porque todas as colunas possuem valores para as mesmas características e versões. No total, foram calculados 62 pontos de dados em cada coluna. Os resultados estão representados nas Tabelas 5.2, 5.3, 5.4 e 5.5 para CDC, CDO, CDLOC e LOCC respectivamente. O pareamento se mostrou eficaz em todas as análises. A Tabela 5.2 apresenta os resultados na comparação dos valores da métrica CDC utilizando o teste de Wilcoxon entre o pares de mecanismos de variabilidade em ambas os SPLs. Os resultados das médias são consistentes com os valores médios apresentados nas Figuras 6 e 7. Os valores médios de CDC para a FOP foram menores do DP, que foram menores do CC, com valor-p significativamente pequeno.
A Tabela 5.3 apresenta a comparação dos valores da métrica CDO. O resultado do emparelhamento na LPS WebStore mostrou que os valores de FOP foram menores do que os valores de CC. Na LPS MobileMedia, os valores de DP se mostraram menores do que os valores de FOP.
64 Capítulo 5. Resultados e Discussão
Figura 5.5: Métricas de modularidade na evolução da LPS MobileMedia
ferenças significativas que mostraram que CDLOC é menor em FOP do que nos outros mecanismos de variabilidade. Além disso, ficou evidente que CDLOC apresenta valores menores em DP do que em CC. Uma exceção é que não houve diferença significativa da métrica CDLOC quando foram comparados FOP e DP na LPS MobileMedia.
A Tabela 5.5 apresenta a comparação dos valores da métrica LOCC. Quase não exis- tiram diferenças nos valores de LOCC entre os mecanismos de variabilidade, exceto que na LPS MobileMedia os valors de LOCC mostraram uma diferença significativa entre DP e FOP.
5.2. Análise de modularidade 65
Tabela 5.1: Mediana, Média e Desvio Padrão das Métricas de Modularidade
WebStore MobileMedia CC DP FOP CC DP FOP CDC Mediana 0.2115 0.1714 0.1464 0.2115 0.1714 0.1464 Média 0.2386 0.1938 0.1666 0.2386 0.1938 0.1666 Desvio Padrão 0.1525 0.0976 0.1100 0.1525 0.0976 0.1100 CDO Mediana 0.1325 0.1034 0.1282 0.1325 0.1034 0.1282 Média 0.1290 0.1277 0.1248 0.1290 0.1277 0.1248 Desvio Padrão 0.1077 0.0863 0.1027 0.1077 0.0863 0.1027 CDLOC Mediana 0.0164 0.0092 0.0194 0.0164 0.0092 0.0194 Média 0.0170 0.0113 0.0185 0.0170 0.0113 0.0185 Desvio Padrão 0.0121 0.0121 0.0115 0.0121 0.0121 0.0115 LOCC Mediana 0.1445 0.1293 0.1516 0.1445 0.1293 0.1516 Média 0.1437 0.1424 0.1422 0.1437 0.1424 0.1422 Desvio Padrão 0.1207 0.0986 0.1130 0.1207 0.0986 0.1130
Tabela 5.2: Teste de Wilcoxon para a métrica CDC
LPS WS MM WS MM WS MM
Teste CC X DP CC X DP CC X FOP CC X FOP DP X FOP DP X FOP valor-p (bicaudal) 0.0040 P < 0.0001 P < 0.0001 P < 0.0001 0.0011 P < 0.0001 Medianas significantemente
diferentes (valor-p < 0.05)
Sim Sim Sim Sim Sim Sim
(CC > DP) (CC > DP) (CC > FOP) (CC > FOP) (DP > FOP) (DP > FOP) Soma das diferenças
(positivas, negativas) 742.0, -248.0 1782.0, -109.0 989.0, -1.0 1874.0, -79.0 624.0, -156.0 1552.0, -401.0 Soma das diferenças (total) 494.0 1673.0 988.0 1795.0 468.0 1151.0
Efetividade do pareamento OK OK OK OK OK OK
valor-p (unicaudal) P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001
Tabela 5.3: Teste de Wilcoxon para a métrica CDO
LPS WS MM WS MM WS MM
Teste CC X DP CC X DP CC X FOP CC X FOP DP X FOP DP X FOP valor-p (bicaudal) 0.8932 0.4241 0.0019 0.8996 0.4164 0.0380 Medianas significativamente
diferentes (valor-p < 0.05)
Não Não Sim Não Não Sim
(FOP < CC) (DP < FOP)
Soma das diferenças
(positivas, negativas) 1089.0, -864.0 1091.0, -862.0 995.0, -958.0 995.0, -958.0 702.0, -1251.0 680.0, -1273.0 Soma das diferenças (total) 225.0 229.0 37.0 37.00 -549.0 -593.0
Efetividade do pareamento OK OK OK OK OK OK
66 Capítulo 5. Resultados e Discussão
Tabela 5.4: Teste de Wilcoxon para a métrica CDLOC
LPS WS MM WS MM WS MM
Teste CC X DP CC X DP CC X FOP CC X FOP DP X FOP DP X FOP valor-p (bicaudal) 0.0027 P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001 0.1550 Medianas significativamente
diferentes (valor-p < 0.05)
Sim Sim Sim Sim Sim Não
(CC < DP) (CC < DP) (CC > FOP) (CC > FOP) (DP > FOP) Soma das diferenças
(positivas, negativas) 237.0, -753.0 1805.0, -86.0 986.0, -4.0 1845.0, -46.0 0.0, -990.0 1144.0, -747.0 Soma das diferenças (total) -516.0 1719.0 982.0 1799.0 -990.0 397.0
Efetividade do pareamento OK OK OK OK OK OK
valor-p (unicaudal) P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001 P < 0.0001
Tabela 5.5: Teste de Wilcoxon para a métrica LOCC
LPS WS MM WS MM WS MM
Teste CC X DP CC X DP CC X FOP CC X FOP DP X FOP DP X FOP valor-p (bicaudal) 0.9953 0.4681 0.7394 0.0809 0.8656 0.0105 Medianas significativamente
diferentes (valor-p < 0.05)
Não Não Não Não Não Sim
(DP < FOP) Soma das diferenças
(positivas, negativas) 494.0, -496.0 872.5, -1081.0 524.0, -466.0 727.0, -1226.0 480.0, -510.0 611.0, -1342.0 Soma das diferenças (total) -2.0 -208.5 58.0 -499.0 -30.0 -731.0
Efetividade do pareamento OK OK OK OK OK OK