No caso deste experimento, onde são estabelecidas apenas 6 modificações, a técnica necessita de muito tempo para realizar a análise de dependência. Considerando a perspectiva de que este tempo ainda é pouco quando comparado ao tempo de executar e analisar os casos de teste não selecionados, a técnica possui uma eficiência inferior às demais técnicas que realizam a mesma atividade (seleção de casos de teste) e necessitam de muito menos tempo para executar.
As técnicas T2e e T2iapresentam uma baixa eficiência. Esta baixa eficiência é observada
devido aos passos de realizar a análise de riscos realizados pela técnica. Nesta análise de riscos, uma matriz é construída e percorrida diversas vezes. Além da análise de riscos, a comparação entre os diagramas de atividades (i.e. identificar as modificações no modelo) é custosa, considerando que é necessário manter uma sincronia entre o caminhamento no modelo da versão anterior e da versão delta.
Assim como T2e e T2i, as técnicas T3e e T3itambém utilizam uma matriz para a análise
das modificações. No entanto, T3e e T3i não realizam um caminhamento no modelo, o que
caracteriza a melhora de eficiência observada nestas técnicas quando são comparadas com T2ie T2e.
A técnica T4 não realiza nenhuma análise com matrizes, apenas identifica porções mod-
ificadas no modelo da versão delta realizando comparações com as transições e vértices do modelo da versão base do software. Portanto, T4é mais eficiente que T2e, T2i, T3e e T3i, uma
vez que estas técnicas utilizam matrizes cujo processamento demanda mais tempo.
As técnicas T5−25%, T5−50%, T5−75% apresentaram o comportamento esperado. Estas
técnicas apresentam os melhores resultados de eficiência, pois estas técnicas apenas percor- rem a suíte selecionado, aleatoriamente, os casos de teste de regressão. Quanto maior a cobertura, menor a quantidade de seleções que o algoritmo deve realizar, e mais rápido o algoritmo pára. Esta relação justifica a eficiência obtida entre os níveis de cobertura para estas técnicas (T5−25%< T5−50%< T5−75%).
7.5
Projeto Experimental 4 - Potencial de Redução
O potencial de redução de cada técnica analisada foi observado durante as 100 execuções do experimento. Estes dados foram submetidos aos passos de análise descritos na Seção 7.1, e
7.5 Projeto Experimental 4 - Potencial de Redução 121
os respectivos resultados são apresentados a seguir:
1. A partir do teste inicial das premissas de ANOVA, nos dados de redução das técni- cas, foi verificado (Apêndice C.4) que não é adequado utilizar ANOVA neste projeto experimental. Portanto, decidimos utilizar o teste de Kruskal-Wallis.
2. Os resultados do teste de Kruskal-Wallis são apresentados na Tabela 7.1 (d).
3. O teste de Kruskal-Wallis apresentou, como resultado, um p = 0, 0001. Observando que o p é menor que o nível de significância α = 0, 05 considerado no teste, podemos rejeitar a hipótese nula em favor da hipótese alternativa.
4. A partir do teste de hipótese, podemos afirmar, com um nível de confiança de 95%, que as técnicas se comportam de forma diferente com relação potencial de redução. A partir deste resultado, é realizada uma investigação comparando os potenciais de re- dução de cada técnica, procurando identificar o melhor desempenho, i.e. qual técnica é capaz de prover uma maior redução da suíte de testes utilizada no experimento. Os detal- hes desta análise podem ser observados no Apêndice D.4. Como resultado desta investi- gação é observado que as técnicas possuem o seguinte desempenho de potencial de redução: T5−25% > T3i> T3e > T1 > T5−50%> T4 > T5−75% > T2, onde as técnicas com os maiores
potenciais de redução são a técnica de seleção aleatória com 25% de cobertura (T5−25%), e a
técnica WSA-RT (T3ee T3i).
7.5.1
Conclusões sobre o Potencial de Redução das técnicas
A partir do desempenho obtido considerando cada técnica de re-teste seletivo, podemos ob- servar que as técnicas com o melhor potencial de redução são: a técnica de seleção aleatória com 25% de cobertura (T5−25%), e a técnica WSA-RT (T3i e T3e). As técnicas de seleção
aleatória apresentam o resultado esperado, em que o nível de cobertura determinou o poten- cial de redução da técnica. No caso de T5−25%, a baixa cobertura garantiu um alto potencial
de redução na suíte de testes de regressão.
A técnica WSA-RT, quando comparada com as demais técnicas, apresenta um melhor potencial de redução, possibilitando a remoção de cerca de 70% (para T3i) e 68% (para T3e)
7.5 Projeto Experimental 4 - Potencial de Redução 122
dos casos de teste da suíte de teste de regressão. A técnica WSA-RT foi capaz de identificar que os casos de teste da suíte modificada muito similares aos casos de teste da versão base. Dessa forma, muitos casos de teste, da suíte de regressão, não precisam ser selecionados.
O melhor resultado obtido pela configuração do testador inexperiente pode ser explicado a partir da mesma justificativa apresentada no resultado de precisão, onde a configuração fornecida pelo testador inexperiente permite que a técnica não selecione casos de teste que exercitam diferentes fluxos da aplicação. Ou seja, os casos de teste com maiores valores de probabilidade pertencem ao mesmo fluxo, e o valor de similaridade entre eles é alto, e não são, portanto, selecionados pela técnica. A configuração fornecida pelo testador experiente, por outro lado, permite a exploração de mais fluxos, e portanto, inclui mais casos de teste que capturam faltas de regressão, como foi verificado na investigação da inclusão das técnicas.
As técnicas de Análise de Dependência (T1) e de Seleção baseada em Clusters (T4) ap-
resentam um potencial de redução médio de 60% e 46%, e desvio-padrão de 3 e 0, respec- tivamente. Para T1 o foco em cobrir as dependências das modificações diminui o potencial
de redução da técnica, pois as dependências afetadas pelas modificações se propagam por diversos fluxos da aplicação. Dessa forma, a técnica seleciona mais casos de teste.
Semelhantemente, para a técnica T4, os clusters encontrados no modelo utilizado no es-
tudo experimental engoblam diversos casos de uso, o que causou a criação de alguns clusters grandes, e como algumas modificações estão inseridas nestes clusters, os casos de teste que exercitam estes clusters maiores tiveram de ser selecionados. Porém, ao contrário de T1,
estes clusters possuem diversas faltas de regressão, o que aumenta a capacidade de inclusão de T4.
A técnica de Análise de Riscos (T2) apresenta um potencial de redução muito baixo. Pelo
algoritmo da técnica, ao identificar uma transição com a modificação, são selecionados todos os casos de teste que exercitam as transições do fluxo em que esta modificação é realizada. Neste caso, são selecionados muitos casos de teste similares entre si, i.e. que possuem muitas transições em comum e portanto, exercitam os mesmos passos. Sob esta perspectiva, apenas alguns casos de teste que exercitam a aresta modificada poderiam ser selecionados. Apesar de não possuir um alto potencial de remoção a técnica apresenta uma alta inclusão e precisão, o que é consistente sob uma perspectiva geral, pois, como são removidos poucos casos de teste (cerca de 12% da suíte de regressão), a técnica apresenta uma alta cobertura de faltas