Questões de Estudo e Preparação dos Experimentos

Neste trabalho as questões de estudo (apresentadas a seguir) foram desenvolvidas de forma a guiar a preparação dos experimentos que procuravam responder essas questões. Elas refletem os questionamentos acerca das técnicas de busca propostas para o problema de Seleção Multiobjetivo de Casos de Teste.

Questão de Estudo 1. As técnicas híbridas propostas neste trabalho produzem melhores fron- teiras de Pareto do que as técnicas não híbridas para os programas do SIR?

O objetivo da questão de estudo 1 foi verificar se, de fato, as introduções de mecanismos de busca local para criação das técnicas híbridas foram capazes de produzir melhores resultados do que as técnicas não híbridas utilizadas como base. Para responder essa questão as técnicas foram divididas em 5 subgrupos conforme apresentado na tabela 4.2.

Tabela 4.2: Divisão dos Subgrupos

Subgrupo 1 Subgrupo 2 Subgrupo 3 Subgrupo 4 Subgrupo 5

BMOPSO-CDR BSMPSO NSGA-II SPEA2 TAEA

BMOPSO-CDR-FB BSMPSO-FB NSGA-II-FB SPEA2-FB TAEA-FB BMOPSO-CDR-1opt BSMPSO-1opt NSGA-II-1opt SPEA2-1opt TAEA-1opt BMOPSO-CDR-AG BSMPSO-AG NSGA-II-AG SPEA2-AG TAEA-AG BMOPSO-CDR-HS BSMPSO-HS NSGA-II-HS SPEA2-HS TAEA-HS

Questão de Estudo 2. Qual melhor técnica dentro de cada subgrupo com relação às fronteiras de Pareto para os programas do SIR?

4.1. ORGANIZAÇÃO DOS EXPERIMENTOS 64 Através da questão de estudo 2 foi possível selecionar dentro de cada um dos subgrupos a técnica que produziu melhores resultados. Isso possibilitou diminuir a quantidade de técnicas comparadas de forma a permitir a realização de experimentos mais focados para responder as próximas questões de estudo. A partir desse momento as melhores técnicas de cada subgrupo serão referidas apenas como as melhores técnicas.

Questão de Estudo 3. Qual das melhores técnicas produz fronteira de Pareto superior e apresenta melhor tempo de execução do que as outras para o programa GUAVA?

Em adição à questão de estudo 2, através da questão de estudo 3 procurou-se verificar qual das melhores técnicas produzia melhor fronteira de Pareto para o GUAVA.

É importante ressaltar que essa comparação de fronteiras de Pareto é bastante comum na literatura (como mostrado na seção 2.3) para verificar a performance de técnicas sob o ponto de vista de otimização.

Questão de Estudo 4. Qual das melhores técnicas apresenta melhor capacidade de detecção de falhas no GUAVA?

Como mencionado anteriormente, embora a capacidade de detecção de falhas seja um importante aspecto para Seleção de Casos de Teste (e para o processo de Testes de Software como um todo), poucos trabalhos fazem algum tipo de estudo nessa direção. Levando isso em consideração, o objetivo da questão de estudo 4 foi o de verificar o comportamento das técnicas propostas com relação à capacidade de detecção de falhas. Não foi possível encontrar na literatura relacionada nenhum outro trabalho que estude tanto a capacidade de produção de fronteiras de Pareto (otimização) quanto a capacidade de detecção de falhas no problema de Seleção Multiobjetivo de Casos de Teste. Portanto, essa é uma das contribuições originais deste trabalho.

O ideal seria ter acesso previamente às informações relativas às falhas encontradas associadas a cada teste quando se deseja medir a performance de técnicas de seleção quanto a capacidade de detecção de falhas. De acordo com Mirarab, Esfahani e Tahvildari (2012), falhas reais são difíceis de encontrar em número suficiente para permitir a realização de experimentos controlados (como é o caso dos experimentos deste trabalho). Devido a isso, pesquisadores utilizam falhas artificialmente introduzidas no código fonte dos programas a serem testados. Essas falhas podem ser manualmente introduzidas ou pode-se utilizar a técnica conhecida como Testes de Mutação para produzir essas falhas. De acordo com Andrews, Briand e Labiche (2005), falhas introduzidas através do processo de mutação são melhores do que falhas introduzidas manualmente, pois são capazes de representar melhor as falhas reais no que tange o propósito de detecção de falhas. Devido a isso, esse trabalho utilizou da técnica de Teste de Mutação para permitir que se fosse medida a capacidade de detecção de falhas das técnicas propostas em conformidade com o objetivo da questão de estudo 4.

As próximas questões de estudo procuraram realizar alguns estudos iniciais no que concerne à comparação entre a melhor técnica até o momento (escolhida através das respostas

4.1. ORGANIZAÇÃO DOS EXPERIMENTOS 65 às perguntas anteriores) e duas técnicas propostas com mecanismos explícitos de tratamento de restrições. Não foi possível encontrar na literatura nenhum outro estudo que comparasse a capacidade de otimização (através das fronteiras de Pareto) e capacidade de detecção de falhas de técnicas com e sem mecanismos de tratamento de restrições no problema de Seleção Multiobjetivo de Casos de Teste, ou seja, que comparasse de alguma forma o impacto da introdução de restrições no ambiente. Portanto, uma das contribuições originais do presente trabalho foi a realização de estudos inicias acerca desse assunto.

Questão de Estudo 5. Considerando um ambiente com restrições, a melhor técnica até o momento (sem mecanismo de tratamento de restrições) produz fronteiras de Pareto equivalentes às técnicas com mecanismo explícito de tratamento de restrições no programa GUAVA?

Como dito anteriormente, é comum que haja restrições presentes no ambiente de testes. Essas restrições podem afetar de forma direta como o processo de seleção será feito. Para responder à questão de estudo 5 foram criados quatro cenários que procuravam simular situações reais de ambientes com restrições: (1) Cobertura de Requisitos >= 50%, (2) Custo de Execução<= 50%, (3) Cobertura de Requisitos >= 90%, (4) Custo de Execução <= 10%. Os primeiros dois cenários representam situações medianas onde busca-se reduzir o espaço objetivo em 50%, já os dois últimos cenários representam situações consideradas críticas pois reduzem o espaço objetivo em 90% de seu tamanho.

O objetivo da questão de estudo 5 foi verificar se a técnica que não tinha mecanismo explícito de tratamento restrições era capaz de produzir fronteiras de Pareto equivalente às técnicas que possuíam mecanismos explícitos de tratamento de restrições.

Questão de Estudo 6. Considerando o mesmo ambiente com restrições, a melhor técnica até o momento (sem mecanismo de tratamento de restrições) tem capacidade de detecção de falhas equivalente às técnicas com mecanismo explícito de tratamento de restrições no programa GUAVA?

Finalmente, através da resposta à questão de estudo 6 foi possível verificar se a técnica sem mecanismo de restrições era capaz de detectar falhas da mesma forma que as técnicas com mecanismo de tratamento de restrições.