Planejamento

O planejamento deste estudo de caso consiste na seleção do contexto (ambiente e participantes), na formulação das hipóteses, na seleção das variáveis e na preparação conceitual do projeto do estudo.

Seleção do Contexto (Ambiente e Participantes)

O contexto escolhido para a execução do estudo foi um contexto não-industrial, onde estudantes de graduação e pós-graduação do Curso de Ciência da Computação (CCC) da Universidade Federal de Campina Grande (UFCG), com experiência na área, atuam como sujeitos (participantes) do estudo experimental. O objetivo desta escolha foi diminuir o custo do estudo, uma vez que a aplicação dele em contextos industriais, incluindo a contratação de profissionais reais, não condizia com os recursos disponíveis para a sua realização.

Com relação aos participantes, não há diferenças substanciais com relação à formação

deles, pelo fato de serem oriundos da mesma instituição de ensino. Contudo, para

a realização do estudo era fundamental que todos tivessem conhecimento em teste de software (área de concentração da abordagem). No entanto, como são utilizadas várias tecnologias/conceitos de teste de software na abordagem, existem alguns fatores de variação na experiência dos participantes que podem implicar nos resultados do estudo e precisam ser considerados, são eles:

• Conhecimento na notação utilizada para a descrição dos modelos (PIM) de entrada, no caso, a linguagem UML, na sua versão 2.0 (ou superior);

• Conhecimento em estratégias de teste de integração; • Conhecimento em padrões de teste;

• Conhecimento no perfil de teste da UML 2.0 (U2TP).

Formulação das Hipóteses

No contexto deste estudo de caso para avaliação da abordagem para a geração de casos de teste usando padrões de teste, dentro do contexto de teste de integração com MDT, foram definidas hipóteses de estudo para cada uma das questões formuladas na seção 5.2.1. Estas

5.2 Estudo Experimental para Avaliação da Abordagem 74

hipóteses foram avaliadas por meio da avaliação dos dados coletados durante a execução do estudo de caso.

As três primeiras hipóteses referem-se à questão do esforço gasto pelo testador na utilização da abordagem automática em comparação à abordagem manual. Este esforço é medido em relação ao tempo gasto pelo testador para a geração dos casos de teste, ao número de casos de teste gerados e o tempo gasto para a geração de um caso de teste. A quarta hipótese se refere à corretude dos casos de teste gerados, ou seja, o percentual de casos de teste válidos gerados. A quinta hipótese de estudo refere-se à eficácia dos casos de teste, ou seja, à capacidade de detecção de defeitos dos casos de teste gerados na abordagem automática em comparação à abordagem manual. Detalhando cada uma das hipóteses, tem-se:

• Hipótese 1: Utilizando a abordagem automática, o esforço com relação ao tempo gasto é menor do que utilizando a abordagem de forma manual, ou seja,

µEt(Automática) < µEt(Manual), onde µEtcorresponde à média do esforço

dos testadores com relação ao tempo gasto pelos testadores.

• Hipótese 2: Utilizando a abordagem automática, o esforço com relação ao número de casos de teste válidos é maior do que utilizando a abordagem de forma manual, ou seja,

µEnct(Automática) > µEnct(Manual), onde µEnct é a média do esforço dos

testadores com relação ao número de casos de teste gerados.

• Hipótese 3: Utilizando a abordagem automática, o esforço com relação a taxa de geração de um caso de teste é menor do que utilizando a abordagem de forma manual, ou seja,

µE(Automática) < µE(Manual), onde µE é a média do esforço dos testadores com relação ao tempo gasto para a geração de um caso de teste. • Hipótese 4: Utilizando a abordagem automática, porcentagem de casos de teste

5.2 Estudo Experimental para Avaliação da Abordagem 75

µV(Automática) > µV(Manual), onde µV é a média da porcentagem de casos de teste corretos/válidos.

• Hipótese 5: Utilizando a abordagem automática, a capacidade de detecção de defeitos relevantes dos casos de teste é maior do que utilizando a abordagem de forma manual, ou seja,

µCd(Automática) > µCd(Manual), onde µCd é a média da capacidade de

detecção de defeitos dos casos de teste gerados.

Seleção das Variáveis

No contexto de avaliação experimental, há dois tipos de variáveis: independentes e

dependentes. Tais variáveis, são, respectivamente, a entrada e a saída do processo de

experimentação. As variáveis independentes também são chamadas de fatores e apresentam a causa que afeta o resultado do processo de experimentação. Já as variáveis dependentes

apresentam o efeito que é causado pelos fatores. As variáveis independentes serão

controladas e executadas pelo estudo de caso, para que as variáveis dependentes sejam obtidas. Diante disto foram definidas as seguintes variáveis:

• Variáveis Independentes: (i) o documento com a descrição da abordagem (artefatos, atividades, etc); (ii) os modelos de desenvolvimento de entrada do processo de geração dos casos de teste para os sistemas definidos; (iii) a ordem de integração dos componentes (classes) do sistema, incluindo o que será integrado e suas dependências; (iv) o catálogo com os padrões de teste (apenas para a abordagem manual); e (v) a ferramenta de suporte desenvolvida (apenas para a abordagem automática).

• Variáveis Dependentes: (i) os artefatos gerados (arquitetura, casos de teste, etc.); e (ii) os resultados das funções para obtenção dos valores das métricas.

Princípios do Projeto do Estudo de Caso

De acordo com os princípios gerais de projeto aleatoriedade, blocagem e balanceamento [50], ficou definido que:

5.2 Estudo Experimental para Avaliação da Abordagem 76

• Não há aleatoriedade na atribuição do objeto de estudo aos participantes, visto que

todos os participantes irão utilizar o mesmo objeto. Os participantes não foram

selecionados aleatoriamente da população, pois são provenientes do curso de Ciência

da Computação da UFCG disponíveis para a realização do estudo de caso. A

ordenação dos participantes no estudo de caso não é importante, uma vez que as medidas usadas na avaliação são derivadas da solução do problema proposto;

• Não foi utilizada estratégia de blocagem uma vez que a amostra de participantes é pequena e proveniente do mesmo curso de Ciência da Computação da UFCG, portanto, os níveis de conhecimento não são tão discrepantes;

• Como a amostra de participantes é proveniente do mesmo curso, não foi possível garantir o balanceamento do conjunto de dados do estudo de acordo com a qualificação individual dos participantes.