Testes de hipótese

Os testes visuais são adequados para fornecer informações acerca de comparações, tendên- cias e comportamentos dos tratamentos ou variáveis. No entanto, há situações em que o teste

2.6 Fundamentos em análise estatística 38

visual não apresenta força estatística para fornecer conclusões significativas. Um exemplo comum, é a sobreposição de intervalos de confiança. Em algumas situações, os IC são muito semelhantes e não é possível obter conclusões precisas a respeito das hipóteses do experi- mento.

Nestas situações, é necessária a utilização de outros recursos estatísticos para obter con- clusões, com maior confiança estatística, sobre as hipóteses. Um destes recursos são os testes de hipóteses. A partir dos dados e informações da amostra (e.g. distribuição e resíduos), é possível aplicar testes capazes de fornecer um resultado binário (rejeitar ou não rejeitar) a respeito das hipóteses. É importante lembrar que os recursos da análise estatística estão rela- cionados com aspectos de probabilidade, e que os resultados obtidos são dependentes de um nível de confiança, ou significância, aplicado no teste [Jain 1991].

Existem diversos testes de hipóteses na literatura de estatística, por exemplo o teste t de Student, ANOVA, Bonferroni, Tukey, Wilcoxon, dentre outros [Lilja 2000, Jain 1991, Kvam and Vidakovic 2007]. Cada teste é utilizado de acordo com a configuração do projeto experimental estabelecida (e.g. quantidade de fatores, níveis, tamanhos de amostras, dentre outros). É importante que as premissas dos testes sejam devidamente analisadas, pois a utilização de um teste errado, compromete significativamente a validade do estudo realizado [Wohlin et al. 2000, Jain 1991, Kvam and Vidakovic 2007].

Os testes de hipóteses podem ser paramétricos ou não-paramétricos. Os testes paramétri- cos são baseados em uma distribuição específica da amostra (e.g. distribuição normal padrão), verificada através dos testes para investigar distribuições (e.g. testes de Anderson- Darling, ou Kolmogorov-Smirnov) [Jain 1991, Kvam and Vidakovic 2007]. Portanto, são utilizados parâmetros como a média e desvio-padrão destas distribuições existentes para a realização dos cálculos e obtenção de resultados. Dessa forma, os testes paramétricos estão associados a um conjunto de suposições (assumptions) e premissas que devem ser respeita- das para que estes testes possam ser utilizados.

Os testes não-paramétricos, por sua vez, não se baseiam em informações como dsitribuições, ou média e variância de distribuições semelhantes a da amostra obtida. Dessa forma, os testes não-paramétricos não apresentam o mesmo rigor com relação às suposições e premissas necessárias para a realização do teste, quando comparados aos testes paramétri- cos.

2.6 Fundamentos em análise estatística 39

Apesar das exigências para sua utilização, os testes paramétricos são capazes de gerar conclusões com significância estatística mais alta do que as obtidas através de um teste não- paramétrico. Alguns pesquisadores argumentam sobre a utilização de cada tipo de teste, pois apesar de possuir um poder estatístico maior, a análise de premissas de um teste paramétrico pode requerer muito esforço do pesquisador, inviabilizando sua utilização. Além disto, di- versas destas premissas são sensíveis aos elementos dados (e.g. erros de medição, outliers, tamanho da amostra e da população, dentre outros), o que pode invalidar a própria análise de premissas realizada pelo investigador [Wohlin et al. 2000].

Para a escolha adequada do teste, deve ser observado, inicialmente, os projetos experi- mentais estabelecidos para o experimento. A partir desta informação, é realizada uma in- vestigação para escolher o teste estatístico. Em algumas situações, é escolhido um teste paramétrico, e então, a análise de suas premissas é realizada. Quando as premissas não são respeitadas pelos dados da amostra, é necessário escolher um teste não-paramétrico corres- pondente ao teste paramétrico escolhido. Exemplos de testes paramétricos e não paramétri- cos são apresentados na Tabela 2.1.

Tabela 2.1: Exemplos de testes estatísticos para diversas configurações de projetos experi- mentais.

Projeto experimental Teste paramétrico Teste não-paramétrico Comparação de médias Tukey Dunn

Um fator, dois níveis teste t de Student Mann-Whitney Um fator, dois níveis teste t de Student Wilcoxon (observações pareadas) (pareado)

Um fator, mais de dois níveis One-wayANOVA Kruskal-Wallis Mais de um fator ANOVA Fatorial Teste de Friedman

O resultado de um teste estatístico (paramétrico, ou não-paramétrico), é o p (também conhecido como p-valor ou valor p de um teste estatístico). Este valor é comparado com o nível de significância (α) do teste para determinar se é possível, sob o nível de confiança es- tabelecido, rejeitar a hipótese nula. A partir deste resultado, é possível caracterizar a decisão do teste, obtendo as conclusões do estudo experimental.

2.7 Considerações Finais do Capítulo 40

elecidos e os testes estatísticos utilizados (testes visuais, testes paramétricos, ou testes não paramétricos) são definidos a partir do projeto experimental. Portanto, é necessário utilizar os elementos adequados para cada projeto experimental realizado, evitando as ameaças à validade de conclusão do estudo.

2.7

Considerações Finais do Capítulo

Os aspectos discutidos neste capítulo contemplam a fundamentação teórica utilizada neste trabalho. Foram apresentados alguns fundamentos em teste de software, estudos experimen- tais em Engenharia de Software, e análise estatística. Outros elementos da fundamentação teórica do trabalho são as técnicas de re-teste seletivo analisadas no experimento.

No próximo capítulo serão apresentadas as técnicas propostas na literatura que foram analisadas no estudo experimental, assim como, a técnica WSA, que inspirou a técnica pro- posta neste trabalho (WSA-RT). Esta última, por sua vez, é apresentada no Capítulo 4.

Capítulo 3

Técnicas de Re-teste Seletivo

Diversas técnicas de re-teste seletivo foram propostas na literatura, em especial técnicas baseadas no código [Korel et al. 2002]. O foco deste trabalho é o re-teste seletivo baseado em especificação com a abordagem de Teste baseado em Modelos. Portanto, as técnicas utilizadas neste trabalho executam em elementos do modelo da especificação. Este capí- tulo apresenta algumas técnicas da literatura de re-teste seletivo baseado em especificação e seleção de casos de teste em TBM. É importante lembrar que o objetivo destas técnicas é reduzir a quantidade de casos de teste em uma suíte.

Diante disto, o procedimento realizado por cada técnica no processo de seleção do sub- conjunto da suíte de teste é apresentado na respectiva seção da técnica. Foram contempladas as técnicas de seleção baseada em análise de dependência (Seção 3.1), seleção baseada em análise de riscos e diagrama de atividades (Seção 3.2); re-teste baseado em perfis (Seção 3.3); Weighted Similarity Approach (Seção 3.4); seleção baseada em clusters (Seção 3.5); e a seleção aleatória de casos de teste (Seção 3.6).