Análise dos Dados

Esta seção apresenta os resultados estatísticos dos dados coletados do experimento. A aná- lise está dividida em duas subseções: Estatística Descritiva (WOHLIN et al., 2000) e Teste de Hipótese (WOHLIN et al., 2000). A primeira visa descrever o conjunto de dados coletados da amostra por meio de técnicas estatísticas, visando identificar dados que possam interferir na obtenção dos resultados e informações necessárias para decidir quais técnicas de validação das hipóteses devem ser utilizadas. A Seção 6.2.4.2 apresenta a inferência das hipóteses formuladas a partir das questões de pesquisa.

6.2.4.1 Estatísticas Descritivas

Os dados coletados podem ser vistos na Tabela 6.1. A primeira coluna contém os partici- pantes do experimento listados um em cada linha. A segunda coluna apresenta o tempo gasto em minutos pelos participantes para gerar o arquivo de integração, sendo dividida entre o for- mato IMM e o formato CM. A terceira coluna apresenta a quantidade de erros presentes no conteúdo dos arquivos gerados. A penúltima linha dessa matriz expressa a média dos valores para cada uma das colunas e a última linha apresenta a porcentagem que essa média representa em relação ao tempo total médio, ou a quantidade de erros total média. Ao analisar o valor médio e a porcentagem do tempo utilizado pelos participantes, ilustrados na penúltima e ultima linhas, respectivamente, pode-se notar diferença significativa entre o tempo gasto na utilização do IMM (22%), em comparação com o tempo gasto na utilização do CM (78%). Também

6.2 Experimento de Utilização do IMM 87

Tabela 6.1: Dados coletados no experimento de integração usando os formatos IMM e CM.

IMM CM IMM CM P1 13 60 1 11 P2 12 54 0 5 P3 18 54 0 3 P4 14 48 0 4 P5 15 45 0 7 P6 17 57 0 3 P7 13 50 0 9 P8 12 53 0 4 P9 16 49 0 8 P10 15 50 0 4 AVG 14.6667 52 0.1 5.8 % 22 78 1.69492 98.30508 Erros Tempo Gasto Participante

pode-se notar diferença expressiva entre os erros apresentados durante a utilização do IMM (1,69%) e do CM (98,31%). Desses resultados vale destacar o participante P1, que foi o único a apresentar um erro no conteúdo do arquivo IMM, isso ocorreu em razão de um engano na lógica implementada por ele, que ao invés de converter o nome de uma estrutura do ComSCId converteu seu■❉.

Primeiramente deve-se verificar a existência de outliers, que apresentam um comporta- mento extremo, ou seja, apresentam comportamento diferente dos demais (ESTATCAMP, 2013d). Para isso foi utilizado o gráfico de boxplot, que exibe a distribuição empírica dos dados (ES- TATCAMP, 2013a). Esses grafos foram obtidos com o auxílio de um software de estatística chamado Action (ESTATCAMP, 2013e), que é integrado ao Excel (MICROSOFT, 2013), e po- dem ser visualizados na Figura 6.1. No gráfico apresentado na Figura 6.1(c) está representada a distribuição dos valores coletados quanto aos erros existentes no arquivo de integração gerado pelo formato IMM. Como comentado anteriormente, observa-se que o participante P1 é um outliere, portanto, deve ser removido da análise de inferência das hipóteses.

O próximo passo é decidir se o conjunto de dados provêm ou não de uma distribuição nor- mal. Essa informação é necessária para decidir o teste de inferência a ser aplicado para avaliar as hipóteses. Para essa análise decidiu-se utilizar o teste de Shapiro-Wilk (ESTATCAMP, 2013b), aplicado com o auxílio do software Action. Todas as colunas da Tabela 6.1 foram analisadas, uma a uma, e os resultados podem ser vistos na Figura 6.2.

O conceito de P-valor indica a probabilidade que o valor estatístico de um teste tenha valor extremo, quando a hipótese nula for verdadeira (ESTATCAMP, 2013c). Em outras palavras, o P-valor indica a probabilidade de a hipótese nula ocorrer. Ao se comparar o P-valor com o nível de significância (α) pode-se ou não rejeitar a hipótese nula. Quando P-valor é menor que α, rejeita-se a hipótese nula, pois a probabilidade dela ocorrer é muito baixa. Caso contrário ela é aceita, pois a probabilidade dela ocorrer é maior do que α. O nível de significância utilizado

6.2 Experimento de Utilização do IMM 88

(a) Tempo Gasto - IMM (b) Tempo Gasto - CM

(c) Erros - IMM (d) Erros - CM Figura 6.1: Boxplots dos dados da Tabela 6.1.

para análise dos dados deste experimento é 95%, ou seja, α = 0,05.

O teste de Shapiro-Wilk propõe que a hipótese nula é: “A amostra provém de uma popula- ção Normal” (ESTATCAMP, 2013b). Ao analisarmos os P-valores apresentados na Figura 6.2, nota-se que somente os valores dos erros apresentados na Figura 6.2(c) provêm de uma distri- buição não normal. Com isso, para a inferência das hipóteses, foi utilizado o Teste T pareado1 na análise dos dados de tempo e o teste de Wilcoxon2_{na análise dos dados dos erros.}

6.2.4.2 Testando as Hipóteses

Como comentado no final a seção anterior serão usados o Teste T Pareado e o teste de Wilcoxon Pareado. Esses testes foram aplicados com o auxílio do software Action, a fim de avaliar as hipóteses das duas questões de pesquisa. Os resultados são apresentados na Figura 6.3.

1_{http://www.portalaction.com.br/en/615-t-test-paired}

6.2 Experimento de Utilização do IMM 89

(a) Tempo Gasto - IMM (b) Tempo Gasto - CM

(c) Erros - IMM (d) Erros - CM Figura 6.2: Testes de normalidade dos dados da Tabela 6.1.

Para o tempo, apresentado na Figura 6.3(a), P-valor é aproximadamente 10−9, que é menor do que α = 0,05. Portanto, para um nível de significância de 95% pode-se rejeitar a hipótese nula, aceitando-se a hipótese alternativa que é: “o tempo necessário para realizar a integração utilizando o formato IMM é significativamente menor que o tempo necessário para realizar a integração utilizando o formato CM”.

Para a análise dos erros cometidos, apresentada na Figura 6.3(b), o P-valor é aproximada- mente 0, 005, que é menor que α = 0,05. Portanto, para um nível de significância de 95%, pode-se rejeitar a hipótese nula, aceitando-se a hipótese alternativa que é: “a quantidade de erros no conteúdo do arquivo IMM é significantemente menor que a quantidade de erros no conteúdo do arquivo CM”.

6.2 Experimento de Utilização do IMM 90

(a) Teste T Pareado - Tempo (b) Wilcoxon Pareado - Erros Figura 6.3: Testes de Inferência