Análise dos Dados do Experimento 1

Os dados do experimento estão apresentados no Quadro 6.3. Os participantes desenvolveram as atividades de acordo com o planejado. A análise dos dados é apresentada nas subseções seguintes.

6.3.3.1 Análise Descritiva dos Dados

No Quadro 6.3 pode ser visto que houve uma redução no tempo gasto pelos participantes no desenvolvimento das aplicações quando o reúso do framework GRENJ foi realizado com a DSL, em comparação com o wizard. Aproximadamente, 56,4% do tempo total do experimento foi gasto com o reúso do framework com o wizard e 43,6% com o reúso do framework com a DSL. Um dos motivos para isso é que os participantes cometeram mais erros durante o reúso do framework com o wizard e, desse modo, gastaram mais tempo corrigindo os problemas encontrados nas aplicações pelas unidades de teste. Outro motivo é que os participantes estão mais acostumados com o uso de modelos gráficos do que o uso de wizards para o desenvolvimento de aplicações. Infere-se, então, que os participantes possuíam um habilidade maior no manuseio da DSL.

Quadro 6.3. Dados coletados do experimento 1.

Aplicação Wizard DSL

Participante Tempo (min) Problemas Participante Tempo (min) Problemas

Hotel S1 24 2 S10 22 3 S2 26 3 S11 18 0 S3 31 6 S12 23 4 S4 34 8 S13 21 1 S5 25 2 S14 17 0 S6 23 0 S15 19 0 S7 29 4 S16 20 2 S8 28 3 S17 21 4 S9 22 0 S18 17 0 Média 26,89 3,11 - 19,78 1,56 Biblioteca S10 32 6 S1 18 0 S11 27 4 S2 23 2 S12 33 5 S3 22 1 S13 25 3 S4 25 4 S14 22 0 S5 21 1 S15 24 1 S6 19 0 S16 23 4 S7 23 2 S17 30 6 S8 22 5 S18 20 0 S9 18 0 Média 26,22 3,22 - 21,22 1,67 Média Geral 26,56 3,17 - 20,5 1,61 Mediana 25,5 3 - 21 1 Desvio Padrão 4,16 2,43 - 2,36 1,72 Porcentagem 56,43 66,28 - 43,57 33,72

Com relação aos problemas, aproximadamente, 66,3% deles foram encontrados nas aplicações desenvolvidas com o wizard e 33,7% nas aplicações desenvolvidas com a DSL. Os principais problemas encontrados foram o reúso indevido de uma classe do framework e a inclusão de atributos já fornecidos pelo framework. Ambos relacionados com o conhecimento que os participantes possuem sobre o domínio e as classes do framework GRENJ. De acordo com o feedback dos participantes, a principal razão para essa diferença é que a interface gráfica da DSL é mais intuitiva e mais fácil de ser utilizada do que os formulários do wizard. Os modelos criados com a DSL proporcionam uma visão geral de todas as características, enquanto que no wizard somente é possível visualizar um formulário por vez, sendo que cada formulário contém as informações de uma única classe da aplicação. Além disso, o mecanismo de validação dos modelos criados com a DSL se mostrou mais eficaz do que as verificações realizadas nos campos preenchidos nos formulários do wizard.

Na Figura 6.3 é mostrado o gráfico boxplot que representa a distribuição dos dados do experimento. Nesse gráfico, as caixas representam 50% dos dados e a linha em destaque dentro dessas caixas representa a mediana. As delimitações na forma de um T acima e abaixo das caixas indicam, respectivamente, o maior e o menor valor dos dados considerados válidos. Para serem considerados válidos, os dados devem estar a uma distância de, no máximo, 1,5 vezes a altura da caixa em relação aos limites inferiores e superiores da própria caixa. Dados além desse limite são considerados atípicos (outliers) e devem ser desconciderados nos cálculos estatísticos para validação das hipóteses do experimento. No gráfico da Figura 6.3 é possível perceber que nenhum dos dados foi considerado atípico, pois não há pontos além das delimitações em forma de T.

Figura 6.3. Boxplot criado a partir dos dados do experimento 1.

6.3.3.2 Teste das Hipóteses

Nesta seção são apresentados os resultados dos testes estatísticos aplicados sobre os dados coletados com o experimento. Para cada medida foi aplicado um conjunto de testes explicado a seguir.

Tempo

O P-valor resultante do teste Shapiro-Wilk sobre os dados do tempo gasto no desenvolvimento das aplicações foi 0,4746 para o reúso do framework GRENJ com o wizard e 0,3383 para o reúso com a DSL. Portanto, como o P-valor dos dois testes foi superior a 0,05, pode-se afirmar, com nível de confiança de 95%, que os dados do tempo gasto no desenvolvimento das aplicações seguem uma distribuição normal. Isso pode ser verificado nos gráficos mostrados na Figura 6.4, em que dados estão distribuídos sobre a reta.

Figura 6.4. Gráficos resultantes do teste de normalidade sobre os dados do tempo gasto no desenvolvimento das aplicações.

Como os dados estão normalizados, o Paried T-Test foi aplicado sobre os dados do tempo gasto no desenvolvimento das aplicações para verificar as hipóteses da Q1 do experimento (Seção 6.3.1.2). O resultado desse teste foi um P-valor = 1,21E-05 < 0,05, então, com nível de confiança de 95%, existem evidências de diferença entre o tempo gasto com o reúso do framework GRENJ com a DSL e com o wizard. Portanto, a hipótese nula (H10) foi refutada e a H11 foi aceita, pois tDSL < tWizard.

Número de Problemas

O P-valor resultante do teste Shapiro-Wilk sobre os dados do número de problemas no código-fonte das aplicações foi 0,2459 para o reúso do framework GRENJ com o wizard e 0,0064 para o reúso por meio da DSL. Portanto, como o P-valor para o reúso com a DSL foi inferior a 0,05, pode-se afirmar, com nível de confiança de 95%, que os dados obtidos relacionados ao número de problemas no código-fonte das aplicações não seguem uma distribuição normal. Isso também pode ser verificado nos gráficos da Figura 6.5, pois os dados obtidos relacionados ao número de problemas no reúso com a DSL não estão distribuídos sobre a reta.

Como os dados não estão normalizados, o teste Wilcoxon Signed-Rank foi aplicado sobre esses dados para verificar as hipóteses da Q2 do experimento (Seção 6.3.1.2). O resultado desse teste foi um P-valor = 0,0115 < 0,05, então, com nível de confiança de 95%, existem evidências de diferença entre o número de problemas nas aplicações desenvolvidas em que ocorreu o reúso do framework GRENJ com o wizard e com a DSL. Portanto, a hipótese nula (H20) foi refutada e a H21 foi aceita, pois pDSL < pWizard.

Figura 6.5. Gráficos resultantes do teste de normalidade sobre os dados do número de problemas no código-fonte das aplicações.