Testes de Hipóteses

O objetivo desta Subseção é analisar os dados obtidos no experimento controlado para validar as hipóteses apresentadas na Seção 4.2.8. Para tal, é necessário responder as questões (QP1 até QP6) usando as respectivas métricas coletadas.

QP1. O processo de engenharia de aplicação da ArchWiSeN é eficiente em termos de tempo para desenvolver aplicações para RSASF quando comparado a abordagem code-and-fix ?

O tempo gasto para executar todas as tarefas pelo grupo que iniciou o experimento com a ArchWiSeN (chamado de Grupo 1) foi calculado por M1 como

∑ Duração da Tarefa {ArchWiSeN, Grupo 1} = 10:42:00 hs, enquanto o tempo gasto para executar todas as tarefas pelo mesmo grupo usando a abordagem code-and-fix foi calculado por M1 como ∑ Duração da Tarefa {code-and-fix, Grupo 1} = 13:13:00

hs.

O tempo gasto para executar todas as tarefas pelo grupo que iniciou o experimento com a abordagem code-and-fix (chamado de Grupo 2) foi calculado por M1 como ∑ Duração da Tarefa {code-and-fix, Grupo 2} = 12:43:00 hs, enquanto o

tempo gasto para executar todas as tarefas pelo mesmo grupo usando a abordagem ArchWiSeN foi calculado por M1 como ∑ Duração da Tarefa

{ArchWiSeN, Grupo 2} = 7:31:00 hs.

Figura 56. Gráfico da soma do tempo necessário para realizar cada tarefa do experimento organizado por abordagem.

Como mostrado na Figura 56, ∑ Duração da Tarefa {ArchWiSeN, Grupo 1} + ∑ Duração da Tarefa {ArchWiSeN, Grupo 2} < ∑ Duração da Tarefa {code-and-fix, Grupo 1} + ∑ Duração da Tarefa {code-and-fix, Grupo 1}. Ou seja, o tempo de desenvolvimento usado para executar todas as tarefas foi menor quando o grupo utiliza a abordagem ArchWiSeN. Com esta resposta, a hipótese nula H011 é

rejeitada e a hipótese alternativa H111 "O desenvolvimento com a abordagem

10:42:00 13:13:00 07:31:00 12:43:00 0:00:00 4:48:00 9:36:00 14:24:00 19:12:00 24:00:00 28:48:00 ArchWiSeN Code-and-fix Tem p o Abordagem

Tempo para realizar tarefas por

abordagem

G2 G1

ArchWiSeN é mais eficiente que o desenvolvimento com a abordagem code-and-fix em termos de tempo de desenvolvimento" é aceita.

QP2. O quão efetivos são os perfis UML presentes na ArchWiSeN para lidar com o desenvolvimento de aplicações?

A métrica M2 denota o grau de compreensão (em termos de objetivos da

aplicação, requisitos funcionais, requisitos não funcionais e organização física da rede) que os participantes possuem a cerca dos artefatos de software disponíveis ao utilizar as abordagens ArchWiSeN ou code-and-fix. O resultado médio para cada questão (Tabela 17) relacionada a M2 estão mostrados na Figura 57. A Figura 57

mostra maiores valores para M2 na abordagem ArchWiSeN em todas as questões.

Tal resultado significa que os participantes consideraram que é muito mais fácil de interpretar os modelos e entender os objetivos, requisitos e a organização física da rede, ao utilizar os artefatos de software da abordagem ArchWiSeN. Portanto, a hipótese nula H013 é rejeitada e a hipótese alternativa H113 "O uso da ArchWiSeN

aumenta o grau de compreensão do sistema se comparado com a abordagem code-and-fix" é aceita.

Figura 57. Gráfico comparando as respostas dadas pelos participantes sobre o constructo de compreensão usando ArchWiSeN e TinyOS.

3,9 _3,7 3,1 4,4 1 1,2 1,3 2 0 1 2 3 4 5 Q1/Q2 Q3/Q4 Q5/Q6 Q7/Q8 E scala Li ke rt Questão

Comparação das respostas obtidas para o

constructo compreensão

ArchWiSeN TinyOS

QP3. Os desenvolvedores declaram que a ArchWiSeN fácil de usar ?

A métrica M3 tem como objetivo a avaliação da ArchWiSeN de acordo com

a facilidade de uso percebida pelo participante. O resultado médio para M3 (Figura 58) para cada questão foi ∑ Facilidade de Uso Percebida {Q1}/10 = 4.7, ∑Facilidade de Uso Percebida {Q2}/10 = 4.5, ∑Facilidade de Uso Percebida {Q3})10 = 4.2, ∑Facilidade de Uso Percebida {Q4})10 = 3.6, ∑Facilidade de Uso Percebida {Q5}/10 = 4.6, e (∑Facilidade de Uso Percebida {Q6})/10= 4.5. Dessa forma, considerando todos os casos, foi possível assumir que os participantes consideram a ArchWiSeN fácil de usar.

Figura 58. Gráfico para as respostas dadas pelos participantes ao constructo facilidade de uso percebida.

QP4. Os desenvolvedores declaram que a ArchWiSeN os ajuda a desenvolver uma aplicação para RSASF ?

A métrica M4 tem como objetivo avaliar o grau com o qual os participantes

acreditam que usar a ArchWiSeN é útil para o desenvolvimento de aplicações para RSASF. O resultado médio para M4 (Figura 59) para cada questão foi ∑Utilidade Percebida {Q1}/10 = 4.6, ∑Utilidade Percebida {Q2}/10 = 4.5, ∑Utilidade

4,7 4,5 4,2 3,6 4,6 _4,5 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 Q1 Q2 Q3 Q4 Q5 Q6 E scala Li ke rt Questões

Facilidade de uso percebida na

ArchWiSeN

Percebida {Q3}/10 = 4.4, ∑Utilidade Percebida {Q4}/10 = 4.5, ∑Utilidade Percebida {Q5}/10 = 4.3 e ∑Utilidade Percebida {Q6}/10 = 4.8. Dessa forma, considerando todos os casos, é possível assumir que os participantes consideram a ArchWiSeN útil.

Os valores de M4 nas questões 1, 2, 3 e 4 da Figura 58 permitem que a

hipótese H012 seja rejeitada e a hipótese alternativa H112 "O uso da ArchWiSeN

aumenta grau de eficiência na produção de artefatos de software se comparado com a abordagem code-and-fix" seja aceita.

Figura 59. Gráfico para as respostas dadas pelos participantes ao constructo utilidade.

QP5. O quão efetivos são os mecanismos da UML usados na ArchWiSeN para lidar com a implementação de novos requisitos ?

O valor da métrica M5 para a abordagem ArchWiSeN foi Esforço de Reúso

{ArchWiSeN} = 00:11:30 hs, enquanto com a abordagem code-and-fix o valor de M5 foi Esforço de Reúso {code-and-fix} = 00:22:12 hs. Como ∑ Esforço de Reúso {ArchWiSeN} < ∑ Esforço de Reúso {code-and-fix}, o esforço de reúso para a implementação de novos requisitos com a abordagem ArchWiSeN foi menor do que ao usar a abordagem code-and-fix. Em outras palavras, implementar novos requisitos com a ArchWiSeN consome menos tempo que realizar a mesma tarefa com a abordagem code-and-fix.

4,6 4,5 4,4 4,5 4,3 4,8 4 4,1 4,2 4,3 4,4 4,5 4,6 4,7 4,8 4,9 Q1 Q2 Q3 Q4 Q5 Q6 E scala Li ke rt Questões

QP6. Os desenvolvedores declaram que a ArchWiSeN os ajuda a reusar uma aplicação para RSASF ?

Os resultados para a métrica M6 apontam para dados inconclusivos. Portanto, a resposta obtida para Q6 não ajuda a avaliar nenhuma hipótese nula. Entretanto, ao considerar a resposta obtida para as questões Q2 e Q5, a hipótese nula H021 é rejeitada e a hipótese alternativa H121 "O desenvolvimento com a

abordagem ArchWiSeN aumenta o grau de reúso de componentes se comparado com a abordagem code-and-fix" é aceita ao considerar que a redução do esforço de reúso detectada em Q5 e que uma melhor compreensão do sistema, detectada em Q2, ajuda os desenvolvedores a manter e reusar uma aplicação para RSASF.