TransEFFIC Razão de Resposta Não Paramétrica
estudo 1 estudo 2 estudo 3
Efeito Indiviual 0.964 1.050 1.207
IC Individual [0.692 ; 1.344] [0.601 ; 1.834] [0.719 ; 2.026]
Table 5.12: Saída do Método RRNP na variável TransEffic.
A Figura 5.10 apresenta o resultado do método RRNP que avaliou a variável "trans- ferência de conhecimento", sob dois aspectos: eficácia (TransEffec) e eficiência (TransEffic). Observe que em ambas variáveis o IC dos estudos se sobrepõem e que o estudo 1, de ambos, apresentou maior peso, maior precisão e maior IC. O estudo 2 de TransEffec obteve o maior IC, menor precisão, menor influência no resultado global, resultado semelhante foi obtido pelo 3 em TransEffic. A medida metanalítica de TransEffec = 1.062 e TransEffic = 1.033 sugere favorável ao grupo Experimental. Porém, o IC global de TransEffec [0.826 ; 1.365] e TransEffic [0.805 ; 1.327] indicou que a hipótese nula H0não foi rejeitada, indicando que não houve diferença estatística significante entre os grupos. Ou seja, o uso de estereótipos não teve efeito sobre a compreensão do diagrama de sequência UML em ambas variáveis.
5.1.4
Resumo dos Resultados da Meta-análise na Família de Replicações
REP002FE.
Família REP002FE
Variável DMP RRP RRNP
SCEffec Sem Efeito Sem Efeito Sem Efeito (Experimental) (Experimental) (Experimental)
SCEffic Sem Efeito Sem Efeito Sem Efeito (Experimental) (Experimental) (Experimental)
RetenEffec Sem Efeito Sem Efeito Sem Efeito (Control) (Control) (Experimental)
RetenEffic Sem Efeito Sem Efeito Sem Efeito (Experimental) (Experimental) (Experimental)
TransEffec Sem Efeito Com Efeito Sem Efeito (Experimental) (Experimental) (Experimental)
TransEffic Sem Efeito Sem Efeito Sem Efeito (Experimental) (Experimental) (Experimental)
5.2
Família REP129
Resultado da meta-análise obtido com a aplicação dos métodos DMP, RRP e RRNP na família de replicações REP129. A apartir da Figura 5.11 entende-se, estudo 1 (REP129.0), estudo 2 (REP129.0.1), estudo 3 (REP129.1.1), estudo 4 ( REP129.1.2) e estudo 5 (REP129.2).
5.2. FAMÍLIA REP129 65
5.2.1
Método DMP
5.2. FAMÍLIA REP129 66 A partir da Figura 5.11, faremos a análise do método DMP por variável dependente, que
foram : UEffec(capacidade de compreensão), UReten(retenção de conhecimento) e UTrans(transferência de conhecimento).
Na variável UEffec , o valor p do teste Q de Cochran p < 0.0001 indica que há evidência estatística de heterogeneidade e o valor da estatística I2= 88.2% sugere alta heterogeneidade entre os estudos, a partir desses resultados podemos supor que os experimentos não são homogê- neos e devido ao resultado o modelo de efeito aleatório seria o mais indicado. Observe que os estudos 3 e 4 foram os que mais influenciaram no resultado da meta-análise, já o 5 obteve a menor contribuição no resultado global. Note que os estudos favoráveis ao grupo Experimental foram 3, 8 e 9, já os favoráveis ao Control foram 1, 2, 4, 5, 6 e 7. O resultado da medida metanalítica de efeito global para o modelo fixo SMD = −0.19 e aleatório SMD = −0.47 favorece o grupo Control. Ao observar o losango que exibe graficamente a localização na escala metanalítica e o IC global para fixo [-0.37;-0.02] e aleatório [-1.06;0.13] percebemos que a hipótese nula H0não foi rejeitada, indicando que não houve diferença estatística significante entre os grupos. Isso significa que o uso de estados compostos não teve efeito na melhora do entendimento do diagrama de estados derivado de diagrama de classes UML.
Na variável UReten, o valor p do teste Q de Cochran p = 0.0742 sugere que não evidência estatística de heterogeneidade e o valor da estatística I2 = 53.1% indica moderada heterogeneidade entre os estudos, ou seja, podemos supor que os experimentos são homogêneos. Baseado nessa conclusão o modelo de efeito aleatório seria o recomendado. Podemos observar que o estudo 5 foi o que mais influenciou no resultado global da meta-análise, com maior precisão, maior peso percentual e menor variabilidade e o estudo 3 foi o que menos impactou no resultado global. Os experimentos favoráveis ao grupo Control foram 1, 3 e 5 e os favoráveis ao Experimentalforam os estudos 2 e 4. Observe que o resultado da medida metanalítica de efeito global dos modelos fixo SMD = −0.19 e aleatório SMD = −0.15 favorece o Control, porém, o IC global do fixo [-0.67;0.25] e aleatório [-0.83;0.53] cruzaram a linha de efeito nulo, indicando que a hipótese nula H0não foi rejeitada, isto é, que não houve diferença estatística significante entre os grupos. Isso significa que o uso de estados compostos não teve efeito na melhora do entendimento do diagrama de estados derivado de diagrama de classes UML.
Na variável UTrans, o valor p do teste Q de Cochran p = 0.0485 sugere que há evidência estatística de heterogeneidade entre os estudos e o valor da estatística I2= 58.2% indica moder- ada heterogeneidade, nos permitindo supor que os estudos não são homogêneos. Baseado nessa resultado, o modelo de efeito aleatório seria o recomendado. Note que o estudo 5 foi o mais importante para o resultado global da meta-análise, pois obteve o maior peso, maior precisão e menor variabilidade e o 2 obteve a menor contribuição no global. Observe que os experimentos favoráveis ao grupo Experimental foram os estudos 1,2 e 5 e os favoráveis ao grupo Control foram 3 e 4. Com relação ao resultado da meta-análise, a medida metanalítica SMD = 0.20 para fixo e aleatório SMD = 0.17, indica que os resultados favorecem o grupo Control. Mas, quando observamos o losango que exibe graficamente a localização na escala metanalítica, verificamos
5.2. FAMÍLIA REP129 67 que o IC global para fixo [-0.27;0.67] e aleatório [-0.56;0.90] cruzaram a linha de efeito nulo, indicando que hipótese nula H0não foi rejeitada, ou seja, que não houve diferença estatística significante entre os grupos. Isso significa que o uso de estados compostos não teve efeito na melhora do entendimento do diagrama de estados derivado de diagrama de classes UML.
5.2. FAMÍLIA REP129 68
5.2.2
Método RRP
5.2. FAMÍLIA REP129 69
UEFFECT Razão de Resposta Paramétrica
Efeito Individual IC Individual
estudo 1- ATM 0.979 [0.976 ; 0.983]
estudo 1- PHONE CALL 0.976 [0.928 ; 1.027]
estudo 2- ATM 1.003 [0.977 ; 1.030]
estudo 2- PHONE CALL 0.945 [0.914 ; 0.978]
estudo 3- ATM 0.859 [0.785 ; 0.938]
estudo 3- ALARM 0.905 [0.849 ; 0.966]
estudo 4- ATM 0.989 [0.869 ; 1.126]
estudo 4- ALARM 1.092 [0.959 ; 1.244]
estudo 5- DIGITAL 1.168 [1.010 ; 1.351]
Table 5.13: Saída do Método RRP da variável UEffect.
UReten Razão de Resposta Paramétrica
estudo 3- ATM estudo 3- ALARM estudo 4- ATM estudo 4- ALARM estudo 5- DIGITAL
Efeito Indiviual 0.988 1.285 0.903 1.072 0.869
IC Indiviual [0.896 ; 1.089] [1.071 ; 1.542] [0.750 ; 1.087] [0.727 ; 1.580] [0.790 ; 0.955]
Table 5.14: Saída do Método RRP da variável UReten.
UTrans Razão de Resposta Paramétrica
estudo 3- ATM estudo 3- ALARM estudo 4- ATM estudo 4- ALARM estudo 5- DIGITAL
Efeito Indiviual 1.012 1.195 0.750 0.918 1.408
IC Indiviual [0.911 ; 1.124] [1.087 ; 1.315] [0.597 ; 0.941] [0.705 ; 1.194] [1.077 ; 1.842]
Table 5.15: Saída do Método RRP da variável UTrans.
A Figura 5.12 apresenta o resultado do método RRP exibidos nas variáveis UEffect, UReten e UTrans. Note que na variável UEffect, apenas os intervalos de confiança de 2, 3, 7 e 8 se interceptam e que o 1 apresenta o maior peso, maior precisão, maior influência e menor IC; já os estudos 7, 8 e 9 foram os que menos contribuiram com relação ao peso e precisão no resultado global. Observe que em UReten existe sobreposição do IC dos estudos, exceto o 2; o 5 exerceu maior influência no resultado global, pois obteve maior peso, maior precisão e menor IC; já o 4 foi o que menos contribuiu para o resultado global. Com relação a variável UTrans, o 1 obteve maior influência no resultado final da meta-análise por possuir maior peso, maior precisão e menor variabilidade. A medida metanalítica de UEffect = 0.980 e UReten = 0.959 sugerem favoráveis ao grupo Control e o resultado de UTrans = 1.078 sugere favorável ao grupo Experimental. O IC global de UEffect [0.976 ; 0.983] indica que no resultado final da meta-análise, a hipótese nula H0não foi rejeitada, ou seja, não houve diferenca estatística significante entre os grupos; o IC global de UReten [0.903 ; 1.017] indicou que a hipótese nula (H0) não foi rejeitada , isto é, não houve diferença estatística significante entre os grupos; o IC global de UTrans [1.012 ; 1.149] indicou que a hipótese nula (H0) foi refutada, isto é, no resultado da meta-análise houve diferenca estatística significante entre os grupos. Isso significa
5.2. FAMÍLIA REP129 70 que o uso de estados compostos não teve efeito na melhora do entendimento do diagrama de estados derivado de diagrama de classes UML em nenhuma das três variáveis analisadas.
5.2. FAMÍLIA REP129 71
5.2.3
Método RRNP
5.2. FAMÍLIA REP129 72
UEFFECT Razão de Resposta Não Paramétrica
Efeito Individual IC Individual
estudo 1- ATM 0.979 [0.578 ; 1.660]
estudo 1- PHONE CALL 0.976 [0.576 ; 1.654]
estudo 2- ATM 1.003 [0.748 ; 1.347]
estudo 2- PHONE CALL 0.945 [0.706 ; 1.266]
estudo 3- ATM 0.859 [0.307 ; 2.400]
estudo 3- ALARM 0.905 [0.321 ; 2.549]
estudo 4- ATM 0.989 [0.333 ; 2.941]
estudo 4- ALARM 1.092 [0.362 ; 3.290]
estudo 5- DIGITAL 1.168 [0.517 ; 2.642]
Table 5.16: Saída do Método RRNP da variável UEffect.
UReten Razão de Resposta Não Paramétrica
estudo 3- ATM estudo 3- ALARM estudo 4- ATM estudo 4- ALARM estudo 5- DIGITAL
Efeito Indiviual 0.988 1.285 0.903 1.072 0.869
IC Indiviual [0.347 ; 2.813] [0.436 ; 3.786] [0.307 ; 2.651] [0.356 ; 3.219] [0.396 ; 1.907]
Table 5.17: Saída do Método RRP da variável UReten.
UTrans Razão de Resposta Não Paramétrica
estudo 3- ATM estudo 3- ALARM estudo 4- ATM estudo 4- ALARM estudo 5- DIGITAL
Efeito Indiviual 1.012 1.195 0.750 0.918 1.408
IC Indiviual [0.354 ; 2.891] [0.409 ; 3.489] [0.262 ; 2.145] [0.312 ; 2.700] [0.612 ; 3.243]
Table 5.18: Saída do Método RRP da variável UTrans.
A Figura 5.13 apresenta o resultado do método RRNP nas variávies UEffect, UReten e UTrans. Observe que nas três variáveis existe uma sobreposição dos intervalos, ou seja, ele se interceptam. Note que que os experimentos que mais influenciaram no resultado global por possuir maior precisão, menor variabilidade e maior peso foram : o 4 do UEffect, 5 do UReten e 3 do UTrans; os que menos influenciaram no resultado global foram : 8 do UEffect, 2 do UReten e 2 do C. Com relação a medida metanalítica, os valores UEffect = 0.980 e UTrans = 0.989 indicam favoráveis ao grupo Control e UReten = 1.067 sugere favorável ao grupo Experimental. No entanto, O IC global de UEffect [0.828;1.159], UReten [0.635;1.542] e UTrans [0.6823;1.671] indicam que hipóteste nula H0 não foi rejeitada, isto é, não houve diferença estatística significante entre os grupos Experimental e o Control. Isso significa que o uso de estados compostos não teve efeito na melhora do entendimento do diagrama de estados derivado de diagrama de classes UML em nenhuma das três variáveis analisadas.