Comparação dos Métodos
5.2 Resultados Obtidos (Caso 1)
5.2.1 Comparações entre os Métodos sem Restrições
Para facilitar a compreensão do processo de comparação entre dois métodos apresentamos, na Tabela 5.5, os resultados obtidos no experimento Monte Carlo para os métodos MC e MCA4 considerando um vetor específico de pa- râmetros β. Podemos verificar que o método MCA4 apresenta uma perfor- mance média superior ao método MC em todas as configurações analisadas, independentemente do número de variáveis na matriz modelo.
Tabela 5.5: Média e desvio padrão das medidas de performance obtidas em 100 réplicas de um experimento Monte Carlo
Config. p Estat. RMSEL RMSEU R2L (%) R2U (%)
MC MCA4 MC MCA4 MC MCA4 MC MCA4
C1 1 x 14,71 11,90 14,83 11,96 28,0 34,7 27,6 34,0 S 1,28 0,51 1,26 0,51 6,5 6,2 5,7 6,5 3 x 21,01 11,98 20,73 12,02 47,2 59,3 47,1 59,2 S 2,62 0,52 2,36 0,47 6,1 4,7 5,0 4,7 C2 1 x 9,58 4,11 9,58 4,09 65,1 81,4 65,4 81,7 S 0,62 0,20 0,58 0,21 3,6 1,9 3,9 2,1 3 x 17,22 4,10 17,39 4,15 74,3 92,8 74,5 92,8 S 1,05 0,22 0,95 0,23 4,0 1,1 3,3 1,1 C3 1 x 11,65 11,60 11,64 11,58 35,8 36,1 35,7 36,2 S 0,47 0,44 0,44 0,44 6,0 6,1 6,1 6,1 3 x 11,76 11,58 11,76 11,57 60,5 61,1 60,5 61,1 S 0,547 0,50 0,53 0,50 4,6 4,5 4,6 4,5 C4 1 x 3,16 2,95 3,18 2,97 88,7 89,6 88,6 89,5 S 0,15 0,12 0,17 0,12 1,1 1,1 1,4 1,2 3 x 3,58 2,96 3,63 2,95 95,2 96,1 95,0 96,1 S 0,19 0,11 0,20 0,12 0,6 0,5 0,8 0,5
Contudo, visando obter resultados mais consistentes, analisaremos o de- sempenho dos métodos abordados nas Seções 4.1 e 4.2 para diferentes veto- res de parâmetros β. Logo, a escolha do melhor método será feita através da taxa de rejeição da hipótese nula H0 para o teste estatístico t para amostras
72 CAPÍTULO 5 COMPARAÇÃO DOS MÉTODOS
Os resultados apresentados na Tabela 5.6 mostram a superioridade do método MCA4 em relação ao método MC devido a elevada taxa de rejeição da hipótese nula.
Tabela 5.6: Comparação entre os métodos MCA4 e MC – Taxa de rejeição da hipótese nula H0 (Teste t pareado seguindo uma distribuição t-Student com
99 graus de liberdade).
Config. p RMSEL RMSEU r2L (%) rU2 (%)
C1 1 100% 100% 98% 97% 3 100% 100% 100% 100% C2 1 100% 100% 99% 98% 3 100% 100% 100% 100% C3 1 95% 95% 80% 80% 3 100% 100% 100% 100% C4 1 100% 100% 93% 92% 3 100% 100% 100% 100%
Nota-se que a diferença de performance observada entre os métodos MCA4 e MC aumenta à medida que o número de variáveis independentes considera- das no modelo também aumenta. Além disso, comparando as configurações C3 e C4 é possível verificar que a taxa de rejeição da hipótese nula aumenta
quando a variabilidade do erro decresce. Isso mostra que quanto mais line- ar o relacionamento entre as variáveis, mais estatisticamente significante é a diferença entre os métodos. Chegamos a mesma conclusão comparando as configurações C1 e C2. Em relação as configurações C1 e C3, a medida que a
amplitude dos intervalos decresce, a taxa de rejeição da hipótese nula tam- bém decresce. Entretanto, esse resultado era esperado pois, se as amplitudes convergissem à zero, teríamos o método MC como um caso particular do mé- todo MCA4. Chegamos a mesma conclusão ao compararmos as configurações C2 e C4.
Adicionalmente, é importante ressaltar que os métodos MCA1, MCA2 e MCA3 também apresentaram um desempenho estatisticamente superior ao método MC. Logo, podemos concluir que a inclusão de variáveis que capturam a informação da amplitude dos intervalos melhora a performance de previsão dos limites intervalares. A seguir, veremos qual a melhor abordagem entre os métodos MCA1, MCA2, MCA3 e MCA4, que utilizam o mesmo critério de otimização.
A comparação entre os métodos MCA4 e MCA1 é apresentada na Tabela 5.7. Observamos um crescimento na diferença de performance entre os mé- todos a medida que o número de variáveis independentes também aumenta. Além disso, quanto mais linear a relação entre a variável dependente e as va-
5.2 RESULTADOS OBTIDOS (CASO 1) 73
riáveis independentes, maior é a diferença de performance entre os métodos. Por outro lado, quando a amplitude dos intervalos diminui observa-se uma queda na taxa de rejeição da hipótese nula. Os mesmos resultados foram observados quando comparamos os métodos MCA2 e MCA3 com o método MCA1. Logo, concluímos que a utilização de um mesmo vetor de parâmetros para prever os limites dos intervalos, como no modelo MCA1, não resultou em uma boa performance de previsão.
Tabela 5.7: Comparação entre os métodos MCA4 e MCA1 - Taxa de rejeição da hipótese nula H0(Teste t pareado seguindo uma distribuição t-Student com
99 graus de liberdade)
Config. p RMSEL RMSEU r2L (%) rU2 (%)
C1 1 100% 95% 98% 97% 3 100% 100% 100% 100% C2 1 100% 99% 99% 98% 3 100% 100% 100% 100% C3 1 90% 88% 80% 80% 3 100% 100% 100% 100% C4 1 98% 97% 93% 92% 3 100% 100% 100% 100%
Comparamos o desempenho dos métodos MCA3 e MCA2, através dos re- sultados apresentados na Tabela 5.8 e observamos que o método MCA3 ob- teve uma performance superior ao método MCA2. Nota-se que a diferença estatística entre os métodos aumenta quando o número de variáveis indepen- dentes cresce. Contudo, esse resultado ja era esperado pois, ao contrário de
MCA2, o método MCA3 supõe parâmetros diferentes entre as variáveis Xc
j e
Xrj ( j = 1, 3).
Na Tabela 5.9 temos a comparação entre os métodos MCA4 e MCA3. Ob- servamos que o método MCA4 apresentou uma melhor performance na mai- oria das configurações analisadas. É possível verificar que quanto mais linear o relacionamento entre as variáveis, maior é a diferença de performance entre os métodos. Além disso, quando a amplitude dos intervalos decresce, a taxa de rejeição da hipótese nula também decresce. Por outro lado, à medida que o número de variáveis independentes cresce, temos uma redução na diferença de performance entre os métodos. Esse resultado já era esperado visto que a diferença entre esses dois modelos está apenas no intercepto.
Desta forma, podemos resumir esta primeira fase de resultados enalte- cendo dois pontos importantes:
1. A inclusão de variáveis que capturam a informação sobre a amplitude dos intervalos contribui para uma melhor performance de previsão em
74 CAPÍTULO 5 COMPARAÇÃO DOS MÉTODOS
Tabela 5.8: Comparação entre os métodos MCA3 e MCA2 - Taxa de rejeição da hipótese nula H0(Teste t pareado seguindo uma distribuição t-Student com
99 graus de liberdade).
Config. p RMSEL RMSEU r2L (%) rU2 (%)
C1 1 89% 88% 94% 94% 3 100% 100% 100% 100% C2 1 88% 89% 94% 94% 3 100% 100% 100% 100% C3 1 81% 80% 80% 80% 3 100% 100% 100% 100% C4 1 89% 90% 91% 92% 3 100% 100% 100% 100%
Tabela 5.9: Comparação entre os métodos MCA4 e MCA3 - Taxa de rejeição da hipótese nula H0(Teste t pareado seguindo uma distribuição t-Student com
99 graus de liberdade).
Config. p RMSEL RMSEU r2L (%) rU2 (%)
C1 1 100% 99% 56% 56% 3 48% 53% 8% 5% C2 1 100% 100% 97% 97% 3 100% 100% 91% 90% C3 1 6% 2% 2% 2% 3 0% 0% 0% 0% C4 1 74% 69% 26% 24% 3 42% 40% 24% 24%
modelos de regressão para dados simbólicos tipo-intervalo. 2. Entre os modelos que minimizam ∑i(εc
i)2+∑i(εir)2, o método MCA4 - que
corresponde a duas equações independentes para o centro e para ampli- tude dos intervalos - apresentou a melhor performance de previsão. A seguir, apresentaremos os resultados obtidos nos experimentos envol- vendo os modelos de regressão com restrição, denotados na Seção 4.3.