Resultados dos Comitês

A TAB. 4.9 descreve os resultados de uma combinação não-linear nos métodos da TAB. 4.4. A combinação número 1 (combinação simples) da TAB. 4.9 demonstrou que, apesar do fraco desempenho da maior parte dos métodos que compunham o comitê, o uso somente das saídas dos cinco previsores foi suficiente para superar o melhor desempenho individual. Nas combinações número 2 e 3 (combinação conjugada) a utilização de dados históricos compatíveis com a menor e a maior janela de previsão individual, respectivamente, obtiveram ainda desempenhos ligeiramente superiores com relação à combinação número 1. Os gráficos da combinação número 3 estão exibidos nas FIG. 4.2 e FIG. 4.3, que ilustram a excelente resposta do comitê na combinação não-linear e, de uma forma geral, em todos os experimentos realizados com a série Mackey-Glass que envolveram o algoritmo backpropagation, tanto na aplicação de métodos base como no nível meta, onde as curvas de previsão e da série original praticamente se sobrepõem.

Tabela 4.9 Experimento TIPO E.3 – Série Mackey-Glass

Conjuntos: Treino 70% (1-1050), Teste 30% (1051-1500) Membros do Comitê: TAB. 4.4 (todos os métodos) No Configuração da Rede do

Comitê

Resultados

U-Theil MSE RMSE SSE MAE MAPE(%)

1 5L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0635 1.1861E-4 0.0109 0.1068 0.0082 1.02 2 6L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0618 1.1239E-4 0.0106 0.1012 0.0079 0.99 3 14L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0560 9.2312E-5 0.0096 0.0831 0.0069 0.85

FIG. 4.2 Gráfico do resultado da combinação número 3 da TAB. 4.7.

FIG. 4.3 Gráfico do resultado da combinação número 3 da TAB. 4.7 (ampliação das últimas 20 previsões)

Em um total de 7(sete) combinações, os métodos listados na TAB. 4.5 foram seqüencialmente agregados e testados em uma combinação linear do TIPO C, sendo os resultados apresentados na TAB. 4.10.

Com relação à combinação linear pela média simples, os resultados da TAB. 4.10 demonstraram previsões com erros menores a cada novo previsor agregado até a sexta combinação, independentemente dos resultados individuais dos membros do comitê que oscilaram entre desempenhos próximos (melhores e piores) ao melhor resultado individual (previsor número 2 da TAB. 4.5). Desde a segunda até a sexta combinação os resultados foram superiores ao melhor resultado individual. Na combinação número 1 não foi possível reverter o fraco desempenho do método individual número 1 da TAB. 4.5, visto que o comitê foi formado apenas por dois previsores. A combinação número 7 demonstra a sensibilidade desse tipo de combinação quando um membro do comitê apresenta um desempenho muito abaixo dos demais integrantes do comitê, degradando o desempenho deste e, justificando, assim, a existência de um mecanismo de seleção dos candidatos a membros do comitê.

TAB. 4.10 Experimento TIPO C – Série Mackey-Glass

Combinação Linear Conjunto de Teste: 1051-1500 (30%)

No

Métodos

Selecionados da

TAB. 4.5 Média U-Theil MSE RMSE SSE MAE MAPE(%)

1 1,2 Simples 0.0738 1.6022E-4 0.0127 0.1442 0.0106 1.35 Ponderada 0.0492 7.1315E-5 0.0084 0.0642 0.0063 0.83 2 1, 2, 3 Simples 0.0546 8.7831E-5 0.0094 0.0790 0.0072 0.96 Ponderada 0.0464 6.3507E-5 0.0080 0.0572 0.0058 0.78 3 1, 2, 3, 4 Simples 0.0458 6.1634E-5 0.0079 0.0555 0.0057 0.76 Ponderada 0.0457 6.1343E-5 0.0078 0.0552 0.0056 0.74 4 1, 2, 3, 4, 5 Simples 0.0422 5.2406E-5 0.0072 0.0472 0.0052 0.71 Ponderada 0.0450 5.9523E-5 0.0077 0.0536 0.0058 0.76 5 1, 2, 3, 4, 5, 6 Simples 0.0400 4.7147E-5 0.0069 0.0424 0.0049 0.66 Ponderada 0.0436 5.5901E-5 0.0075 0.0503 0.0055 0.73 6 1, 2, 3, 4, 5, 6, 7 Simples 0.0388 4.4245E-5 0.0067 0.0398 0.0049 0.67 Ponderada 0.0390 4.4732E-5 0.0067 0.0403 0.0049 0.66 7 1, 2, 3, 4, 5, 6, 7, 8 Simples 0.0669 1.3182E-4 0.0115 0.1186 0.0090 1.16 Ponderada 0.0397 4.6333E-5 0.0068 0.0417 0.0049 0.67

A combinação linear pela média ponderada obteve desempenho superior em todas as combinações realizadas na TAB. 4.10 frente ao melhor desempenho individual da TAB. 4.5. O fator principal é que desempenhos individuais muito inferiores aos demais têm a sua colaboração reduzida no comitê por meio de uma ponderação menor, de

forma a não prejudicar o desempenho global. A ponderação eficiente dessas colaborações foi possível em função do excelente desempenho observado nas previsões no próprio conjunto de treino, de onde foram calculados os pesos a serem aplicados a cada saída individual, conforme descrito no Capítulo 3, Seção 3.2.4.

A TAB. 4.11 contém os resultados de outra combinação linear, a partir de métodos base compostos unicamente por instâncias do algoritmo de Wang-Mendel (WANG e MENDEL, 1992) descritas na TAB. 4.8. Esse combinação linear também apresenta um resultado melhor do que os membros do comitê, visto que estes apresentam reduzidos erros de previsão aliados à diversidade destes erros proporcionada pelas configurações diferenciadas em cada instância dos métodos-base.

Para efeito de comparação entre uma combinação linear e outra não-linear, a TAB. 4.12 descreve os resultados de uma combinação não-linear dos métodos-base relacionados na TAB. 4.8 e que foram usados na combinação linear descrita na TAB 4.11. Confrontando-se os resultados das TAB 4.11 e TAB 4.12, verifica-se um desempenho superior na combinação não-linear.

TAB. 4.11 Experimento TIPO D – Série Mackey-Glass

Combinação Linear Conjunto de Teste: 1051-1500 (30%)

No

Métodos Selecionados da

TAB. 4.8 Média U-Theil MSE RMSE SSE MAE MAPE(%)

1 Todos Simples 0.2196 0.0014 0.0377 1.2779 0.0277 3.58 Ponderada 0.2166 0.0014 0.0372 1.2432 0.0273 3.53

Tabela 4.12 Experimento TIPO E.2 – Série Mackey-Glass

Conjuntos: Treino 70% (1-1050), Teste 30% (1051-1500) Membros do Comitê: TAB. 4.8 (todos os métodos) No Configuração da Rede do

Comitê

Resultados

U-Theil MSE RMSE SSE MAE MAPE(%)

1 5L_5S_5S_1L _{E = 5000 T = 0,6 M = 0,3} 0.2133 1.3387E-3 0.0366 1.2048 0.0266 3.35 2 12L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0944 2.6250E-4 0.0162 0.2362 0.0128 1.63 3 20L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0617 1.1215E-4 0.0106 0.1009 0.0080 1.10

A TAB. 4.13 descreve os resultados de uma combinação não-linear nos métodos da TAB. 4.5. Na combinação número 1 da TAB. 4.13 somente as saídas dos oito previsores

(TAB. 4.5) serviram como fonte de informação para o combinador, opção denominada como TIPO E.1. Nas combinações número 2 e 3 da TAB. 4.13, também do TIPO E.1, além dos dados providos pelas saídas dos previsores individuais, dados históricos também foram utilizados para compor a entrada do combinador. A quantidade de elementos históricos foi estabelecida como sendo a menor janela dos métodos individuais na combinação número 2 e a maior delas na combinação número 3.

TAB. 4.13 Experimento TIPO E.1 – Série Mackey-Glass

Conjuntos: Treino 70% (1-1050), Teste 30% (1051-1500) Membros do Comitê: TAB. 4.5 (todos os métodos)

No Configuração da Rede do _Comitê Resultados

U-Theil MSE RMSE SSE MAE MAPE(%)

1 8L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0364 3.9000E-5 0.0062 0.0351 0.0047 0.66 2 12L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0342 3.4430E-5 0.0059 0.0310 0.0044 0.58 3 28L-5S-5S-1L_{E = 5000 T = 0,6 M = 0,3} 0.0391 4.5114E-5 0.0067 0.0406 0.0053 0.69

A TAB. 4.14 expõe o resultado de um comitê em uma combinação não-linear do TIPO E.4. Os resultados obtidos na TAB. 4.14 foram também superiores ao melhor desempenho individual dos métodos base da TAB. 4.6 que formaram o citado comitê e ligeiramente inferiores aos resultados da combinação não-linear da TAB. 4.13. Na média, superou os bons resultados da combinação linear pela média ponderada na TAB. 4.10.

A título ilustrativo da capacidade de obtenção de resultados superiores pelos comitês, percebe-se que todos os resultados das combinações não-lineares das TAB. 4.13 e TAB. 4.14 superaram os testes análogos apresentados na TAB. 4.7, onde a mesma quantidade de informação de entrada e o mesmo tipo de configuração foram aplicados. Isto demonstra que o uso das informações de saída dos métodos base foram mais eficazes do que o uso de um correspondente conjunto de dados históricos.

TAB. 4.14 Experimento TIPO E.4 – Série Mackey-Glass

Conjuntos: Treino 70% (1-1050), Teste 30% (1051-1500)

Membros do Comitê: TAB. 4.6 (todos os métodos treinados com 50% (1-750) dos dados da série)

No Configuração da Rede do _Comitê Resultados do Conjunto de Teste

U-Theil MSE RMSE SSE MAE MAPE(%)

1 8L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0430 5.4372E-5 0.0074 0.0489 0.0057 0.70 2 12L-5S-5S-1L _{E = 5000 T = 0,6 M = 0,3} 0.0403 4.7717E-5 0.0069 0.0429 0.0053 0.69 3 28L-5S-5S-1L_{E = 5000 T = 0,6 M = 0,3} 0.0342 3.4484E-5 0.0059 0.0310 0.0047 0.58