Parte 3 – Resultados do Testes de Capacidade de Previsão

5 RESULTADOS DA PESQUISA

5.6 Parte 3 – Resultados do Testes de Capacidade de Previsão

Nesta parte da pesquisa, os dois modelos, cujos parâmetros foram estimados pelo filtro de Kalman, foram comparados em termos de capacidade de previsão. Utilizando os parâmetros estimados dos modelos, foram geradas séries de previsão n-passos à frente para dados mensais e diários de preço à vista do açúcar. Para responder à pergunta final da pesquisa, as séries de preços previstos do açúcar dos dois modelos foram comparadas com os valores observados do açúcar à vista divulgados pelo CEPEA. As séries previstas e observadas foram emparelhadas, o preço observado do açúcar S_o_t₊_n foi comparado com o preço previsto para a mesma data,

n t f

S ₊ , ou seja, Sˆ_o_t₊_n_|_t =S_f_t₊_n =E_t

(

S_o_t₊_n

)

_{, n passos à frente.}

Os testes de previsão dos modelos foram realizados em duas etapas, descritas a seguir:

• na primeira etapa foram calculadas medidas de erro de previsão para quantificar o erro entre a amostra observada e a série prevista. As medidas de erro foram RMSE, MAE e MAPE. O procedimento foi também adotado por Aiube, Baidya e Tito (2006:222) para mensurar o erro de previsão em modelos de formação de preços de commodities;

• na segunda etapa foi realizado o teste estatístico de hipótese de Granger e Newbold (1976:195), conforme sugerido por Enders (2004:83). Este teste verificou a hipótese final da pesquisa e identificou, estatisticamente, qual dos dois modelos é melhor em termos de previsão.

5.6.1 Medidas de Erro de Previsão

Nesta seção são apresentados os resultados das medidas de erro de previsão dos dois modelos para um e três meses à frente. A primeira medida – RMSE – é a raiz do erro quadrático médio, a segunda medida – MAE – é o erro absoluto médio e a terceira medida – MAPE – é o erro absoluto percentual médio. Na Tabela 26, são apresentados os resultados das medidas

para os dados diários e, na Tabela 27, os resultados com dados mensais. Quanto maior o valor absoluto das medidas, maior é o erro de previsão do modelo.

Tabela 26 – Medidas de erro de previsão – dados diários

Modelo Previsão RMSE MAE MAPE

Um mês 1,5877 1,2202 0,1169 Modelo proposto Três meses 2,2243 1,6887 0,1656 Um mês 1,6198 1,2553 0,1191 Modelo de dois fatores Três meses 2,4285 1,8093 0,1792

Tabela 27 – Medidas de erro de previsão – dados mensais

Modelo Previsão RMSE MAE MAPE

Um mês 1,6127 1,2045 0,1125 Modelo proposto Três meses 2,1638 1,5659 0,1477 Um mês 1,6476 1,2431 0,1131 Modelo de dois fatores Três meses 2,2769 1,6996 0,1655

Com base nos resultados apresentados nas Tabelas 26 e 27 acima, verificou-se que, em termos de previsão, o modelo proposto é superior. Nos três indicadores, o modelo proposto resultou em menores erros do que no modelo de dois fatores, tanto para dados diários, quanto para dados mensais. Verificou-se, também, que o modelo estimado a partir de dados mensais produz menos erros do que a partir de dados diários. Quanto mais distante o horizonte de previsão, mais eficiente é o modelo proposto, comparado ao modelo de dois fatores. O ganho de informação, com a redução do erro absoluto percentual médio (MAPE), para a previsão um mês à frente, para dados diários e mensais foi de 1,86% e 0,54%, respectivamente. Enquanto o ganho de informação para a previsão de três meses foi de 7,59% e 10,79%, para dados diários e mensais, ou seja, houve uma redução de erros de previsão de mais de 10% no modelo proposto para o horizonte de três meses, quando comparado com o modelo de dois fatores em dados mensais.

5.6.2 Resultado do Teste de Previsão Granger e Newbold

Os modelos foram testados estatisticamente para identificar qual dos dois modelos é mais eficiente em termos de previsão. O teste de Granger e Newbold (1976) permite fazer essa comparação e, para um dado nível de significância, permite determinar qual dos dois modelos é estaticamente melhor. Para executar o teste, foram necessárias séries de dados observados e previstos dos dois modelos, o erro de previsão foi calculado pela diferença entre o valor observado e o valor previsto¹⁴. A hipótese nula do teste é que os modelos são iguais, em termos de erros de previsão. Se o modelo 1 (proposto) tiver maior erro de previsão, a correlação

ρ

_w,_g será positiva; se o modelo 2 (dois fatores) errar mais, a correlação será negativa. De acordo com Granger e Newbold (1976), o coeficiente de correlação amostral

g w,

ρ

tem uma distribuição t com N−1 graus de liberdade.

A Tabela 28 apresenta os valores de

ρ

_w,_g e, na última coluna à direita da tabela, as estatísticas

t do teste bicaudal para os dois modelos, os testes foram realizados com dados diários e

mensais e para previsões de um e três meses à frente, os p-valores estão entre parênteses.

Tabela 28 – Medidas de erro de previsão – dados mensais

Dados Previsão ^{Graus de}

liberdade

ρ

w,g Estatística t Um mês 1606 -0,1024 ^-4,1261 (0,0000) Diários Três meses 1564 -0,9504 ^-120,8194 (0,0000) Um mês 74 -0,1138 ^-0,9853 (0,3277) Mensais Três meses 71 -0,5022 ^-4,8941 (0,0000)

De acordo com os resultados dos testes da Tabela 28, todos os valores de

ρ

_w,_z são negativos, ou seja, em todas as amostras analisadas o modelo proposto resultou em menos erros de previsão do que o modelo de dois fatores. Além disso, rejeitou-se, com 99,9% de confiança, a hipótese nula de que os modelos sejam iguais em termos de previsão, com dados diários, para as previsões de um e três meses à frente. Com dados mensais, rejeitou-se a hipótese nula apenas para previsão de três meses.

Resultado do teste de hipótese – Pergunta Final: a pergunta final da pesquisa questionava

se o modelo proposto é melhor, em termos de previsão, do que um outro modelo disponível na literatura adequado ao mercado de açúcar, no caso, o modelo selecionado para comparação foi o de dois fatores. Os resultados dos testes estatísticos indicaram a rejeição da hipótese nula da pergunta final da pesquisa, no nível de 1% de significância, para três das quatro amostras de erros de previsão analisadas. Com base nos resultados, é possível inferir que a segunda hipótese alternativa de pesquisa está correta, ou seja, que o modelo proposto é melhor, em termos de previsão, do que o modelo de dois fatores. Os resultados dos testes de hipóteses são corroborados pelas medidas de erros de previsão RMSE, MAE e MAPE. Em todas as

amostras, com dados mensais e diários, o modelo proposto resultou em menores erros de previsão, para um e três meses à frente.

No documento MODELO DE FORMAÇÃO DE PREÇOS DE COMMODITIES AGRÍCOLAS APLICADO AO MERCADO DE AÇÚCAR E ÁLCOOL (páginas 170-174)