Rede neural de base radial aplicada em previsão de séries temporais: algoritmo e aplicação

Rede neural de base radial aplicada em previsão de séries temporais:

algoritmo e aplicação

Leandro dos Santos Coelho Osiris Canciglieri Junior Pontifícia Universidade Católica do Paraná, PUC/CCET/LAS

E-mail: lscoelho@rla01.pucpr.br, osiris@rla01.pucpr.br

Abstract: This paper presents the configuration and application of radial basis function neural networks for time series prediction process. The radial basis function neural network is evaluated for two case studies: (i) prediction of CO2 concentration of Box and Jenkins gas furnace data, and (ii) prediction of diferential equation of Mackey-Glass that describe a physiological controle system. Simulations deal the estimation and validation procedures of neural model. The performance of radial basis function neural network for time series prediction of case studies are also presented and discussed. The results indicate that the proposed neural network model is very attractive to complex system identification, financial applications and information systems.

Keywords: neural networks, time series, system identification, radial basis function, information systems, financial applications.

Resumo: Este artigo apresenta a configuração e aplicação de redes neurais de função de base radial para o procedimento de previsão de séries temporais. A rede neural função de base radial é avaliada em dois estudos de casos: (i) na previsão da concentração de dióxido de carbono dos dados da fornalha de gás de Box e Jenkins, e (ii) a previsão da equação diferencial de Mackey-Glass que descreve um sistema de controle fisiológico. As simulações tratam os procedimentos de estimação e validação do modelo neural. O desempenho da rede neural de base radial para a previsão das séries temporais para os estudos de caso são apresentados e discutidos. Os resultados indicam que o modelo neural proposto é atrativo para aplicações em identificação de sistemas complexos, aplicações financeiras e sistemas de informação.

Palavras chaves: redes neurais artificiais, séries temporais, identificação de sistemas, função de base radial, sistemas de informação, aplicações financeiras.

1 Introdução

Um dos problemas principais da ciência é a previsão (“Dado o passado, como posso prever o futuro?”). A análise de séries temporais é uma área de pesquisa relevante em diversos campos do conhecimento, principalmente nas áreas de engenharia e economia. A principal motivação para pesquisas sobre séries temporais é providenciar uma previsão quando o modelo matemático de um fenômeno é desconhecido ou incompleto. Uma série temporal consiste de medidas ou observações de previamente obtidas de um fenômeno que são realizadas seqüencialmente sob um intervalo de tempo. Se estas observações consecutivas são dependentes uma da outra então é possível conseguir-se uma previsão.

Os problemas de séries temporais são tratados por métodos estocásticos que são de execução rápida, mas de aplicabilidade limitada, pois usualmente empregam modelos matemáticos lineares. Na

prática, muitos sistemas apresentam características complexas, tais como não-linearidades e comportamento caótico, e conseqüentemente, os modelos lineares podem ser inadequados. Estes sistemas complexos são encontrados em aplicações de circuitos eletrônicos, mercado financeiro, sistemas mecânicos, biologia, mecânica dos fluidos, manufatura, pesquisa operacional, engenharia do produto, entre outras áreas. Entre as metodologias que possibilitam o tratamento apropriado de sistemas complexos não lineares destacam-se as metodologias da inteligência computacional.

Na literatura diversos autores têm proposto metodologias da inteligência computacional em aplicações de previsão de séries temporais, tais como: sistemas nebulosos (PETRIDIS & KEHAGIAS, 1997), redes neurais artificiais (RNs) (CONNOR et al., 1994), algoritmos evolutivos (IBA & SASAKI, 1999), redes neurais nebulosas, sistemas híbridos nebuloso-evolutivos (KIM & KIM, 1997), sistemas híbridos neuro-evolutivos (HARRALD & KAMSTRA, 1997) e sistemas híbridos neuro-nebulosos-evolutivos (KHOSLA & DILLON, 1997).

Mais especificamente em aplicações de RNs na previsão de séries temporais têm sido realizados diversos estudos relevantes com resultados promissores. TANG et al. (1991) apresentaram um estudo comparativo de RNs e a metodologia de Box-Jenkins para a previsão de séries temporais. DEPPISH et

al. (1991) propõe um novo procedimento de treinamento hierárquico de RNs perceptron multicamadas

para previsão de sistemas caóticos. ABELÉM et al. (1995) apresentaram um estudo do processo de modelagem de RNs para previsão de séries temporais, analisando aspectos de convergência, generalização e escalabilidade. STAGGE & SENDHOFF (1997) trataram o problema de previsão e modelagem de sistemas dinâmicos baseados em RN parcialmente recorrente de Elman. DELGADO & PRAT (1997) propuseram a aplicação de modelos lineares e modelos caixa-preta com a utilização de

RNs em problema de previsão de séries temporais. CHEN & WAN (1999) propuseram um algoritmo

rápido para a configuração de RNs do tipo functional-link e apresentaram resultados de simulação na previsão de séries temporais.

Neste artigo apresenta-se a aplicação de redes neurais de base radial (RNs-RBF) aplicada à previsão de séries temporais. A grande parte das aplicações de RNs na previsão de séries temporais utiliza o algoritmo da retropropagação do erro em redes neurais do tipo perceptron multicamadas (RUMELHART et al., 1986). O perceptron multicamadas é um exemplo de RN que generaliza globalmente. A generalização local ocorre em RNs quando somente poucos pesos afetam a resposta da saída da RN, para os “pontos locais” no espaço de entrada. As RNs-RBF possuem características relevantes para previsão de séries temporais, tais como aprendizado rápido e adequação para mapeamentos não-lineares. As RNs-RBF apresentam generalização local, em que a interferência no aprendizado é minimizada e o aprendizado é relativamente rápido, devido ao número mínimo de pesos ajustados a cada par de treinamento apresentado a RN.

O artigo é organizado da seguinte maneira. Na seção 2 são apresentados alguns fundamentos das RNs e a descrição da RN-RBF utilizada. A descrição de exemplos de séries temporais são abordados na seção 3. Os resultados obtidos nas simulações e configurações de RN-RBF aplicados à previsão de séries temporais são apresentados e discutidos na seção 4. A conclusão e as perspectivas são tratadas na seção 5.

2 Redes neurais artificiais

Uma RN é uma ferramenta computacional que resultou de pesquisas no campo da inteligência artificial que procurava entender e modelar o comportamento do cérebro humano. A interação entre neurônios no cérebro humano, na realidade, não é visível, mas é identificada como comportamento inteligente. Com o propósito de desenvolver o mesmo tipo de estrutura para um modelo computacional de comportamento inteligente, neurologistas e pesquisadores da inteligência artificial propuseram uma rede altamente interconectada de nódulos (ou neurônios).

Em síntese, as RNs consistem em elementos de processamento altamente interconectados denominados neurônios. Cada um tendo um número de entradas e uma saída. A saída de cada neurônio é determinada como uma função não-linear de um soma ponderada das entradas, embora operações

matemáticas mais complexas podem ser incluídas. Os neurônios se interconectam através de pesos, os quais são ajustados durante o período de treinamento.

As RNs são especificadas pela topologia, características dos neurônios e regras de treinamento. Estas regras de treinamento especificam como o conjunto de pesos iniciais deve ser adaptado para a rede aprender o comportamento de um sistema. Os algoritmos particulares de treinamento (ou aprendizado) de uma RN ajustam iterativamente os pesos das conexões entre os neurônios até que os pares desejados de informações de entrada(s) e saída(s) sejam obtidos e as relações de causa e efeito possam ser estabelecidas. Se as condições mudarem de tal modo que o desempenho do modelo não seja mais adequado, pode-se submeter a RN a um novo treinamento sob estas novas condições de entrada(s) e saída(s) para corrigir seu desempenho. Assim sendo, pode-se submeter a RN a uma atualização periódica, resultando num modelo auto-ajustável em linha.

Entre as aplicações usuais das RNs têm-se: reconhecimento e classificação de padrões,

clustering, previsão de séries temporais, aproximação de funções, predição, otimização, setor militar

(processamento de sinais para identificação de alvos e análise de imagens), sistemas especialistas, processamento de sinais (imagens, sensores, voz, caracteres, visão, compressão de dados, filtragem de sinais), telecomunicações, manufatura, monitoramento de processos e robótica (WIDROW et al., 1994).

2.1 Por que utilizar as redes neurais artificiais em previsão de séries temporais? Entre as características que tornam as RNs atraentes têm-se:

(i) habilidade de tratar sistemas não-lineares: relevante à aplicação em identificação de sistemas

dinâmicos;

(ii) tolerância a falhas: o conhecimento é distribuído pela RN, mais que em uma simples localização de

memória. Uma parte das conexões pode estar inoperante, sem mudanças significativas no desempenho de toda a RN;

(iii) adaptabilidade: capacidade da RN auto-ajustar-se. Os aspectos de aprendizado, auto-organização,

generalização e treinamento estão intrinsecamente ligados a esta característica;

(iv) aprendizado: uma RN pode modificar seu comportamento em resposta ao ambiente. Quando é

apresentado um conjunto de entradas, as RNs se ajustam para gerar as respostas apropriadas; (v) auto-organização: modificação dos neurônios, através das etapas do treinamento, visando a

modificação da RN;

(vi) generalização: consiste na RN mapear entradas similares em saídas similares. Uma vez treinada a

resposta da RN é insensível a pequenas variações nas suas entradas; (vii) treinamento: é a forma pela qual a RN aprende;

(viii) processamento paralelo: as RNs são estruturalmente paralelas. A seqüência de processamento das RNs é realizada em paralelo e simultaneamente;

(ix) abstração: muitas RNs são capazes de abstrair a essência de um conjunto de entradas;

2.2 Rede neural de base radial

A característica essencial da RN-RBF, conforme apresentado pela figura 1, é que a camada de saída é uma combinação linear dos sinais da camada oculta, sendo que neste tipo de rede neural utiliza-se somente uma camada oculta (ou intermediária). As RNs-RBF permitem um procedimento rápido de

atualização pesos, separa os padrões de entrada com hiperelipsóides e apresenta uma estrutura apta à construção de mapeamentos locais dos dados de entrada e saída.

Figura 1. Uma RN-RBF com uma camada intermediária.

Uma RN-RBF com m entradas e n saídas implementa o mapeamento fr:

m_→ n

representado por (XIAOHONG et al., 1996):

(

)

f

x

x

c

( )

=

+ ∑

−

Λ

Λ Φ

(1)

onde Me é o número de funções de base radial, x ∈ m; Φ(•) é uma função de + para -; ||•|| denota uma norma Euclidiana, neste caso, a distância Euclidiana dos vetores de entrada, x, para os centros cj; Λj∈

m

; j=1,...,Me, são vetores ponderados; Λ0∈ m

é um vetor constante e cj∈ m

; j=1,...,Me, são centros da função de base radial, onde

Λj = [λmj] T

, j=1,...,Me (2)

A equação (1) é escrita na forma decomposta

(

)

fr x

x

c

( )

=

+ ∑

−

,

Λ

Λ Φ

i = 1,...,m

Muitas funções são utilizadas como funções de base radial, Φ(•), na camada intermediária. Uma condição suficiente para uma função ser candidata a função de base radial, deve ser radialmente simétrica e a primeira derivada ser monotônica (POGGIO & GIROSI, 1990). Adotou neste artigo a função Gaussiana.

O procedimento de aprendizado de uma RN-RBF é sintetizado em três etapas: (i) selecionar o número de centros; (ii) escolher os valores dos centros; e (iii) ajustar os pesos. Existe também uma variedade de algoritmos à configuração deste tipo de rede neural. Os algoritmos podem ser agrupados em duas categorias: (i) métodos construtivos e (ii) métodos de otimização não-linear (HARRIS et al., 1993).

Neste artigo é utilizado um método construtivo, denominado k-médias (MOODY & DARKEN, 1989), onde os parâmetros não-lineares (centros e variâncias) da RN-RBF são fixos e técnicas de estimação lineares determinam os valores de polarização e dos pesos. O treinamento de uma RN-RBF através de métodos construtivos inicia pela determinação dos centros da função base e pela escolha da

camada de saída

x1

x2

xn

camada de entrada

camada oculta

entradas

saída obtida

w

w

w

w

função base. Os pesos da RN-RBF são ajustados para que a RN-RBF aproxime o valor da resposta desejada, através da de um critério de minimização do erro. Uma relação linear existe entre os pesos e a saída da RN-RBF, assim, um esquema de estimação linear pode ser empregado ao treinamento dos pesos, por exemplo, algoritmos de mínimos quadrados, gradiente conjugado e técnica da pseudo-inversa (GOLUB & VAN LOAN, 1983). Neste artigo adotou-se a técnica da pseudo-inversa.

3 Descrição das séries temporais

Uma série temporal, x(t), pode ser definida como uma função de uma variável independente tempo t, vinculada a um processo em que uma descrição matemática é desconhecida (ou considerada como tal). A característica principal de tais séries é que o seu comportamento futuro não pode ser previsto exatamente, como pode ser previsto de uma função determinística, conhecida em t. Contudo, o comportamento de uma série temporal pode algumas vezes ser antecipado através de procedimentos estocásticos. A seguir são apresentados dois exemplos de séries temporais empregadas no procedimento de identificação e previsão via RNs.

3.1 Exemplo 1

A fornalha de gás de Box e Jenkins (BOX et al., 1994) consiste de uma fornalha onde a entra u é a taxa de alimentação de gás metano (pés cúbicos por minuto) e a saída y é a concentração de dióxido de carbono (%CO2) em uma mistura de gases. Um conjunto de 296 amostras (pares de dados de entrada e saída) é disponível para identificação. O experimento foi configurado para utilizar-se 200 amostras para a fase de estimação e 96 amostras para a fase de validação do modelo via RN-RBF para esta série temporal.

3.2 Exemplo 2

Neste exemplo utiliza-se a série denominada de equação diferencial de Mackey-Glass (MACKEY & GLASS, 1977), que descreve um sistema de controle fisiológico. A equação de Mackey-Glass é uma série temporal obtida pela integração da equação diferencial

dx t dt Ax t xC t Bx t ( ) ( ) ( ) ( ) = − + − − τ τ 1 (4)

Os experimentos são realizados para A = 0,2; B = 0,1; C = 10 e τ = 17. Neste caso o sistema exibe comportamento caótico. O conjunto de dados utilizado consiste de 2000 amostras, as amostras 1 a 1000 são empregadas na fase de estimação, enquanto as amostras 1001 a 2000 para a fase de validação.

Nos experimentos realizados, os dados da série temporal de MacKey-Glass são obtidos pela aplicação do método de Runge-Kutta de 4a. ordem co condições iniciais x(0) = 1.2, x(t-τ)= 0 para 0 ≤ t

≤τ.

4 Aplicações e resultados

O procedimento de análise e previsão de séries é dividido nas seguintes etapas: (i) obtenção dos dados do processo (dados de entrada e saída); (ii) aplicação de testes aos dados obtidos à detecção de não-lineridades (analisar as medidas); (iii) escolha da estrutura utilizada para representar o modelo; (iv) a determinação do algoritmo adequado para tratar o modelo do processo (no caso, RN-RBF); (v)

estimação dos parâmetros do modelo (fase de estimação); e (vi) a validação do modelo (fase de validação ou de testes).

O critério de desempenho, nos exemplo 1 e 2, é avaliado pela soma do erro médio quadrático,

ISE, entre a saída real e a saída estimada da série temporal para as amostras avaliadas, nas fases de

estimação e validação. Os resultados obtidos via RN-RBF para a previsão das séries temporais, dos exemplos 1 e 2 descritos na seção 3, são apresentados na tabela 1 e figuras 4 e 5, respectivamente.

Tabela 1: Resultados obtidos via RN-RBF para a previsão das séries temporais dos exemplos 1 e 2. (a) exemplo 1: Box-Jenkins (b) exemplo 2: MacKey-Glass

entradas Gaussianas ISE entradas Gaussianas ISE

u(t-1), y(t-1) 7 0,2853 x(t-1), x(t-6), x(t-12), x(t-18) 8 0,2075 u(t-1), y(t-1) 8 0,2380 x(t-1), x(t-6), x(t-12), x(t-18) 9 0,0335 u(t-1), y(t-1) 9 0,0903 x(t-1), x(t-6), x(t-12), x(t-18) 10 0,0325 u(t-1), y(t-1) 10 0,0185 x(t-1), x(t-6), x(t-12), x(t-18) 11 0,0259 u(t-1), y(t-1) 11 0,0014 x(t-1), x(t-6), x(t-12), x(t-18) 12 0,0179

Figura 2. Resultados da previsão dos dados de Box-Jenkins via RN-RBF.

Figura 3. Resultados da previsão da série caótica de Mackey-Glass via RN-RBF.

Os resultados obtidos mostram a robustez e eficiência da RN-RBF na previsão das séries temporais de Box-Jenkins e MacKey-Glass. Entretanto, da mesma forma que ocorre com a RN

perceptron multicamadas, o problema de seleção estrutural ocorre com a RN-RBF, onde o desempenho

da RN-RBF depende de como os centros da função de base são selecionados, em termos de quantidade e posição. A escolha dos centros afeta diretamente a qualidade de aproximação da função obtida pela

RN-RBF. Em síntese, existe um compromisso entre o número de centros selecionados da RN-RBF e a

qualidade de aproximação do modelo neural obtido para previsão da série temporal. Para problemas de complexidade/dimensionalidade baixa necessita-se de um número menor de centros que para um problema de maior complexidade/dimensionalidade.

5 Conclusão

Neste artigo a aplicação de RNs-RBF em problemas de previsão de séries temporais é investigada. Foram empregados dois exemplos de séries temporais para verificação do desempenho da

RN-RBF. Os resultados obtidos são encorajadores e serviram para constatar-se que a RN-RBF

constitui-se de uma ferramenta promissora em aplicações de previsão de séries temporais e mapeamentos não-lineares de sistemas dinâmicos complexos.

A RN-RBF demonstrou vantagens devido a capacidade de aproximação de funções não-lineares, rapidez e eficiência do aprendizado, possibilitando a obtenção de resultados precisos. Entretanto, necessita-se de estudos mais aprofundados quanto a aspectos de aprimoramento das capacidades de interpolação, generalização e aprendizado da RN-RBF para a previsão de séries temporais. Entre os aspectos que devem ser considerados em estudos a posteriori deve-se mencionar alguns relevantes, tais como: aproximação de valores constantes pela RN-RBF (LEE et al., 1999), análise do comportamento da RN-RBF para horizontes de previsão grandes e a influência da ordem e atraso de transporte da série temporal no desempenho da RN-RBF.

As perspectivas de futuros trabalhos são da configuração de algoritmos baseados em inteligência computacional e métodos estocásticos para o tratamento de problemas práticos de previsão, no âmbito de mercado financeiro e identificação de processos complexos da indústria química (ALMEIDA & SIQUEIRA, 1997; BARATTI et al., 1995).

Referências bibliográficas

ALMEIDA, F. C.; SIQUEIRA, J. O. Comparação entre regressão logística e redes neurais na previsão de falência de bancos brasileiros, III Congresso Brasileiro de Redes Neurais, Florianópolis, SC, 1997, pp. 27-32.

BARATTI, R.; VACCA, G.; SERVIDA, A. Neural network modeling of distillation columns, Hydrocarbon Processing, vol. 74, no. 6, 1995, pp. 35-38.

BELÉM, A. J.; PACHECO, M. A. C.; VELLASCO, M. M. B. R. Modelagem de redes neurais artificiais para previsão de séries temporais, II Simpósio Brasileiro de Redes Neurais, São Carlos, SP, 1995, pp. 107-112.

BOX, G.; JENKINS, G.; REINSEL, G. Time series analysis, forecasting and control, 3rd ed., Englewood Cliffs, NJ : Prentice Hall. 1994.

CHEN, C. L. P.; WAN, J. Z. A rapid learning and dynamic stepwise updating algorithm for flat neural networks and the application to time-series prediction, IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 29, no. 1, 1999, pp. 62-72.

CONNOR, J. T.; MARTIN, R. D.; ATLAS, L. E. Recurrent neural networks and robust tme series prediction, IEEE Transactions on Neural Networks, vol. 5, no. 2, 1994, pp. 240-254.

DELGADO, A.; PRAT, A. Modeling time series using neural networks, III Congresso Brasileiro de Redes Neurais, Florianópolis, SC, 1997, pp. 302-307.

DEPPISCH, J.; BAUER, H.-U.; GEISEL, T. Hierarchical training of neural networtks and prediction of chaotic time series, Physical Letters A, vol. 158, 1991, pp. 57-62.

GOLUB, G. H.; VAN LOAN, C. F. Matrix computations, Baltimore : The John Hopkins University Press. 1983.

HARRALD, P. G., KAMSTRA, M. Evolving artificial neural networks to combine financial forescasts, IEEE Transactions on Evolutionary Computation, vol. 1, no. 1, 1997, pp. 40-52.

HARRIS, C. J.; MOORE, C. G.; BROWN, M. Intelligent control: aspects of fuzzy logic and neural nets, World Scientific Series in Robotics and Automation Systems, vol. 6, World Scientifc : London. 1993.

IBA, H.; SASAKI, T. Using genetic programming to predict financial data, Proceedings of the Congress on Evolutionary Computation, Washington, DC, vol. 1, 1999, pp. 244-251.

KIM, D.; KIM, C.; 1997. Forecasting time series with genetic fuzzy predictor ensemble, IEEE Transactions on Fuzzy Systems, vol. 5, no. 4, 1997, pp. 523-535.

KHOSLA, R.; DILLON, T. Engineering intelligent hybrid multi-agent systems. Kluwer Academic Publishers : Boston, USA. 1997.

LEE, C.-C.; CHUNG, P.-C.; TASI, J. -R.; CHANG, C.-I. Robust radial basis function neural networks, IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, vol. 29, no. 6, 1999, pp. 674-685.

MACKEY, M. C., GLASS, L. Oscillation and chaos in physiological control systems, Science, vol. 197, 1977, pp. 287-289.

MOODY, J.; DARKEN, C. J. Fast learning in networks of locally-tuned processing units, Neural Computation, vol. 1, no. 2, 1989, pp. 281-294.

PETRIDIS, V.; KEHAGIAS, A. Predictive modular fuzzy systems for time-series classification, IEEE Transactions on Fuzzy Systems, vol. 5, no. 3, 1997, pp. 381-397.

POGGIO, T.; GIROSI, F. Network for aproximation and learning, Proceedings of the IEEE, vol. 78, no. 9, 1990, pp. 1481-1497.

RUMELHART, D. E.; HINTON, G. E.; WILLIAMS, R. J. Parallel distributed processing: explorations in the microstructure of cognition. vol. 1, Cambridge, MA : The MIT Press. 1986. STAGGE, P.; SENDHOFF, B. An extended Elman net for modeling time series, Proceedings of 7th

International Conference on Artificial Neural Networks, Lausanne, Switzerland, 1997, pp. 427-432.

TANG, Z.; ALMEIDA, C.; FISHWICK, P. A. Time series forecasting using neural networks vs Box-Jenkins methodology, Simulation, vol. 57, no. 5, 1991, pp. 303-310.

WIDROW, B.; RUMELHART, D. E.; LEHR, M. A. Neural networks: applications in industry, business and science, Communications of the ACM, vol. 37, no. 3, 1994, pp. 93-105.

XIAOHONG, C.; FENG, G.; JIXIN, Q.; YOUXIAN, S. A nonlinear adaptive controller based on RBF networks, Proceedings of IEEE International Conference on Systems, Man and Cybernetics, Beijing, China, 1996, pp. 661-666.