REDE NEURAL FUNÇÃO DE BASE RADIAL USANDO OTIMIZAÇÃO POR APROXIMAÇÃO ESTOCÁSTICA EM IDENTIFICAÇÃO DE SISTEMA NÃO- LINEAR COM COMPORTAMENTO CAÓTICO

(1)

REDE NEURAL FUNÇÃO DE BASE RADIAL USANDO OTIMIZAÇÃO POR

APROXIMAÇÃO ESTOCÁSTICA EM IDENTIFICAÇÃO DE SISTEMA

NÃO-LINEAR COM COMPORTAMENTO CAÓTICO

Fabio A. Guerra

1_,

_{Cezar A. Sierakowski}

2_e

_{Leandro dos Santos Coelho}

2

1_{Divisão de Inteligência Artificial, TECPAR – Instituto de Tecnologia do Paraná}

St. Algacyr Munhoz Mader, 3775, CEP 81350-010, Curitiba, PR, Brasil e-mail: guerra@tecpar.br

2_{Grupo Produtrônica, Programa de Pós-Graduação em Engenharia de Produção e Sistemas}

PUCPR / CCET / PPGEPS / LAS - Laboratório de Automação e Sistemas, Centro de Ciências Exatas e de Tecnologia Pontifícia Universidade Católica do Paraná, Rua Imaculada Conceição, 1155, CEP 80215-901, Curitiba, PR, Brasil

e-mail: cezar.sierakowski@pucpr.br; leandro.coelho@pucpr.br

ABSTRACT

The conception of mathematical models for the representation of chaotic time series is an approach with practical applications. However, in general, the construction of adjusted mathematical models to forecast chaotic time series is not a simple task. An alternative approach, between others, for mathematical representation of dynamics systems with complex or chaotic behavior, is a radial basis function neural network (RBF-NN). In this paper, the RBF-NN learning is based on a new approach based on k-means clustering (global search), simultaneous perturbation stochastic approximation method (local search) for tuning of centers and spreads of activation function (Gaussian functions) of RBF-NN, and method by pseudo-inverse to optimize the RBF-NN weight’s output. This paper presents the implementation and study to identify a dynamic system, with nonlinear and chaotic behavior, called Rössler’s circuit, with concepts of multi-step-ahead prediction.

KEYWORDS: neural network, Rössler circuit, chaotic system,

simultaneous perturbation stochastic approximation.

RESUMO

A concepção de modelos matemáticos para a representação de séries temporais caóticas é uma abordagem com aplicações práticas. Entretanto, em geral, a construção de modelos matemáticos ajustados para a previsão de séries temporais caóticas não é uma tarefa simples. Uma abordagem alternativa, entre muitas outras, para representação matemática de sistemas dinâmicos com comportamento complexo ou caótico, é a rede neural função de base radial (RN-RBF). Neste artigo é proposto um novo método de treinamento da RN-RBF baseado em método k-médias (busca global) e algoritmo de aproximação estocástica com perturbação simultânea (busca local) para ajuste dos centros e aberturas das funções de ativação Gaussianas da RN-RBF. Neste contexto, a otimização dos pesos das saídas da RN-RBF foi realizado pelo método da pseudo-inversa, por tratar-se de um problema linear nos parâmetros. Este artigo apresenta a implementação e o estudo de identificação de um sistema dinâmico não-linear com

comportamento caótico (circuito de Rössler), com conceitos de previsão com múltiplos passos à frente.

PALAVRAS-CHAVE: rede neural, circuito de Rössler, sistema

cáotico, algoritmo de aproximação estocástica.

1 INTRODUÇÃO

A descrição matemática de sistemas dinâmicos nem sempre é uma tarefa simples na qual princípios básicos possam ser aplicados. Para sistemas muitos complexos, modelagens baseadas em leis elementares para determinar o comportamento dinâmico deste tipo de sistema, nem sempre são possíveis. Uma alternativa interessante para solucionar este tipo de problema seria uma abordagem experimental para a identificação de sistemas. Desta maneira deve-se tentar determinar um modelo baseado nas entradas e saídas do sistema, tentando encontrar algum tipo de relação entre elas. A identificação de sistemas não-lineares geralmente é uma difícil tarefa. Quando o sistema é dissipativo, desenvolver um modelo através de dados experimentais, torna-se um desafio devido à sua natureza. Embora as saídas do sistema sejam limitadas, o comportamento caótico é essencialmente instável com o comportamento assintótico produzindo estranhos atratores. Além disso, os sistemas caóticos exibem uma enorme sensibilidade às condições iniciais. Inicialmente duas ou mais trajetórias próximas divergem e tornam-se não correlacionadas. Esta propriedade impõe limites para se realizar previsões e dificulta a determinação se o modelo matemático identificado é equivalente ao sistema em teste (Aligood et al., 1996; Thamilmaran et al., 2000).

A utilização de redes neurais para problemas de identificação não-linear tem recebido uma grande atenção nos últimos anos. Estas são, inspiradas originalmente pela funcionalidade de redes neurais biológicas que podem aprender relações funcionais complexas através de uma quantidade limitada de dados de treinamento. As redes neurais podem servir como modelos caixa-preta de sistemas dinâmicos não-lineares e podem ser treinadas usando os dados de entrada e saída observadas do próprio sistema. As redes neurais mais comuns consistem em diversas camadas de elementos de

(2)

processamento simples denominados neurônios, interconexões entre eles e os pesos atribuídos à interconexões. A informação relevante deste tipo de metodologia é armazenada nos pesos. O principal objetivo deste artigo é apresentar uma abordagem de identificação não-linear do sistema caótico de Rössler baseada em rede neural de base radial usando algoritmo de clusterização k-médias, algoritmo de aproximação estocástica (simultaneous perturbation stochastic approximation, SPSA) e pseudo-inversa. Este artigo está organizado da seguinte maneira. O circuito de Rössler está descrito na seção 2. Os fundamentos de identificação de sistemas e da rede neural de base radial são descritos na seção 3. Os resultados obtidos da identificação estão ilustrados na seção 4, enquanto a conclusão é apresentada na seção 5.

2 CIRCUITO DE RÖSSLER

O estudo de caso de identificação abordado é o sistema dinâmico não-linear com comportamento caótico de Rössler (Rössler, 1976). O cientista alemão O. Rössler propôs um atrator caótico constituído de equações diferenciais não-lineares. As equações de Rössler são:

z y dt dx − − = (1) ay x dt dy ₌ ₊ ₍₂₎ z c x b dt dz ) ( − + = (3) ( f dx =

que exibem comportamento caótico para (a, b, c) = (0,36; 0,40; 4,50). Este comportamento está ilustrado na figura 1.

Figura 1. Atrator do sistema de Rössler para (a, b, c) = (0,36; 0,40; 4,50).

Neste caso utiliza-se um par de osciladores eletrônicos que imita a oscilação caótica de Rössler, desenvolvido em um estudo de Taherion e Lai (2000). O diagrama esquemático de dois circuitos caóticos de Rössler acoplados unidirecionalmente está ilustrado na figura 2.

Figura 2. Diagrama de dois circuitos de Rössler acoplados. Este par de osciladores unidirecionalmente acoplados pode ser descrito, matematicamente, pelas seguintes equações:

) x dt (4) ) , ( yx g dt dy = (5)

onde x e y são os conjuntos das variáveis dinâmicas dos dois osciladores. O esquema de acoplamento unidirecional é equivalente ao tipo mestre-escravo, porque não existe influência de y sobre x. Este esquema é realmente representativo para osciladores não-lineares acoplados no geral, porque existe sempre uma mudança matemática das coordenadas para transformar um par de osciladores (bidirecionalmente acoplados) mutuamente acoplados em um par unidirecional, ao mais próximo do estado de sincronização. Para o esquema de acoplamento unidirecional, as equações diferenciais do circuito são:

) ( 2 1 1 1 1 1 _x _y _z _x _x dt dx − + − − − = γ α ε (6) 1 1 1 1 _x _a_y dt dy − =β (7) 1 1 1 _g₍_x₎ _z dt dz − = (8)

(3)

2 2 2 2 _x _y _z dt dx − − − = γ α (9) 2 2 2 2 _x _a _y dt dy ₌₋_β ₊ ₍₁₀₎ 2 2 2 _g₍_x ₎ _z dt dz − = (11)

onde, g(x) = 0 se x ≤ 3, g(x) = µ(x-3) se x>3. Os parâmetros das equações acima são: α=0,5, β=1, γ=0,05, a1=0,113, a2=0,129,

ε=0,015 e µ=15. A incerteza destes parâmetros está em torno de 5%. Os resistores R1 e R2 no circuito contém os valores de

75 kΩ e 67 kΩ, respectivamente, para assegurar uma combinação sistemática entre os dois circuitos de Rössler. Esta diferença corresponde à diferença de aproximadamente 10% nos parâmetros a1 e a2.

3 IDENTIFICAÇÃO USANDO UMA REDE

NEURAL DE BASE RADIAL

A identificação de sistemas é um processo que exige o envolvimento do modelador (Ljung, 1987). O modelador deve analisar quais variáveis do sistema são relevantes para a modelagem e se a estrutura do modelo escolhida é adequada, caso contrário, o mesmo deve tomar as decisões necessárias para corrigir o problema. Podem-se citar os seguintes passos no processo de identificação de sistemas: (i) experimentação, (ii) detecção de não-linearidade, (iii) determinação da estrutura do modelo, (iv) estimação dos parâmetros, e (v) validação. Existem diversas representações para a modelagem de sistemas não-lineares com comportamento caótico. Nesta aplicação optou-se pela rede neural de base radial (radial basis function neural network, RN-RBF). O projeto deste tipo de rede neural pode ser visto como um problema de ajuste de curvas (problema de aproximação de funções) em um espaço de alta dimensionalidade. Para isso, o aprendizado de uma RN-RBF é equivalente a encontrar uma superfície em um espaço de multidimensional que melhor se ajuste ao conjunto de dados de treinamento, sendo o critério para o melhor ajuste medido em algum sentido estatístico.

As RNs-RBF são ferramentas flexíveis em um ambiente dinâmico. Elas têm a capacidade de aprender rapidamente padrões complexos e tendências presentes nos dados e de se adaptar rapidamente ás mudanças. Estas características as tornam especialmente adequadas para predição de séries temporais, especialmente aquelas séries regidas por processos lineares e/ou não-estacionários (Lo, 1998).

A função de base radial (ou função de ativação) utilizada na RN-RBF é a do tipo gaussiana, conforme apresentado na equação, ) (

)

(

j j c i x

e

x

f

σ − −

=

(12)

onde xi é o vetor de entradas, cj: são os centros da função de

ativação (gaussiana) e σj: é a largura da função de ativação.

A saída estimada é o somatório da multiplicação das saídas da camada oculta da RN-RBF pelos seus pesos de cada interconexão, ou seja, ∑ = = n i m m k w t y 1 ) ( ˆ (13)

onde é a saída estimada pela RN-RBF, n é o número de clusters (neurônios), w

) ( ˆ t

y

m são os pesos e km é a saída da camada

oculta. A figura 3 ilustra a estrutura geral da RN-RBF.

Figura 3. Estrutura geral de uma RN-RBF.

O método de agrupamento (clustering) utilizado na RN-RBF para problemas de classificação, nesta aplicação, é o k-médias. Sua implementação segue as seguintes etapas:

Etapa 1: Iniciar os centros das funções.

Ajuste os centros iniciais da função aos primeiros dados do treinamento.

Etapa 2: Agrupar todos os dados com o centro de cada função.

Cada dado de entrada (xi) pertence a um determinado

cluster j*_{, onde:} || || min || || _* _i _j j j i c x c x − = − (14)

Etapa 3: Determinar os centros de cada função. Para cada cj: ∑ = ∈j i x i j j _m x c 1 (15)

onde mj é o número de dados do cluster j.

Etapa 4: Repetir etapa 2, até não haver mais alteração de cada cluster.

O algoritmo SPSA é o responsável pela otimização dos centros obtidos pelo método de k-médias e também pela otimização das aberturas da função Gaussiana. A abordagem de SPSA (Spall, 2000) adotada neste trabalho é de um algoritmo de direção aleatória inspirado (mas diferente) no algoritmo de aproximação estocástica de Kiefer e Wolfowitz (1952) que requer duas observações (avaliações da função custo) a cada iteração, o que é usual em métodos de aproximação por diferenças finitas. O SPSA é um método alternativo para os

(4)

algoritmos de máxima descida (gradient descent) que não são factíveis para abordagens livres de modelo [3].

Para um problema de otimização geral, o conjunto ótimo de parâmetros é obtido quando

0 ) ( ₌ ∂ ∂ θ θ J (16) onde J(θ) é a função a ser otimizada e θ é o vetor de

parâmetros a ser otimizado. Neste trabalho, para otimização da rede neural, a função custo, J(θ), é uma função custo (maximizar o coeficiente de correlação múltipla R2_{) que}

descreve a melhor aproximação entre a saída desejada, yr(t),

para o processo e a saída obtida, y(t). O SPSA é usado para otimizar recursivamente o vetor de parâmetros, θ , de forma a obter uma estimativa, . Diferente do algoritmo de aproximação estocástica de Kiefer e Wolfowitz (1952), que perturba e otimiza um parâmetro de cada vez, o SPSA perturba simultaneamente e otimiza o espaço de parâmetros inteiro. Isto aumenta a eficiência da otimização e diminui o número de iterações necessário para algoritmo convergir. No caso, do SPSA é considerada a forma para estimar

θˆ

{ }

θˆ(k) usando

[

ˆ( 1)

]

ˆ ) ( ) 1 ( ˆ ) ( ˆ_k ₌_θ _k₋ ₋_a _k _g_k_θ _k₋ θ

,

(17)

onde denota a estimativa de uma dada k-ésima iteração, é um seqüência de ganhos escalares que satisfaz a certas condições de regularidade, e a aproximação do gradiente

) ( ˆ _k θ

}

)

{

a(k

[ ]

ˆ(k) ˆ

gkθ é uma estimativa (ou observação) do gradiente da

função custo (Lk) tal que não requer o conhecimento completo

da forma de equação que rege o processo a ser controlado. A aproximação do gradiente (ou gradiente usando “perturbação simultânea”) é definida por (Spall, 1992):

[ ]

k k k k k k k k k k k c c k J c c k J k g ∆ ε ∆ θ ∆ ε ∆ θ θ 2 ) ) 1 ( ˆ ( 2 ) ) 1 ( ˆ ( ) ( ˆ ˆ ) ( ) ( − + + − − − + + − =

(18)

onde é uma pequena ponderação positiva, e são escalares que representam os termos de ruídos aditivos (desconhecidos) que podem contaminar a observação da função custo, J.

k

c ε_k(−) ε_k(+)

A seqüência é determinística e escolhida para decrescer com as iterações k tendendo para zero. As componentes de distúrbio de teste simultâneo, (onde p é a dimensão do problema) são escolhidas aleatoriamente de acordo com as condições mencionadas em [14], usualmente (mas não necessariamente) da distribuição de Bernoulli

k c p k∈ℜ ∆

( )

±

(perturbações uniformemente ou normalmente distribuídas não são permitidas pelas condições de regularidade). Os detalhes relativos à prova de convergência do SPSA podem ser encontrados em He et al. (2003).

Neste trabalho, as etapas adotadas para a implementação do SPSA são as seguintes:

(i) iniciar o SPSA e seleção dos coeficientes θˆ(1), α, γ; A, a; (ii) geração da perturbação simultânea, θˆ(k−1)±c_k∆_k; (iii) avaliação da função custo, J;

(iv) cálculo da aproximação do gradiente, gˆk

[ ]

θˆ(k);

(v) atualização da estimativa do vetor de parâmetros, (k), usando a equação (16);

θˆ (vi) atualização da iteração k, onde k = k + 1 até que o critério

de parada seja satisfeito.

(vii) atualização de ck e ak, onde [14]

( )

−γ = kc ck (19) α + =a/(A k) a_k (20) (viii) enquanto critério de parada (máximo de iterações, maxiter) não é satisfeito, ir para o passo (ii).

No entanto, o método de otimização linear para os parâmetros da RN-RBF serem lineares, nesta aplicação, é a pseudo-inversa. A atualização dos pesos no treinamento da RN-RBF utilizando uma derivação do método de mínimos quadrados é realizada através da equação (21).

( )

k k 1k y(t) w_m T T      = − (21)

onde y(t) é a saída desejada. O cálculo do erro é realizado por: ) ( ) ( ˆ ) (t y t yt e = − (22)

O critério de desempenho avaliado para o sistema dinâmico a ser identificado é o coeficiente de correlação múltipla, R2_{, entre}

a saída real, y(t), e saída estimada, yˆ(t), dado por

[

]

∑ − ∑ − − = = = N t N t y t y t y t y R 1 2 1 2 2 ) ) ( ( ) ( ˆ ) ( 1 (23)

onde y é a média da saída do sistema. Quando o valor de R2_é

igual a 1,0 indica uma exata adequação do modelo para os dados medidos do processo. O valor de R2_{entre 0,9 e 1,0 é}

considerado suficiente para aplicações práticas, em sistemas de controle.

4 RESULTADOS

In tabela 1, os resultados da identificação do sistema de Rössler usando RN-RBF usando k-médias, pseudo-inversa e SPSA são apresentados para previsão n passos à frente são apresentados. Na fase de estimação (treinamento da RN-RBF) foram usadas 10000 amostras, e na fase de validação outras 10000 diferentes amostras foram utilizadas. Os parâmetros usados no SPSA foram: a=30000, maxiter=500, A=1, α=0,602, γ=0,101 e c=0,02.

Os resultados foram obtidos usando 3 clusters (3 funções Gaussianas na camada oculta da RN-RBF) para a previsão n

(5)

passos à frente da coordenada x(t) do sistema de Rössler. Neste caso, é utilizado um ruído branco (distribuição Gaussiana) aditivo variando entre [-0,1; 0,1] para a coordenada x(t). A tabelas 1 apresenta um resumo dos resultados obtidos para o sistema de Rössler com ruído branco para horizontes de previsões de longo prazo, estes baseados no critério R2_{. Foram}

testados horizontes de previsão usando a RN-RBF de 1 a 100 passos à frente.

Tabela 1: Resumo dos resultados (fase de validação) de R2

para diferentes horizontes de previsão usando RN-RBF.

previsão de n R2_%

passos à

frente k-médias k-médias + SPSA melhoria

1 0,9997 0,9998 0,01 10 0,9952 0,9971 0,19 20 0,9829 0,9912 0,84 30 0,9634 0,9823 1,96 40 0,9370 0,9579 2,23 50 0,9045 0,9527 5,33 60 0,8665 0,9334 7,72 70 0,8239 0,9057 9,93 80 0,7776 0,8768 12,75 90 0,7285 0,8537 17,19 100 0,6773 0,8343 23,18 Média 0,8779 0,9350 7,39 Nota-se pela tabela 1 que a RN-RBF usando k-médias é capaz de prever eficientemente até 50 passos à frente a série temporal avaliada com ruído branco, pois para horizontes maiores de previsão o R2 _{< 0,90. Entretanto, para um sistema, a RN-RBF}

usando k-médias combinado a uma otimização local baseada em SPSA foi capaz de prever eficientemente até 70 passos à frente. Em média, a melhoria percentual devido a utilização da SPSA foi de 7,39%.

Na figura 4 são apresentados graficamente todos os resultados de R2_{obtidos nas simulações para diferentes horizontes de}

previsão usando RN-RBF com aprendizado baseado em k-médias e k-k-médias combinado com SPSA.

Figura 4. Previsão para diferentes horizontes usando RN-RBF.

Os gráficos das previsões a longo prazo são ilustrados da RN-RBF usando k-médias combinado com SPSA nas figuras 5 a 10. As figuras 5 a 10 apresentam somente os resultados para a fase de validação da RN-RBF para horizontes de previsão de 1, 10, 50, 70, 80 e 100 passos à frente, respectivamente. Nota-se pelas figuras 5 a 10 que a RN-RBF obteve boa aproximação do comportamento dinâmico do sistema de Rössler até previsões de 50 passos à frente.

Figura 5. Previsão de x(t) para um horizonte de previsão de 1 passos à frente do sistema de Rössler usando RN-RBF com k-médias combinado com SPSA.

(6)

Figura 10. Previsão de x(t) para um horizonte de previsão de 100 passos à frente do sistema de Rössler usando RN-RBF com k-médias combinado com SPSA.

5 CONCLUSÃO

Nos últimos anos, existe um ressurgimento de interesse no desenvolvimento de estratégias de identificação não-linear e previsão de comportamento dinâmico de sistemas caóticos. Este interesse é motivado por diversos fatores, tais como: (i) avanços da teoria de sistemas não-lineares, ocasionando metodologias de projeto aplicáveis a uma extensão de problemas de controle não-linear; (ii) desenvolvimento de métodos de identificação eficazes para o tratamento de modelos não-lineares empíricos; (iii) desenvolvimento continuado das capacidades de software e hardware, tornando possível a incorporação de modelos não-lineares complexos aos sistemas de controle de sistemas.

O comportamento dos sistemas caóticos pode apresentar grande sensibilidade em relação às condições iniciais a que estão sujeitos. Apesar de, em termos determinísticos, ser uma tarefa difícil descrever o comportamento de um sistema caótico, em termos probabilísticos esta situação pode ser tratada e alguns paradigmas têm sido apresentados na literatura para esta finalidade. O comportamento de um sistema caótico pode ser avaliado através da configuração de metodologias de modelagem e identificação não-lineares. As metodologias que podem ser utilizadas incluem os sistemas nebulosos, algoritmos de mínimos quadrados ortogonal, métodos de otimização não-linear, redes neurais, algoritmos genéticos, entre outras diversas abordagens emergentes.

O estudo de caso deste artigo visou à identificação não-linear e validação do comportamento dinâmico do circuito de Rössler usando uma rede neural RBF. A dinâmica do circuito de Rössler é bastante sensível a mudanças nas condições iniciais. No entanto, a RN-RBF usando k-médias, pseudo-inversa e SPSA demonstrou que pode ser útil para aprender e se adaptar as não-linearidades presentes na dinâmica do circuito de Rössler em previsões a longo prazo com valores de R2

aceitáveis até horizontes de previsão de 50 passos à frente.

(7)

REFERÊNCIA BIBLIOGRÁFICA

Alligood, K. T.; T. D. Sauer e J. A. Yorke (1996). Chaos: an introduction to dynamical systems, Springer-Verlag.

He, Y.; M. C. Fu e S. I. Marcus (2003). Convergence of simultaneous perturbation stochastic approximation for nondifferentiable optimization, IEEE Transactions on Automatic Control, vol. 48, no. 8, pp. 1459-1463.

Kiefer, J. e J. Wolfowitz (1952). Stochastic estimation of the maximum of a regression function, Ann. Math. Statist., pp. 462-466.

Ljung, L. (1987). System identification: theory for the use, Prentice-Hall: New York.

Lo, J. T. -H. (1998). Multilayer perceptrons and radial basis functions are universal robust approximators, International Joint Conference on Neural Networks, Anchorage, AK, vol. 2, pp. 1311-1314.

Rössler, O. E. (1976). An equation for continuous chaos, Physical Letters, vol. 35A, pp. 397-398.

Spall, J. C. (1992). Multivariable stochastic approximation using a simultaneous perturbation gradient approximation, IEEE Transactions on Automatic Control, vol. 37, pp. 332-341. Spall, J. C. (2000). Adaptive stochastic approximation by the simultaneous perturbation method, IEEE Transactions on Automatic Control, vol. 45, no. 10, pp. 1839-1853.

Taherion, S. e Y. -C.Lai (2000). Experimental observation of lag synchronization in coupled chaotic systems, International Journal of Bifurcation and Chaos, vol. 10, no. 11, pp. 2587-2594.

Thamilmaran, K.; M. Lakshmanan e K. Murali (2000). Rich variety of bifurcations and chaos in a variant of Murali-Lakshmanan Chua circuit, International Journal of Bifurcation and Chaos, vol. 10, no. 7, pp. 1781-1785.