Contribuições à análise de robustez de sistemas de controle usando redes neurais

Texto

(1)Tese de Doutorado. UFRN / CT / PPgEE. UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE CENTRO DE TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA. CONTRIBUIÇÕES À ANÁLISE DE ROBUSTEZ DE SISTEMAS DE CONTROLE USANDO REDES NEURAIS. OSCAR GABRIEL FILHO. 1.

(2) Tese de Doutorado. UFRN / CT / PPgEE. OSCAR GABRIEL FILHO. CONTRIBUIÇÕES À ANÁLISE DE ROBUSTEZ DE SISTEMAS DE CONTROLE USANDO REDES NEURAIS. Tese submetida ao Programa de Pós-Graduação em Engenharia Elétrica da Universidade Federal do Rio Grande do Norte como parte dos requisitos necessários para obtenção do título de Doutor em Ciências.. Orientador: Prof. D.Sc. ANDRÉ LAURINDO MAITELLI. 2.

(3) Tese de Doutorado. UFRN / CT / PPgEE. SUMÁRIO. LISTA DE SÍMBOLOS E ABREVIATURAS ............................................................. V. LISTA DE FIGURAS .................................................................................................. VIII LISTA DE TABELAS ................................................................................................... X. RESUMO ....................................................................................................................... XI. ABSTRACT .................................................................................................................. XII AGRADECIMENTOS ................................................................................................. XIII DEDICATÓRIA ........................................................................................................... XIV. Capítulo I - INTRODUÇÃO .......................................................................................... 1. Capítulo II - FUNDAMENTOS DE ESTABILIDADE E ROBUSTEZ ...................... 6. II.1 - Introdução .................................................................................................. 7. II.2 - Estabilidade ................................................................................................ 7. II.2.1 – Critério de Estabilidade Entrada - Saída ....................................... 8. II.2.2 – Método Direto de Lyapunov ........................................................ 10. II.3 - Robustez ....................................................................................................... 18 II.4 - Conclusões ................................................................................................... 20. Capítulo III - REDES NEURAIS ARTIFICIAIS....................................................... 3. 22.

(4) Tese de Doutorado. UFRN / CT / PPgEE. III.1 - Introdução .............................................................................................. III.2 - Redes Neurais Multicamadas - RNM’s ..................................................... 23 25. III.2.1 - Metodologia da Propagação Retroativa do Erro - PRE ............... 27. III.2.2 - Funções de Ativação dos Neurônios ............................................ 31. III.2.2.1 - Função Linear ............................................................... 32. III.2.2.2 - Função Sigmóide Unipolar ............................................ 33. III.2.2.3 - Função Sigmóide Bipolar .............................................. 34. III.2.3 - Algoritmo do Método de Propagação Retroativa do Erro .............. 35 III.2.3.1 - Algoritmo PRE (Versão Básica) ...................................... 35 III.2.3.2 - Técnicas para Melhoria de Desempenho do Algoritmo PRE ............................................................... 40 III.2.3.2.1 - Randomização dos Padrões de Aprendizagem ... 41 III.2.3.2.3 - Ajuste da Declividade Funcional ....................... 43 III.2.3.2.4 - η-adaptativo (ou η-variável) ............................. 44 III.2.3.2.5 - Momento Normalizado ..................................... 45 III.3 - Conclusões .................................................................................................. 47. Capítulo IV - MODELAGEM DE SISTEMAS NÃO-LINEARES USANDO REDES NEURAIS ARTIFICIAIS .......................................... 49 IV.1 - Introdução ................................................................................................... 50 IV.2 - Identificação de Sistemas usando RNA`s ..................................................... 52 IV.2.1 - Rede Neural com Resposta ao Impulso Finita (“Neural Network with Finite Impulse Response” - NNFIR) ......... 54. IV.2.2 - Rede Neural Autoregressiva com Entradas Exógenas (“Neural Network Autoregressive with Exogeneous 4.

(5) Tese de Doutorado. UFRN / CT / PPgEE. Inputs” - NNARX) .................................................................... 55 IV.2.3 - Rede Neural Autoregressiva com Média Móvel e Entradas Exógenas (“Neural Network Autoregressive with Moving Average and Exogeneous Inputs” - NNARMAX) .................................... 57 IV.2.4 - Rede Neural com Erro na Saída (“Neural Network with Output Error” - NNOE) ........................... 59 IV.3 - Conclusões .................................................................................................. 61. Capítulo V - ESQUEMAS DE CONTROLE USANDO REDES NEURAIS ARTIFICIAIS ............................................................ 62 V.1 - Introdução .................................................................................................... 63 V.2 - Formulação do Problema .............................................................................. 64 V.3 - Os Esquemas de Controle Indireto Propostos ............................................... 65 V.3.1 - Controle Híbrido Indireto ............................................................... 66 V.3.2 - Controle Neural Indireto ................................................................ 71 V.4 - Conclusões ................................................................................................... 72. Capítulo VI - ANÁLISE DE ESTABILIDADE E ROBUSTEZ .................................... 74 VI.1 - Introdução ................................................................................................... 75 VI.2 - Análise de Estabilidade ................................................................................ 76 VI.2.1 - Estabilidade versus Implementação Computacional : Como Garantir Estabilidade usando η-adaptativo .......................... 91 VI.3 - Análise de Robustez .................................................................................... 92 VI.3.1 - Controle Híbrido Indireto .............................................................. 96 5.

(6) Tese de Doutorado. UFRN / CT / PPgEE. VI.3.2 - Controle Neural Indireto ............................................................... 100 VI.4 - Conclusões .................................................................................................. 105. Capítulo VII - EXEMPLOS ........................................................................................... 107 VII.1 - Introdução ................................................................................................. 108 VII.2 - Exemplo 1 : Controle de Nível de um Reservatório .................................... 109 VII.2.1 - Sistema de Controle Híbrido Indireto ........................................... 110 VII.2.2 - Sistema de Controle Neural Indireto ............................................ 112 VII.3 - Exemplo 2 : Controle de uma Planta Não-Linear Polinomial ....................... 115 VII.3.1 - Sistema de Controle Híbrido Indireto ........................................... 115 VII.3.2 - Sistema de Controle Neural Indireto ............................................ 117 VII.4 - Exemplo 3 : Controle de uma Planta Não-Linear Periódica ......................... 121 VII.4.1 - Sistema de Controle Híbrido Indireto ........................................... 121 VII.4.2 - Sistema de Controle Neural Indireto ............................................ 125 VII.5 - Conclusões ................................................................................................. 130. Capítulo VIII - CONCLUSÕES ..................................................................................... 132. REFERÊNCIAS BIBLIOGRÁFICAS ........................................................................... 137. APÊNDICE A - Metodologia da Propagação Retroativa do Erro (“Error Backpropagation”) ..................................................................... 141. 6.

(7) Tese de Doutorado. UFRN / CT / PPgEE. LISTA DE SÍMBOLOS E ABREVIATURAS. *. Valor ótimo ou fixo. ^. Valor estimado. {.}. Conjunto. ARMAX. Autoregressivo com Média Móvel e Entradas Exógenas. ARX. Autoregressivo com Entradas Exógenas. BIBO. Entrada Limitada Saída Limitada. FIR. Resposta ao Impulso Finita. c. Ciclo de atualização dos pesos sinápticos. cn. Controlador neural. d. Atraso de transporte da planta. E. Função erro global ou função custo. e. Erro local de treinamento de uma RNM. f , FAN Função de ativação de um neurônio h. Camada escondida. in. Identificador neural. J. Jacobiano da planta. k. Tempo discreto ou ordem do neurônio na camada de saída de uma RNM. p. Número de nós na camada escondida de uma RNM. M. Horizonte de controle. MIMO. Entradas Múltiplas, Saídas Múltiplas. n. Ordem da planta 7.

(8) Tese de Doutorado. UFRN / CT / PPgEE. NC. Número de camadas de uma RNM. NET. Sinal de ativação de um neurônio. NN. Número de camadas de uma RNM. NNARMAX. Rede Neural Autoregressiva com Média Móvel e Entradas Exógenas. NNARX. Rede Neural Autoregressiva com Entradas Exógenas. NNFIR. Rede Neural com Resposta ao Impulso Finita. NNOE. Rede Neural com Erro na Saída. NPTR. Número de padrões (ou pontos) de treinamento. o. Camada de saída ou saída desejada. OE. Erro na Saída. PRE. Método da Propagação Retroativa do Erro (“Backpropagation”). R. Conjunto dos números reais. RNA. Rede Neural Artificial. RNM. Rede Neural Multicamadas (perceptron multicamadas). SISO. Entrada Única, Saída Única. sup. Supremum. T. Limiar de operação (“threshold”) ou transposta de vetor (ou de matriz). tr. Traço de uma matriz quadrada. Ts. Período de amostragem da planta. Tt. Tempo total de treinamento das redes neurais existentes na malha de controle. u(k). Sinal de controle ou entrada da planta no instante k. x, x *. Ponto de equilíbrio. Xi. Vetor de entrada do i-ésimo padrão de aprendizagem. y(k). Saída da planta no instante k. y_Ref(k). Saída de referência no instante k 8.

(9) Tese de Doutorado. UFRN / CT / PPgEE. z. Saída corrente de uma RNM. z-1. Operador de atraso unitário no tempo discreto. W. Matriz de pesos sinápticos. α. Constante de momento. β. Declividade ou coeficiente angular. ε. Tolerância para convergência da rede neural. η. Constante de aprendizagem. δ. Vetor de erro da Regra Delta. θ. Parâmetro de um sistema. ϕ. Vetor regressor. ω. Supremum de um conjunto. ωc. Erro de controle. ωp. Erro de controle de estado permanente (“steady-state”). Ωc. Conjunto de erros de controle. Ωp. Conjunto de erros de controle de estado permanente (“steady-state”). 9.

(10) Tese de Doutorado. UFRN / CT / PPgEE. LISTA DE FIGURAS. II.1 - Sistema estável ........................................................................................................ 14. II.2 - Sistema assintoticamente estável ............................................................................. 14 II.3 - Estabilidade de um sistema dinâmico (Plano de Fase) ............................................... 16. III.1 - Representação de um neurônio j .............................................................................. 23. III.2 - Representação modificada de um neurônio j ............................................................ 24. III.3 - Rede Neural Multicamadas - RNM’s ....................................................................... 26 III.4 - Neurônio = Somatório + Funcional ......................................................................... 31 III.5 - Função Linear, com β = 0.5, 1.0 e 2.0 .................................................................. 32 III.6 - Função Sigmóide Unipolar, com β = 0.5, 1.0 e 2.0 ............................................... 33 III.7 - Função Sigmóide Bipolar, com β = 0.5, 1.0 e 2.0 ................................................. 34 III.8 - Papel do coeficiente α no processo de convergência .............................................. 46 IV.1 - Modelo de estrutura NNFIR .................................................................................... 55 IV.2 - Modelo de estrutura NNARX .................................................................................. 56 IV.3 - Modelo de estrutura NNARMAX ............................................................................. 59 IV.4 - Modelo de estrutura NNOE .................................................................................... 60 V.1 - Esquema de Controle Híbrido Indireto ..................................................................... 66 V.2 - Esquema de Controle Neural Indireto ....................................................................... 71 VII.1 - Reservatório .......................................................................................................... 109 VII.2 - Controle de Nível - y , u e ωc (Controle Híbrido Indireto) .................................... 111 10.

(11) Tese de Doutorado. UFRN / CT / PPgEE. VII.3(a) - Controle de Nível - y (Controle Neural Indireto) ............................................... 113 VII.3(b) - Controle de Nível - u e ωc (Controle Neural Indireto) ...................................... 114 VII.4 - Planta da expressão (VII.2) - y , u e ωc (Controle Híbrido Indireto) ..................... 116 VII.5(a) - Planta da expressão (VII.2) - y (Controle Neural Indireto) ................................. 118 VII.5(b) - Planta da expressão (VII.2) - u e ωc (Controle Neural Indireto) ....................... 119 VII.6 - Planta da expressão (VII.2) c/ perturbação (Controle Neural Indireto) ................... 120 VII.7 - Planta da expressão (VII.3) - y , u e ωc (Controle Híbrido Indireto) ..................... 122 VII.8 - Planta da expressão (VII.3) c/ variação de +25% em seus parâmetros u e y (Controle Híbrido Indireto) ......................................................................... 123 VII.9 - Planta da expressão (VII.3) c/ variação de +25% em seus parâmetros Erro de Controle ωc (Controle Híbrido Indireto) ................................................... 124 VII.10(a) - Planta da expressão (VII.3) - y (Controle Neural Indireto) ............................... 126 VII.10(b) - Planta da expressão (VII.3) - u e ωc (Controle Neural Indireto) ..................... 127 VII.11 - Planta da expressão (VII.3) c/ variação de +25% em seus parâmetros u e y (Controle Neural Indireto) ........................................................................ 128 VII.12 - Planta da expressão (VII.3) c/ variação de +25% em seus parâmetros Erro de Controle ωc (Controle Neural Indireto) .................................................. 129. 11.

(12) Tese de Doutorado. UFRN / CT / PPgEE. LISTA DE TABELAS. VII.1 - Erros de Controle de Nível (Controle Híbrido Indireto) ......................................... 112 VII.2 - Erros de Controle de Nível (Controle Neural Indireto) ........................................... 114 VII.3 - Erro de Controle da Expressão (VII.2) (Controle Híbrido Indireto) ....................... 117 VII.4 - Erro de Controle da Expressão (VII.2) (Controle Neural Indireto) ......................... 119 VII.5 - Erros de Controle da Expressão (VII.2) c/ perturbação (Controle Neural Indireto). 120 VII.6 - Erro de Controle da Expressão (VII.3) (Controle Híbrido Indireto) ....................... 123 VII.7 - Erros de Controle da Expressão (VII.3) c/ variação nos parâmetros da planta (Controle Híbrido Indireto) ................................................................................... 125 VII.8 - Erro de Controle da Expressão (VII.3) (Controle Neural Indireto) ......................... 127 VII.9 - Erros de Controle da Expressão (VII.3) c/ variação nos parâmetros da planta (Controle Neural Indireto) ..................................................................................... 129. 12.

(13) Tese de Doutorado. UFRN / CT / PPgEE. RESUMO. Este trabalho utiliza as Redes Neurais Multicamadas - RNM’s, totalmente com treinamento em tempo real (“on-line”), no desenvolvimento de duas estratégias de controle indireto. Os esquemas propostos denominam-se Controle Híbrido Indireto e Controle Neural Indireto. Todo o treinamento dos neurodispositivos - o identificador da planta e o controlador, quando presentes na malha de controle indireto, é realizado com um mínimo de atraso computacional, de modo a contemplar o controle de plantas com pequenos períodos de amostragem. São apresentados Teoremas de Estabilidade para garantia da convergência dos dispositivos neurais, assim como foram feitas considerações para adequar o método de aceleração da convergência η-adaptativo utilizado às condições de estabilidade. Para cada esquema de controle indireto foi desenvolvido um teorema que permite calcular o máximo erro permanente (“steady-state error”) que poderá ocorrer em função da tolerância previamente especificada para convergência dos dispositivos neurais usados na malha de controle, desde que a estabilidade seja garantida. Estes teoremas foram denominados de Teoremas da Robustez e constituem a principal contribuição deste trabalho. As condições de estabilidade e robustez foram testadas para as estratégias de Controle Híbrido Indireto e de Controle Neural Indireto, sendo apresentados os resultados obtidos na simulação computacional do controle de regulação de plantas não-lineares, BIBO (“Bounded Input, Bounded Output”) estáveis.. 13.

(14) Tese de Doutorado. UFRN / CT / PPgEE. ABSTRACT. This work develops a robustness analysis with respect to the modeling errors, being applied to the strategies of indirect control using Artificial Neural Networks - ANN’s, belong to the multilayer feedforward perceptron class with on-line training based on gradient method (backpropagation). The presented schemes are called Indirect Hybrid Control and Indirect Neural Control. They are presented two Robustness Theorems, being one for each proposed indirect control scheme, which allow the computation of the maximum steady-state control error that will occur due to the modeling error what is caused by the neural identifier, either for the closed loop configuration having a conventional controller - Indirect Hybrid Control, or for the closed loop configuration having a neural controller - Indirect Neural Control. Considering that the robustness analysis is restrict only to the steady-state plant behavior, this work also includes a stability analysis transcription that is suitable for multilayer percetron class of ANN’s trained with backpropagation algorithm, to assure the convergence and stability of the used neural systems. By other side, the boundness of the initial transient behavior is assured by the assumption that the plant is BIBO (Bounded Input, Bounded Output) stable. The Robustness Theorems were tested on the proposed indirect control strategies, while applied to regulation control of simulated examples using nonlinear plants, and its results are presented.. 14.

(15) Tese de Doutorado. UFRN / CT / PPgEE. AGRADECIMENTOS. Ao meu orientador Prof. D.Sc. André Laurindo Maitelli, pela competência, estimulo e compreensão com que me conduziu na elaboração deste trabalho;. Ao Coordenador do Programa de Pós-Graduação em Engenharia Elétrica - PPgEE, da Universidade Federal do Rio Grande do Norte - UFRN, pelo apoio recebido enquanto aluno desta instituição de pós-graduação;. Aos Professores do Programa de Pós-Graduação em Engenharia Elétrica - PPgEE, da Universidade Federal do Rio Grande do Norte - UFRN, pela maneira competente e dedicada com que transmitiram seus conhecimentos ao longo do meu aprendizado nesta instituição de pós-graduação;. Aos colegas da Universidade Potiguar - UnP, pelo apoio e companheirismo;. Aos colegas da pós-graduação, pela amizade, incentivo e companheirismo;. À Deus pela dádiva da crença na busca incessante do saber como fonte inspiradora de vida.. 15.

(16) Tese de Doutorado. UFRN / CT / PPgEE. CAPÍTULO I. INTRODUÇÃO. 16.

(17) Tese de Doutorado. UFRN / CT / PPgEE. Controlar um sistema é fazer com que ele se comporte de uma maneira desejada [Nφrgaard et al., 2001]. Este tem sido o desafio de séculos para a humanidade - controlar os sistemas físicos da natureza de modo a garantir ao ser humano as condições satisfatórias de segurança e conforto. A completa Teoria de Sistema Linear tem possibilitado a abordagem do problema de controle através de modelos linearizados dos sistemas do mundo real, embora esses sistemas sejam, em menor ou maior grau, possuidores de comportamentos não-lineares. Na medida em que os requisitos de desempenho para os sistemas físicos tornam-se cada vez mais exigentes, a utilização de modelos linearizados tem trazido grande limitação operacional e, em algumas situações, pode até mesmo inviabilizar o projeto de sistemas de controle eficientes. Para superar os problemas advindos da utilização da técnica de linearização de sistemas físicos, alguns métodos de análise de estabilidade para sistemas nãolineares foram desenvolvidos, tais como: Método do Plano de Fase, Método das Funções Descritivas ou da Primeira Harmônica, Método de Popov ou da Estabilidade Absoluta e o Método Indireto de Lyapunov. A principal desvantagem de se utilizar tais ferramentas é o seu domínio limitado de aplicabilidade, restringindo-se apenas a algumas classes de problemas de controle. O sucesso dos sistemas de controle depende necessariamente da solução do problema de estabilidade. Isto significa que o projeto de sistemas de controle deve passar antes pela análise criteriosa da estabilidade, a fim de se estabelecer os limites para sua utilização. A operação dentro dos limites de estabilidade é que garantirá a integridade funcional dos sistemas físicos ou plantas, possibilitando o atendimento continuado dos requisitos de desempenho do processo pré-especificados pelo projetista. Outro problema importante para o projeto de sistemas de controle diz respeito ao grau de robustez resultante da utilização de sistemas de malha fechada [Spooner et al., 2002]; 6.

(18) Tese de Doutorado. UFRN / CT / PPgEE. atender critérios de robustez tem sido crítico, principalmente em aplicações nas quais variações no processo podem acarretar perdas inaceitáveis. Neste caso, a maneira apropriada para resolver este problema tem sido propor técnicas de controle robusto não-linear que possuam a propriedade de compensar as incertezas do sistema. Estes são os problemas que se pretende resolver - realizar o controle de regulação de sistemas físicos não-lineares, dentro de limites operacionais que atendam aos requisitos de estabilidade e com um grau de robustez satisfatório. Para atingir estes objetivos serão usadas as Redes Neurais Artificiais - RNA`s. A proposta deste trabalho é utilizar as estruturas das RNA’s, mais especificamente das Redes Neurais Multicamadas - RNM’s, na elaboração de estratégias de controle inteligente que possam ser aplicadas em tempo real (“on-line”) e que apresentem um mínimo atraso computacional. Para o treinamento das redes neurais é usado o método da Descida do Gradiente, conhecido também por Propagação Retroativa do Erro - PRE (“Error Back Propagation”). As redes neurais necessitam de treinamento para desempenhar bem o seu papel, tarefa que é computacionalmente intensiva. Minimizar o tempo computacional, de modo a viabilizar o emprego das redes neurais no controle de plantas em tempo real, constitui-se num desafio para os pesquisadores que vêm se dedicando ao Controle Neural. A partir de 1989, diversas publicações têm sido feitas, dentre as quais destacamos [Werbos, 1989], [Narendra e Parthasarathy, 1990], [Tanomaru e Omatu, 1992], [Maitelli e Gabriel, 1996], [Maitelli e Gabriel, 1997], [Ng, 1997], [Adetona et al., 2001], [Nφrgaard et al., 2001] e [Spooner et al., 2002], com o objetivo de propor novas técnicas de controle neural e também de prover o rigoroso tratamento matemático às questões relacionadas com a estabilidade e a robustez de sistemas de controle neurais.. 7.

(19) Tese de Doutorado. UFRN / CT / PPgEE. A estrutura desta tese está organizada como segue: o Capítulo II apresenta alguns fundamentos sobre estabilidade e robustez de sistemas não-lineares, que constituem o principal objetivo do desenvolvimento desta tese. O Capítulo III trata das Redes Neurais Artificiais - RNA’s, com ênfase nas Redes Neurais Multicamadas - RNM’s e o método da Propagação Retroativa do Erro - PRE. Este método é desenvolvido matematicamente e implementado em linguagem algorítmica; da mesma forma, são apresentadas algumas técnicas que foram usadas neste trabalho para aceleração de convergência, que são: Randomização dos Padrões de Aprendizagem, ηadaptativo e Momento Normalizado. O Capítulo IV aborda a Modelagem de Sistemas Não-Lineares usando Redes Neurais Artificiais, com o intuito de formar a base teórica necessária à compreensão da estratégia de identificação da planta a ser controlada, com a finalidade de extrair os parâmetros a serem utilizados no projeto do controlador. O Capítulo V apresenta dois Esquemas de Controle usando Redes Neurais Artificiais com treinamento em tempo real e mínimo atraso computacional - o Controlador Híbrido Indireto e o Controlador Neural Indireto. É apresentado o algoritmo para a implementação computacional de cada um deles usando a técnica de projeto indireto para o controlador, de forma similar ao que foi proposto respectivamente em [Adetona et al., 2001] e em [Tanomaru e Omatu, 1992], porém com algumas diferenças significativas, as quais serão destacadas oportunamente nesse capítulo. O Capítulo VI apresenta uma Análise de Estabilidade e Robustez dos esquemas de controle propostos no capítulo anterior, através do enunciado e demonstração de novos teoremas de robustez, os quais constituem a principal contribuição deste trabalho para a área de controle usando redes neurais, uma abordagem do Controle Inteligente que nos últimos anos vem desenvolvendo um grande esforço de pesquisa, com o objetivo de formular uma 8.

(20) Tese de Doutorado. UFRN / CT / PPgEE. sustentação científica para novas técnicas capazes de solucionar eficientemente problemas de controle de sistemas não-lineares. O Capítulo VII apresenta os resultados obtidos através de simulações computacionais com Exemplos de plantas não-lineares retiradas da literatura [Slotine e Li, 1991], [Ng, 1997] e [Adetona et al., 2001]. Finalmente, o Capítulo VIII apresenta as Conclusões ressaltando as contribuições desta tese e procurando estimular um maior aprofundamento neste ramo da ciência e tecnologia, que certamente tem muita contribuição a dar para a melhoria da qualidade na produção de bens e serviços, satisfazendo aos requisitos de desempenho exigidos pela sociedade atual.. 9.

(21) Tese de Doutorado. UFRN / CT / PPgEE. CAPÍTULO II. FUNDAMENTOS DE ESTABILIDADE E ROBUSTEZ. 10.

(22) Tese de Doutorado. UFRN / CT / PPgEE. II.1 - INTRODUÇÃO. Os sistemas de controle podem ser analisados e implementados de várias formas dicotômicas, dentre elas destacamos: teoria linear ou não-linear, analógico ou discreto, baseado no modelo entrada-saída (externo) ou no modelo no espaço de estados (interno). Entretanto, todas estas abordagens têm em comum o objetivo de manipular o sistema físico de interesse (ou planta), de tal modo que o mesmo opere o mais próximo possível de um comportamento desejável, previamente estabelecido pelo projetista para atender os requisitos de desempenho do processo. Este trabalho considerará somente os sistemas discretos nãolineares e usará, quando necessário, conceitos de estabilidade aplicáveis aos modelos de entrada-saída e de espaço de estados. As características mais importantes de um sistema de controle são a estabilidade e a robustez. Estabilidade significa manter uma planta sob controle, a despeito da ocorrência de perturbações, enquanto que robustez significa manter o sistema de controle estável e com um bom desempenho, apesar de somente possuir um modelo aproximado da planta ou existir variações nos parâmetros físicos da planta [Spooner et al., 2002].. II.2 - ESTABILIDADE. Freqüentemente são empregados dois critérios para caracterizar diretamente o comportamento de sistemas dinâmicos não-lineares quanto à estabilidade, que são: critério de estabilidade entrada-saída (modelo externo) e o Método Direto de Lyapunov (modelo interno), este último também denominado de 2o Método de Lyapunov.. II.2.1 - CRITÉRIO DE ESTABILIDADE ENTRADA - SAÍDA 22.

(23) Tese de Doutorado. UFRN / CT / PPgEE. Este critério para avaliar a estabilidade de um sistema físico leva em consideração apenas o comportamento dos sinais de entrada e saída do sistema, apresentando, portanto, a desvantagem de não considerar a dinâmica interna do sistema. Neste caso, para analisar se o sistema é estável ou não, é aplicado o critério de estabilidade BIBO (“Bounded Input, Bounded Output” = “Entrada Limitada, Saída Limitada”), conforme será definido a seguir. Entretanto, antes de definir estabilidade BIBO, serão apresentados também os conceitos relacionados às normas de vetor e de matriz usadas neste trabalho.. Definição II.1: “Seja uma matriz quadrada A ∈ R nxn . O operador traço é definido por. tr ( A) =. n. ∑a. (II.1). i ,i. i =1. em que ai,i é um elemento da matriz A.”. Definição II.2: Norma de um vetor x ∈ R n é um escalar não negativo usado para medir seu comprimento, tamanho ou distância, dependendo do contexto de sua aplicação.. • Norma Euclidiana:. • Norma infinito:. x. x. 2. ∞. = xT x =. n. ∑x. 2 i. (II.2). i =1. = max xi i. sendo xi o i-ésimo componente do vetor.. 23. (II.3).

(24) Tese de Doutorado. UFRN / CT / PPgEE. A norma de Frobenius e a norma induzida infinito de uma matriz W ∈ R nxm formada por elementos wi,j , são dadas por. • Norma de Frobenius:. W. W. • Norma infinito:. W. F. F. ∞.  n m  =  ∑∑ wi2, j   i =1 j =1 . [. = tr (WW T ). 12. (II.4). ]. 12.  m = max  ∑ wi , j i  j =1. (II.5).    . (II.6). Definição II.3 (Estabilidade BIBO = Bounded Input, Bounded Output Stability): “Um sistema não-linear discreto representado por. x(k + 1) = f ( x(k ), u (k ), k ) y (k ) = h( x(k ), u (k ), k ). (II.7). x(k 0 ) < M 1. é dito ser BIBO estável se u. ∞. < M2 ⇒ y. ∞. < M 3 , sendo M i < ∞ , i = 1, 2 e 3.” Esta. definição foi adaptada de [Faleiros e Yoneyama, 2002], para sistemas discretos. Definição II.4:“Seja Y um conjunto não vazio limitado superiormente e seja S o conjunto de todos os limites superiores de. Y, ou seja, se. y∈Y. e. ymin<y<ymax. então. S={s∈Rymax≤s<∞}. O mínimo de S é o menor limite superior de Y, que é denominado de. supremum de Y, cujo símbolo é sup Y. Claro, se Y possuir um máximo, então max Y = sup Y. Caso o conjunto Y não seja limitado superiormente, pode-se representar este fato 24.

(25) Tese de Doutorado. UFRN / CT / PPgEE. escrevendo sup Y = ∞ e, se Y for um conjunto vazio, sup Y = -∞. Com estas convenções, conclui-se que o supremum existe para qualquer subconjunto de números reais [Naylor e Sell, 1982].”. II.2.2 - MÉTODO DIRETO DE LYAPUNOV. Contribuições importantes para a Teoria de Estabilidade foram feitas pelo matemático e engenheiro russo Aleksandr Mikhailovich Lyapunov (1857-1918), sendo de sua autoria o Método Indireto (ou 1o Método de Lyapunov), que fornece as condições para a estabilidade local de um sistema dinâmico não-linear em torno de um ponto de operação, a partir das propriedades de estabilidade de sua respectiva aproximação linear (este método consiste na justificativa teórica da Teoria Linear), e o Método Direto (ou 2o Método de Lyapunov), o qual utiliza o conceito de energia para a verificação de estabilidade global de um sistema nãolinear. Neste trabalho, vamos tratar do Método Direto aplicado aos sistemas discretos no tempo. Porém, antes de apresentarmos os teoremas de estabilidade baseados no Método Direto de Lyapunov, é necessário formalizar alguns conceitos matemáticos fundamentais.. Definição II.5: “Um ponto x(k) = x , ∀k ≥ k e , sendo k e o instante no qual o sistema atinge x , no espaço de estado é um ponto de equilíbrio de um sistema não forçado, i.e.. u(k) = 0, representado por x(k+1) = f(x(k)), se ele possuir a propriedade de permanecer em x sempre que o estado do sistema atingir x .” Esta definição foi adaptada de [Khalil, 1996], para sistemas discretos.. 25.

(26) Tese de Doutorado. UFRN / CT / PPgEE. Teorema II.6: “Um ponto x é um ponto de equilíbrio do sistema não-linear discreto dado por x(k+1) = f(x(k)), se o seu comportamento for caracterizado por f( x ) = x .”. Prova: Seja um sistema não-linear discreto representado por. x(k+1) = f(x(k)). (II.8). Fazendo ∆x(k+1) = x(k+1) – x(k), tem-se que a condição para que x(k) seja um ponto de equilíbrio é que ∆x(k+1) = 0, ou seja x(k+1) – x(k) = 0. Usando a expressão (II.8) e denominando o ponto de equilíbrio de x , finalmente obtém-se a expressão que caracteriza o comportamento de um ponto de equilíbrio de um sistema discreto, qual seja. f(x(k)) – x(k) = 0 f( x ) – x = 0. ⇒. f( x ) = x. em que x(k) = x , ∀k ≥ k e , sendo. ke. o instante no qual o sistema atinge o ponto de. equilíbrio; caso o ponto de equilíbrio seja a origem, x = 0, tem-se que f(0) = 0.. Definição II.7: “Um ponto de equilíbrio x é um ponto de equilíbrio isolado se existe um ε>0, tal que uma circunferência Bε com centro em x , i.e.. {. }. Bε = x ∈ R n : x − x < ε ,. 26.

(27) Tese de Doutorado. UFRN / CT / PPgEE. não contém outro ponto de equilíbrio além de x .”. Para analisar o comportamento de um sistema quanto a sua estabilidade em uma vizinhança do ponto de equilíbrio x , ou seja f( x ) = x , será feita uma translação dos eixos coordenados, de tal forma que a posição do ponto de equilíbrio passe a ser a origem de um novo sistema, i.e., o ponto de equilíbrio passa a ser x* = 0. Para se obter este deslocamento, faz-se:. x * (k + 1) = x(k + 1) − x (k + 1) ∆x * (k + 1) = ∆x(k + 1) − ∆x (k + 1). considerando que. x. (II.9). é um ponto fixo por ser um ponto de equilíbrio do sistema no. referencial antigo, tem-se ∆x (k + 1) = 0 . Substituindo este resultado em (II.9) e manipulando matematicamente, virá:. ∆x * (k + 1) = ∆x(k + 1) − ∆x (k + 1) = ∆x(k + 1). Como ∆x * (k + 1) = ∆x(k + 1) , obtém-se. x * (k + 1) − x * (k ) = x(k + 1) − x(k ) = f ( x(k )) − x(k ) = f ( x * (k ) + x (k )) − [ x * (k ) + x (k )]. Fazendo x*(k) = 0 (por ser a origem a nova posição do ponto de equilíbrio), tem-se. 27.

(28) Tese de Doutorado. UFRN / CT / PPgEE. x * (k + 1) = f (0 + x (k )) − [0 + x (k )] = f ( x (k )) − x (k ) = x (k + 1) − x (k ) = ∆x (k + 1) =0. ficando, portanto, demonstrado que a translação de eixos faz com que x* = 0 passe a ser a posição do ponto de equilíbrio isolado, desta vez localizado na origem dos eixos da nova representação gráfica. Assim, em sistemas discretos, a expressão f(0) = 0 significa ponto de equilíbrio na origem.. Desta forma, e sem perda de generalidade, doravante a origem será considerada um ponto de equilíbrio isolado do sistema não-linear. Este procedimento, além de simplificar a manipulação matemática, também permite a aplicação direta do conceito de norma para avaliação e comparação de grandezas vetoriais. Definição II.8: “A origem de x(k + 1) = f ( x(k )) é estável se ∀ε>0 existir um δ(ε)>0, tal que se ||x(0)||<δ(ε) então ||x(k)||<ε, ∀k ≥ 0; caso contrário a origem é instável.”. Figura II.1: Sistema estável. 28.

(29) Tese de Doutorado. UFRN / CT / PPgEE. Definição II.9: “A origem de x(k + 1) = f ( x(k )) é assintoticamente estável se a origem é estável e lim x(k ) → 0 , ou seja, x(k) → 0 quando k → ∞ (atratividade).” k →∞. Figura II.2: Sistema assintoticamente estável. Definição II.10: “A origem de x(k + 1) = f ( x(k )) é exponencialmente estável se a origem é assintoticamente estável e existirem constantes γ,λ>0, tal que ||x(k||<γe-λk, ∀k≥0.”. O Método Direto de Lyapunov fornece os procedimentos necessários para testar a estabilidade, sem requerer a solução de equações diferenciais ou de diferenças. Isto é muito vantajoso, pois a resolução de equações diferenciais ou de diferenças para sistemas nãolineares e/ou variantes no tempo, em alguns casos, torna-se bastante difícil ou até mesmo impossível. Inspirado na Mecânica Clássica, o Método Direto baseia-se no comportamento da energia total (V) do sistema, denominada de função de Lyapunov.. Definição II.11 (Função de Lyapunov): “V(x(k)) é uma função de Lyapunov para o sistema autônomo, discreto e não forçado 29.

(30) Tese de Doutorado. x(k+1) = f(x(k)),. UFRN / CT / PPgEE. f(0) = 0. y(k) = h(x(k)). (II.10). em que x(k) é o estado e y(k) é a saída do sistema no tempo discreto k, se. 1) V(x) é contínua em x, sendo V(0) = 0, e 2) V(x) > 0, para x ≠ 0.”. A curva na qual a função de Lyapunov V(x(k)) mantém-se com um valor constante denomina-se curva de nível (energia total constante), conforme mostrado na Figura II.3 (Plano de Fase), onde também são representadas as possibilidades do comportamento de um sistema de 2a ordem quanto à estabilidade.. Fig. II.3: Estabilidade de um sistema dinâmico (Plano de Fase). A seguir serão estabelecidas as condições que uma função matemática deve satisfazer para ser classificada com respeito a sua positividade ou negatividade.. Definição II.12 (Função definida positiva): “Uma função V(x) é definida positiva em uma 30.

(31) Tese de Doutorado. UFRN / CT / PPgEE. vizinhança de x = 0, se V(x) > 0, ∀x tal que ||x|| < ε, ε >0 e V(0) = 0. Se as propriedades são válidas ∀x ∈ Rn, então a função V(x) é definida positiva global.”. Definição II.13 (Função semi-definida positiva): “Uma função V(x) é semi-definida positiva em uma vizinhança de x = 0, se V(x) ≥ 0, ∀x tal que ||x|| < ε, ε >0 e V(0) = 0. Se as propriedades são válidas ∀x ∈ Rn, então a função V(x) é semi-definida positiva global.”. Definição II.14 (Função definida negativa): “Uma função V(x) é definida negativa em uma vizinhança de x = 0, se V(x) < 0, ∀x tal que ||x|| < ε, ε >0 e V(0) = 0. Se as propriedades são válidas ∀x ∈ Rn, então a função V(x) é definida negativa global.” Definição II.15 (Função semi-definida negativa): “Uma função. V(x). é semi-definida. negativa em uma vizinhança de x = 0, se V(x) ≤ 0, ∀x tal que ||x|| < ε, ε >0 e V(0) = 0. Se as propriedades são válidas ∀x ∈ Rn, então a função V(x) é semi-definida negativa global.”. Teorema II.16: “Se para o sistema discreto x(k+1) = f(x(k)), f(0) = 0, existe uma função V(x(k)) tal que. 1) V(x) é contínua em x, sendo V(0) = 0, 2) V(x) > 0 (definida positiva), 3) ∆V ( x(k )) = V ( x(k )) − V ( x(k − 1)) ≤ 0 (semi-definida negativa),. então a origem é um ponto de equilíbrio estável.” Prova: [Khalil, 1996].. Teorema II.17: “Se para o sistema discreto x(k+1) = f(x(k)), f(0) = 0, existe uma função 31.

(32) Tese de Doutorado. UFRN / CT / PPgEE. V(x(k)) tal que. 1) V(x) é contínua em x, sendo V(0) = 0, 2) V(x) > 0 (definida positiva), 3) ∆V ( x(k )) = V ( x(k )) − V ( x(k − 1)) < 0 (definida negativa),. então a origem é um ponto de equilíbrio assintoticamente estável.” Prova: [Khalil, 1996]. Teorema II.18: “Se para o sistema discreto x(k+1) = f(x(k)), f(0) = 0, existe uma função V(x(k)) tal que. 1) V(x) é contínua em x, sendo V(0) = 0, 2) V(x) > 0 (definida positiva), 3) ∆V ( x(k )) = V ( x(k )) − V ( x(k − 1)) < 0 (definida negativa) e 4) V(x) → ∞ quando ||x|| → ∞,. então a origem é um ponto de equilíbrio globalmente assintoticamente estável”. Prova: [Khalil, 1996].. II.3 - ROBUSTEZ. O conceito de robustez está relacionado com a capacidade de um sistema permanecer estável, apesar da existência de erros em seu modelo e/ou de variações nos parâmetros físicos da planta. Na área do Controle Adaptativo, para reduzir os efeitos das variações dos parâmetros da planta, a robustez é conseguida através do ajuste (ou adaptação) do controlador 32.

(33) Tese de Doutorado. UFRN / CT / PPgEE. em tempo real (“on-line”) [Spooner et al., 2002]. Neste trabalho, supõe-se que o modelo matemático da planta é inicialmente desconhecido e, para que seja viável o projeto do controlador, utiliza-se um identificador baseado em redes neurais para ajustar indiretamente os parâmetros do controlador, que, por sua vez, poderá ser um controlador convencional ou um controlador neural.. Definição II.19 (Erro de Controle): “Define-se erro de controle, ωc, como sendo o valor absoluto da diferença entre a saída de referência (“set-point”) e a saída da planta, ou seja. ω c (k ) = y _ Re f (k ) − y (k ). sendo ωc(k)∈R+ , em que k é o tempo discreto. Adicionalmente, define-se Ωc como sendo o conjunto dos erros de controle.”. Assim, para garantir que a estabilidade do sistema de controle de malha fechada não será comprometida em decorrência dos erros de modelagem e/ou das variações nos parâmetros físicos da planta, é suficiente demonstrar que o erro de controle de estado permanente (“steady-state”), ωp, sendo ωp o valor absoluto da diferença entre a saída de referência e a saída da planta no estado permanente, mantém-se limitado, ou seja, que sup Ω p ≤ ω , em que sup significa o valor supremum (o menor limite superior) de um conjunto, Ωp⊂R+ é o conjunto de todos os erros de controle de estado permanente (Ωp⊂Ωc) e ω. é um valor máximo a ser definido, sendo que este último irá depender da tolerância. escolhida para o treinamento das redes neurais usadas nos esquemas de controle neural a serem apresentados em um capítulo deste trabalho.. 33.

(34) Tese de Doutorado. UFRN / CT / PPgEE. Definição II.20: “Robustez é a capacidade do sistema de controle neural manter o erro de controle de estado permanente dentro de um intervalo I, i.e., ωp∈I, sendo I = [0 , ω] ⊂ R + , de modo a garantir que o sistema permaneça estável e com um bom desempenho, apesar da existência de erros de modelagem e/ou pequenas variações nos parâmetros da planta.” Esta definição foi adaptada de [Spooner et al., 2002].. Isto significa dizer que, através da escolha apropriada da tolerância. ε. para. convergência das redes neurais usadas para implementar o esquema de controle, é possível confinar o erro de controle ωp dentro de um intervalo I, ωp∈I, com a possibilidade de fazer ω tão pequeno quanto se deseja, de modo a atender os requisitos de desempenho do sistema de controle de malha fechada. Assim, o máximo erro de controle dependerá da tolerância adotada para convergência da rede neural, i.e. ω = ω(ε ) , como será demonstrado posteriormente, para cada um dos esquemas de controle tratados neste trabalho. Evidentemente, a principal desvantagem quando se pretende obter um desempenho melhor do sistema de controle usando redes neurais, é o conseqüente aumento no tempo total (Tt) gasto no treinamento das mesmas, com o risco deste tempo exceder o período de amostragem (Ts) da planta e assim comprometer a estabilidade da malha de controle, i.e., o tempo total de treinamento deve estar sujeito a restrição Tt ≤ Ts.. II.4 - CONCLUSÕES. Este capítulo teve a finalidade de apresentar alguns conceitos básicos sobre estabilidade e robustez aplicáveis a sistemas não-lineares discretos, visando fornecer a base mínima de conhecimento necessária à compreensão dos teoremas e suas respectivas 34.

(35) Tese de Doutorado. UFRN / CT / PPgEE. demonstrações matemáticas que foram desenvolvidos para garantir a estabilidade e permitir a avaliação da robustez das técnicas de controle usando redes neurais artificiais a serem tratadas nos próximos capítulos. É interessante ressaltar que a literatura técnica disponível normalmente dá ênfase à análise de sistemas contínuos no tempo, por exemplo, [Slotine e Li, 1991] e [Khalil, 1996], enquanto que para sistemas discretos, ou fazem referência a estes como sendo uma extensão natural do caso contínuo ou sequer a eles se referem. Neste aspecto, este capítulo, além de contextualizar os conceitos sobre estabilidade, também procurou formalizar o conceito de ponto de equilíbrio para sistemas discretos não-lineares. Finalmente, foi caracterizado e definido matematicamente o conceito de robustez com respeito aos erros de modelagem e/ou às variações nos parâmetros da planta, estabelecendo claramente o seu significado. Os conceitos tratados neste capítulo, juntamente com os conceitos sobre redes neurais artificiais, modelagem de sistemas não-lineares e suas aplicações em controle inteligente a serem apresentados nos próximos capítulos, constituir-se-ão nos fundamentos necessários à posterior compreensão da análise de robustez de sistemas de controle usando redes neurais objeto deste trabalho.. 35.

(36) Tese de Doutorado. UFRN / CT / PPgEE. CAPÍTULO III. REDES NEURAIS ARTIFICIAIS. 36.

(37) Tese de Doutorado. UFRN / CT / PPgEE. III.1 - INTRODUÇÃO. As Redes Neurais Artificiais - RNA’s têm o propósito de simular de maneira simplificada alguns comportamentos do sistema nervoso humano através de programas de computador (“software”) ou de circuitos elétricos (“hardware”), e investigar se assim é possível imitar estes sistemas de inteligência com que é dotado o ser humano [Rumelhart et al., 1986]. O grande avanço da tecnologia de microprocessadores verificado nas últimas décadas, vem possibilitando o desenvolvimento de programas que procuram implementar as RNA’s e assim tirar proveito dos modelos matemáticos propostos para reproduzir algumas manifestações que são características da inteligência humana [Gabriel, 1996]. As RNA’s são compostas de vários elementos conectados entre si de alguma forma, possibilitando a operação em paralelo. Estes elementos são baseados no sistema nervoso do ser humano e são denominados de neurônios (unidades computacionais). De acordo com o modelo proposto por McCulloch-Pitts, cada neurônio pode ser modelado por um somador seguido de uma função de ativação, de tal modo que um neurônio j, quando excitado por uma entrada X = [x1 x2 ... x i]T, para i = 1, 2,..., I, e sendo submetido ao limiar de operação T (“threshold”), apresenta uma saída yj, conforme mostrado a seguir.. Figura III.1 : Representação de um Neurônio j. Define-se o sinal de ativação NET de um neurônio j, como sendo 49.

(38) Tese de Doutorado. UFRN / CT / PPgEE. I. NET j = ∑ xi w j , i − T. (III.1). i =1. em que xi é uma entrada do neurônio j, wj,i é o peso sináptico correspondente à conexão do neurônio j com o seu antecessor i e T é o limiar de operação do neurônio. Note que i é o índice do neurônio de origem e j é o índice do neurônio de destino, para i = 1, 2,..., I e j = 1, 2,..., J. Uma outra forma de representar matematicamente o sinal de ativação NETj é incluindo o limiar de operação. T. como um elemento adicional na matriz dos pesos. sinápticos, alimentado com uma entrada fixa de valor -1, ou seja, fazendo. Figura III.2 : Representação modificada de um Neurônio j.. onde se observa que. T = w j , I +1 . Esta representação traz vantagens na implementação. computacional do neurônio artificial, cuja expressão matemática passa a ser. I +1. NET j = ∑ xi w j , i. (III.2). i =1. A forma como os neurônios são conectados entre si define a arquitetura da rede neural, entendendo-se por arquitetura a organização topológica e a maneira pela qual os neurônios obtêm suas entradas. Outro aspecto importante para a definição das RNA’s é o processo de 50.

(39) Tese de Doutorado. UFRN / CT / PPgEE. aprendizagem adotado para o seu treinamento. No campo de identificação e controle de sistemas, tem-se utilizado com freqüência a arquitetura multicamadas (“multilayer neural network”), conjugada com a metodologia de aprendizagem baseada na Propagação Retroativa do Erro - PRE (“Error BackPropagation”) devido a sua simplicidade na implementação. A principal desvantagem em usar a metodologia PRE é o tempo de treinamento da rede neural, entretanto, com computadores cada dia mais velozes e com o auxilio de algumas técnicas de melhoria de desempenho, esta desvantagem vem sendo amenizada. Se mesmo assim ainda persistir a impossibilidade de usar o PRE, sugere-se usar uma técnica de segunda ordem, por exemplo, o método do Gradiente Conjugado ou o método de Levenberg-Marquardt [Ng, 1997]. Neste capítulo são descritos as Redes Neurais Multicamadas - RNM’s e a metodologia de atualização dos pesos sinápticos baseada na Propagação Retroativa do Erro - PRE (maiores detalhes podem ser vistos em [Gabriel, 1996]), por serem as principais ferramentas que serão usadas para a implementação dos esquemas de controle para sistemas dinâmicos não-lineares objeto deste trabalho.. III.2 - REDES NEURAIS MULTICAMADAS - RNM’s. Este trabalho usa a organização dos neurônios em várias camadas justapostas, sem realimentação, conhecida como Redes Neurais Multicamadas - RNM's. Uma RNM típica com uma camada de entrada, uma camada intermediária e uma camada de saída é mostrada na. figura abaixo:. 51.

(40) Tese de Doutorado. UFRN / CT / PPgEE. Figura III.3 : Rede Neural Multicamadas-RNM’s Os neurônios estão dispostos em camadas que se justapõem umas às outras, formando uma configuração em cascata, podendo existir mais de uma camada intermediária. A primeira camada é a camada de entrada (“input layer”), as camadas intermediárias são as camadas escondidas (“hidden layers”) e a última camada é a camada de saída (“output layer”). É imediato constatar que a rede funciona no sentido direto da entrada para a saída (“feedforward”) e a camada de entrada não possui neurônios (pseudocamada), constituindo-se apenas na entrada da rede neural. Algumas arquiteturas de Redes Neurais Multicamadas - RNM`s são boas para aprender relações matemáticas, lineares ou não-lineares, a partir de um conjunto de dados de entrada-saída, sendo, por isso, consideradas aproximadores universais [Haykin, 1999] de funções matemáticas. III.2.1 - METODOLOGIA DA PROPAGAÇÃO RETROATIVA DO ERRO - PRE. 52.

(41) Tese de Doutorado. UFRN / CT / PPgEE. O objetivo é encontrar uma regra capaz de ajustar os pesos sinápticos da rede neural com base em um conjunto de pares de entrada-saída, denominados padrões de aprendizagem. A questão pode ser colocada da seguinte forma: se os pesos sinápticos. wj,i. forem. considerados como elementos de uma matriz W , então o processo de aprendizagem consiste na determinação da matriz W* que minimiza uma função erro (ou função custo) E, escolhida previamente, e que de alguma forma deve ser baseada no erro de saída da rede. A Propagação Retroativa do Erro - PRE é o método de aprendizagem mais comum para a obtenção desse propósito [Narendra e Parthasarathy, 1990], cujas fórmulas matemáticas em sua versão básica serão apresentadas neste capítulo. O termo básica é usado para indicar que o mesmo pode ser enriquecido com técnicas auxiliares, que também serão vistas mais adiante, visando uma melhoria de desempenho. O método PRE básico executa a atualização (ou adaptação) dos pesos sinápticos de uma rede neural, de acordo com a seguinte expressão:. W [c+1] = W [c] + ∆W [c]. (III.3). em que ∆W é a matriz de ajuste dos pesos sinápticos no ciclo de adaptação [c] (ou época), cujos elementos são calculados por. ∆w = −η. ∂E ∂w. (III.4). onde η é a taxa de aprendizagem e ∂E ∂w é o gradiente da função erro global E em relação ao peso. w. Esta última expressão é conhecida como Método de Descida do. Gradiente, muito utilizado na solução de problemas de otimização irrestrita [Friedlander, 1994]. 53.

(42) Tese de Doutorado. UFRN / CT / PPgEE. Para melhor clareza de exposição, é necessário definir inicialmente:. Número de Pares de Treinamento NPTR: É a quantidade de pares de entrada-saída que servirão de padrão de aprendizagem para o treinamento da RNM.. Sinal de Entrada do p-ésimo ponto de treinamento: X p,i = [ xp,1 xp,2......xp,I ]T. (III.5). para p = 1, 2,..., NPTR e i = 1, 2,..., I entradas. Sinal Intermediário correspondente à p-ésima entrada: Y p,j = [ yp,1 yp,2. yp,J ]T. (III.6). para p = 1, 2,..., NPTR e j = 1, 2,..., J neurônios escondidos. Sinal de Saída correspondente à p-ésima entrada: Z p,k = [ zp,1 zp,2. zp,K ]T. (III.7). para p = 1, 2,..., NPTR e k = 1, 2,..., K neurônios de saída. Matriz Escondida W[h] dos pesos sinápticos:. [h]  w11  [h ]  w21 [h] W =  .   .  w[ h ]  J1. [h] w12 [h ] w22 . . wJ[h2]. . . . . .. . w1[hI ]   . w2[hI]  . .   . .  . wJI[h1] . (III.8). Matriz de Saída W[o] dos pesos sinápticos: 54.

(43) Tese de Doutorado. [ o]  w11  [ o]  w21 [o] W =  .   . w[ o]  K1. UFRN / CT / PPgEE. [ o] w12 [ o] w22. . . w [Ko2]. . . w1[ oJ ]   . . w2[ oJ]  . . .   . . .  . . w [KJo] . (III.9). Sinal de Ativação do neurônio j correspondente à p-ésima entrada: NET p,j = [ NETp,1 NETp,2. NETp,J ]T. (III.10). para p = 1, 2,..., NPTR.. Sinal de Saída Desejado para o neurônio k correspondente a p-ésima entrada: Ο p,k = [ ο p,1 οp,2. οp,K ]T. (III.11). para p = 1, 2,..., NPTR.. Observe que, de acordo com a notação acima, os pares de treinamento são formados por [X p,i , Ο p,k ]. Finalmente é escolhida uma função quadrática para o erro E, de tal forma a garantir a convergência global dos pesos sinápticos [Friedlander, 1994], como sendo o somatório do quadrado de todos os erros de saída da rede neural, calculados para cada padrão de aprendizagem [Cichocki e Unbehauem, 1993], ou melhor,. E=. 1 NPTR K ∑ ∑ ο p ,k − z p ,k 2 p =1 k =1. (. ). 2. (III.12). para p = 1, 2,..., NPTR e k = 1, 2,..., K saídas da rede neural.. 55.

(44) Tese de Doutorado. UFRN / CT / PPgEE. A fórmula para ajustar (ou adaptar) os valores dos pesos sinápticos wo ,k , j de cada conexão existente entre um neurônio j da camada escondida e um neurônio k da camada de saída, de maneira que o erro global E seja igual ou menor que uma tolerância. ε≥0. previamente especificada, i.e, tal que E ≤ ε , é a seguinte [Gabriel, 1996]:. [. wo[c,k+1,j] = wo[c,k] , j + η δ k y j. onde. [c]. ][ ] c. (III.13). é o ciclo de adaptação (ou época), η. é a taxa de aprendizagem,. δ k = (ok − z k ) f o′( NETk ) , sendo que f o′(.) é a derivada primeira da função de ativação dos neurônios da camada de saída. A fórmula para ajustar (ou adaptar) os valores dos pesos sinápticos. wh , j ,i. que. interligam um neurônio i da camada de entrada da rede neural com um neurônio j da camada escondida, é a seguinte [Gabriel, 1996]:. [c +1]. [c ]. wh , j , i = wh , j , i. K   + η f h′ (NET j )xi ∑ δ k wo ,k , j  k =1  . [c]. (III.14). para i = 1, 2,..., I entradas e j = 1, 2,..., J neurônios escondidos.. onde [c] é o ciclo de adaptação (ou época), η é a taxa de aprendizagem e. f h′(. ). éa. derivada primeira da função de ativação dos neurônios da camada escondida. Embora a expressão (III.14) tenha sido desenvolvida para atualizar os pesos sinápticos existentes entre a camada escondida e a camada de entrada de uma RNM de 3 camadas (camada de entrada + uma camada escondida + camada de saída), a mesma pode ser estendida para atualizar os pesos sinápticos entre duas camadas escondidas quaisquer, caso a RNM. 56.

(45) Tese de Doutorado. UFRN / CT / PPgEE. possua mais de uma camada escondida. Para isso, basta adequar as variáveis manipuladas pela correspondente expressão, assim como seus respectivos subescritos, tomando-se o cuidado de propagar o sinal de erro δ no sentido da última camada escondida para a camada de entrada.. III.2.2 - FUNÇÕES DE ATIVAÇÃO DOS NEURÔNIOS. Os neurônios artificiais são modelados matematicamente (modelo de McCulloch e Pitts) para desempenhar duas operações básicas: um somatório e uma função, ou melhor, NEURÔNIO = SOMATÓRIO + FUNÇÃO DE ATIVAÇÃO. Representando numa forma esquemática, o neurônio artificial tem o seguinte aspecto:. Figura III.4: Neurônio = Somatório + Função de Ativação. Esta subseção é dedicada ao estudo da Função de Ativação f (.). Qualquer função que seja contínua e derivável no intervalo que contém a variável NETl , para l = 1, 2,..., L, tal que NET ∈ RL, pode ser uma Função de Ativação de um neurônio genérico l de uma RNA. Entretanto, somente serão estudadas as funções Linear, Sigmóide Unipolar e Sigmóide Bipolar, por serem mais freqüentemente utilizadas com o método de Propagação Retroativa do Erro - PRE, que é o método de aprendizagem empregado neste trabalho.. 57.

(46) Tese de Doutorado. UFRN / CT / PPgEE. III.2.2.1 - FUNÇÃO LINEAR. Define-se Função Linear com declividade β, toda e qualquer função regida pela equação. f (NETl) = β NETl,. (III.15). para l = 1, 2,..., L.. O gráfico da função expressa por (III.15) é mostrado na Figura III.5, onde β é a declividade da reta.. 2. =2.0. f(NET). =1.0. =0.5. 0. -2 -5. 0. NET. 5. Figura III.5: Função Linear, com β = 0,5, 1,0 e 2,0. Sua derivada primeira é. f ′( NETl ) = β. (III.16). III.2.2.2 - FUNÇÃO SIGMÓIDE UNIPOLAR 58.

(47) Tese de Doutorado. UFRN / CT / PPgEE. Define-se Função Sigmóide Unipolar, também denominada de Função Logística, com declividade β no ponto correspondente a NET = 0, toda e qualquer função regida pela equação. f ( NETl ) =. 1 1+ e. −4β NETl. ,. (III.17). para l = 1, 2,..., L.. O gráfico da função expressa por (III.17) é mostrado na Figura III.6, onde β é a declividade da reta tangente a curva em NET = 0.. f(NET). 2. =2.0 =1.0 =0.5. 0. -2 -5. 0. NET. 5. Figura III.6: Função Sigmóide Unipolar, com β = 0,5, 1,0 e 2,00. A derivada primeira da Função Sigmóide Unipolar expressa por (III.17) é. [. ]. f ′( NETl ) = 4 β f ( NETl ) 1 − f ( NETl ) III.2.2.3 - FUNÇÃO SIGMÓIDE BIPOLAR. 59. (III.18).

(48) Tese de Doutorado. UFRN / CT / PPgEE. Define-se Função Sigmóide Bipolar, também denominada de Função Tangente Hiperbólica, com declividade β no ponto correspondente a NET = 0, toda e qualquer função regida pela equação. 1 − e −2 β NETl f ( NETl ) = , 1 + e −2 β NETl. (III.19). para l = 1, 2,..., L.. O gráfico da função expressa por (III.19) é mostrado na Figura III.7, onde β é a declividade da reta tangente a curva em NET = 0.. f(NET). 2. =2.0 =1.0. =0.5. 0. -2 -5. 0. NET. 5. Figura III.7: Função Sigmóide Bipolar, com β = 0,5, 1,0 e 2,0. A derivada primeira da Função Sigmóide Bipolar expressa por (III.19) é. [. f ′( NETl ) = β 1 − ( f ( NETl )). 2. ]. (III.20). III.2.3 - ALGORITMO DO MÉTODO DE PROPAGAÇÃO RETROATIVA DO ERRO. 60.

(49) Tese de Doutorado. UFRN / CT / PPgEE. O objetivo desta subseção é apresentar um algoritmo básico para a implementação computacional da técnica de treinamento fundamentada na metodologia da Propagação Retroativa do Erro - PRE.. III.2.3.1 - ALGORITMO PRE ( VERSÃO BÁSICA). Para facilidade de apresentação, o algoritmo PRE , em sua versão básica com entrada em lote (“batch”), é separado em duas partes, conforme se segue:. Primeira Parte: Declaração das principais variáveis computacionais. Número de pares de treinamento NPTR: Inteiro; Entrada para treinamento X [posição na entrada,ordem no lote]: Matriz de Reais; Saída desejada para treinamento O [posição na saída,ordem no lote]: Matriz de Reais; Número de camadas NC: Inteiro; Número de nós por camada NN [camada]: Vetor de Inteiros; Função de Ativação dos Neurônios FAN [camada]: Código Funcional; Código Funcional CódigoFuncional: Caracter; 61.

(50) Tese de Doutorado. UFRN / CT / PPgEE. Nó NO [camada][posição na camada,ordem no lote]: Matriz de Reais; Sinal de ativação NET [camada][posição na camada,ordem no lote]: Matriz de Reais; Peso sináptico W [posição na rede][nó de destino,nó de origem]: Matriz de Reais; Somatório dos produtos δ*w SDW [posição na camada,ordem no lote]: Matriz de Reais; Erro Local ErroLocal[posição na camada de saída,ordem no lote]: Matriz de Reais; Erro Total E: Real; Tolerância ε: Real; Constante de aprendizagem η ETA: Real;. Segunda Parte: Algoritmo para implementação computacional. 1o Passo: Propagação Direta (“Forward”). Fazer NET = 0; Para r = 1 até NC-1 fazer Para p = 1 até NPTR fazer Para s = 1 até NN[r+1] fazer 62.

(51) Tese de Doutorado. UFRN / CT / PPgEE. Para t = 1 até NN[r+1] fazer NET[r][s,t] = NET[r][s,t]+W[r][s,t]*NO[r][t,p]; FimPara; FimPara; FimPara; Se FAN[r] = CodigoFuncional Então Fazer Para p = 1 até NPTR Fazer Para s = 1 até NN[r+1] Fazer NO[r+1][s,p] = f(NET); FimPara; Se r+1<NC Então Fazer NO[r+1][s+1,p] = THRESHOLD; FimSe; FimPara; FimSe; FimPara;. 2o Passo: Calcular Erro de Saída. Fazer E = 0; Para p = 1 até NPTR Fazer Para s = 1 até NN[NC] Fazer ErroLocal[s,p] = O[s,p]-NO[NC][s,p]; E = E+0,5*SQR(ErroLocal[s,p]); FimPara; 63.

(52) Tese de Doutorado. UFRN / CT / PPgEE. FimPara;. 3o Passo: Verificar Convergência. Se E > ε Então Fazer Ir Para o 4o Passo; Senão Fazer Ir Para o 5o Passo; FimSe;. 4o Passo: Propagação Reversa(“Backward”). Fazer r = NC-1; Se FAN[r] = CodigoFuncional Então Fazer Para p = 1 até NPTR Fazer Para s = 1 até NN[NC] Fazer AUX[s,p] = f ′ ( NET )*( O [ s, p] − NO[ NC ][ s, p]) ; FimPara; FimPara; FimSe; Fazer SDW = 0;. Para p = 1 até NPTR Fazer Para s =1 até NN[r]+1 Fazer Para t =1 até NN[r+1] Fazer 64.

(53) Tese de Doutorado. UFRN / CT / PPgEE. SDW [s,p]= SDW [s,p]+AUX[t,p]*W[r][t,s]; FimPara; FimPara; FimPara; Para s = 1 até NN[r+1] Fazer Para t = 1 até NN[r]+1 Fazer Para p =1 até NPTR Fazer W[r][s,t] = W[r][s,t]+ETA*AUX[s,p]*NO[r][t,p]; FimPara; FimPara; FimPara; Para r = NC-1 até 1 Fazer Se FAN[r] = CodigoFuncional Então Fazer Para p = 1 até NPTR Fazer Para s = 1 até NN[r+1] Fazer AUX[s,p] = f ′( NET )* SDW [ s, p] ; FimPara; FimPara; FimSe; Fazer SDW = 0; Para p = 1 até NPTR Fazer. Para s = 1 até NN[r]+1 Fazer Para t = 1 até NN[r+1] Fazer SDW [s,p]= SDW [s,p]+AUX[t,p]*W[r][t,s]; 65.

(54) Tese de Doutorado. UFRN / CT / PPgEE. FimPara; FimPara; FimPara; Para s = 1 até NN[r+1] Fazer Para t = 1 até NN[r]+1 Fazer Para p =1 até NPTR Fazer W[r][s,t] = W[r][s,t]+ETA*AUX[s,p]*NO[r][t,p]; FimPara; FimPara; FimPara; FimPara; Retornar para o 1o Passo;. 5o Passo: Encerrar Aprendizagem. FimDaAprendizagem.. III.2.3.2- TÉCNICAS PARA MELHORIA DE DESEMPENHO DO ALGORITMO PRE. Este trabalho aplica algumas técnicas para melhoria de desempenho do algoritmo PRE básico, que são: 1) Randomização dos Padrões de Aprendizagem, 2) Ajuste da Declividade Funcional, 3) η-Adaptativo (ou Variável) e, finalmente, 4) Momento Normalizado. As técnicas auxiliares para melhoria de desempenho do algoritmo PRE básico acima citadas serão apresentadas a seguir, inclusive suas rotinas computacionais em linguagem algorítmica que foram usadas na implementação. 66.

(55) Tese de Doutorado. UFRN / CT / PPgEE. III.2.3.2.1 - RANDOMIZAÇÃO DOS PADRÕES DE APRENDIZAGEM. O processo de treinamento de uma RNM consiste em fazer com que a rede aprenda a mapear pares de valores de entrada-saída previamente selecionados como padrões de aprendizagem da rede neural. A utilização destes padrões durante o treinamento pode se dar na ordem temporal ou randômica. Existem autores que citam a ordem randômica apenas para o caso individual [Cichocki e Unbehauen, 1993], enquanto este trabalho usa a ordem randômica para a entrada em lote (“batch”) dos padrões de aprendizagem. O que se pretende é uma redução do tempo de duração da etapa de treinamento, em decorrência de uma distribuição mais uniforme das variações dos pesos sinápticos em torno de seus respectivos valores finais esperados (ou adaptados), para cada ciclo de aprendizagem. A implementação é feita através da chamada de uma rotina computacional, que é mostrada usando uma linguagem algorítmica. As variáveis usadas nesta rotina que já foram declaradas no algoritmo PRE básico, serão consideradas variáveis globais, para evitar que sejam declaradas novamente em nível local.. Código de chamada: RANDOMIZAÇÃO (NC; NN; NO; O). Declaração de variáveis: Conjunto dos pontos de treinamento C : Conjunto de Bytes; Matriz de saída desejada auxiliar O_Aux[posição na saída,ordem no lote] : Matriz de Reais;. 67.