REDES NEURAIS ARTIFICIAIS Estimativa do numero de amostras (N) para a RNA

(1)

Disciplina: Controle e simulação de processos Prof. Marcelo Lucas Pereira Machado

REDES NEURAIS ARTIFICIAIS

Estimativa do numero de amostras (N) para a RNA

A quantidade mínima de dados/padrões a ser usada para o desenvolvimento de uma RNA não foi definida formalmente.

Contudo, com base em regras estatísticas, pode-se postular que o menor conjunto envolvido (teste ou validação) deverá possuir no mínimo 30 elementos.

(2)

A quantidade de padrões/número de amostras (N), para uma determinada RNA com número de neurônios nas camadas internas (n), numero de variáveis de entrada (i) e numero de variáveis de saídas (s), deverá obedecer a seguinte equação para que haja aprendizado eficiente, com erro objetivado (_ε) entre 0_<ε<1:

Exemplo:

i= 8 n= 5 s=1 _ε = 0,05 teremos N> 5*(8+1) / 0,05 N> 900 dados

(3)

Definição Adequada do Modelo

As variáveis de entrada no modelo devem ser independentes entre si.

No caso de modelos que envolvem o cálculo de mais de uma variável dependente a partir de um mesmo conjunto de variáveis independentes, deve-se analisar duas possibilidades:

–Uma RNA para o cálculo de cada variável dependente;

–Uma única RNA para o cálculo simultâneo de todas as variáveis dependentes.

(4)

Número de Camadas Ocultas:

As RNAs só se tornaram eficazes depois que se viabilizou a inclusão de pelo menos uma camada oculta em sua topologia.

Contudo, ainda hoje não há consenso sobre o número ideal de camadas

ocultas a serem usadas numa dada aplicação de RNA

:

•Hecht-Nielsen: apenas uma camada é o suficiente para a maioria dos casos.

•Cybenko & Lippman: deve-se usar no mínimo duas camadas ocultas.

(5)

O ideal é fazer experiências com várias topologias de RNAs.

(6)

Número Total de Neurônios nas Camadas Ocultas:

Quanto maior o número total de neurônios nas camadas ocultas, maior a capacidade de aprendizado da RNA. Ocorre também aumento de sua imunidade aos ruídos presentes nos dados.

Deve haver um balanceamento de forma que:

•Falta de Neurônios: incapacidade de aprendizado;

•Excesso de Neurônios: “memorização” dos dados e perda de capacidade de

generalização (extrapolação).

(7)

Cálculo do Número de Neurônios nas Camadas Ocultas (n):

Hecht-Kolmogorov: n = 2 (i) + 1

i - número de variáveis de entrada, concentrados em uma única camada oculta.

Richard P. Lippmann: n = s (i) + 1,

i - número de variáveis de entrada

(8)

Blum:

s > i i > s

√

N - número de registros/tamanho da amostra usados no treinamento da RNA i - número de variáveis de entrada

s - número de variáveis de saída.

Reuter:

(9)

Distribuição de Neurônios nas Camadas Ocultas:

Sugestões:

Kudricky: Para RNAs com duas camadas ocultas, usar relação 3:1 para o número de neurônios entre essas duas camadas.

Essa regra é particularmente adequada quando se tem grande número de variáveis de entrada.

Lippman: Para RNAs com duas camadas ocultas, adotar relação 1:2.

(10)

Função de Ativação

Praticamente todas as aplicações vistas usaram tangente hiperbólica como função de ativação, a qual se revelou superior a outras possibilidades, como função sigmoidal ou seno.

O uso da função linear é totalmente desaconselhado, uma vez que há enorme perda do poder preditivo da RNA.

O uso da tangente hiperbólica é necessária no caso de dados que apresentem sinais opostos.

(11)

ANÁLISE DE SENSIBILIDADE

A análise da Sensibilidade é feita selecionando-se uma variável independente por vez a partir da RNA treinada que representa o modelo do sistema. Ela estima a participação da variável independente em alterações das variáveis dependentes.

A variável independente escolhida é acrescida em 5% nos seus valores que substituem o conjunto de valores anteriores usados no treinamento da rede.

Este novo conjunto padrão de entrada é então simulado na RNA já treinada. É feita a diferença aritmética entre os novos valores de saída obtidos na

(12)

Finalmente determina-se a média dessas diferenças obtendo-se a Sensibilidade Média (SENSi) da variável independente em questão, conforme

expressão:

onde:

N: número de padrões/ quantidade de amostras;

y: valor da saída simulada na RNA com a alteração da respectiva entrada da variável independente acrescida em 5%;

d: valor original da saída do sistema, sem alteração nos padrões. SE S ∑ yj − dj

𝐧

𝐣=

(13)

Este processo é feito para cada variável independente do sistema.

Quanto maior é a Sensibilidade Média, maior é o efeito da variável independente considerada.

Pode-se também propor o cálculo da sensibilidade média normalizada (SENSNi) para a variável independente i, através da equação, onde se divide a sensibilidade da variável independente pela soma em módulo de todas as sensibilidades médias das variáveis (Gorni 2008):

SE S SE S / ∑ |SE S|

𝐧

𝐢=

(14)

(15)

NORMALIZAÇÃO E DESNORMALIZAÇÃO DAS VARIÁVEIS

A normalização das variáveis de entrada é uma etapa do pré-processamento. Ela possui a função igualar a ordem de grandeza das variáveis de entrada evitando problemas numéricos durante a fase de treinamento além de melhorar o desempenho do algoritmo de treinamento backpropagation [31].

A desnormalização das variáveis de saída é necessária e deverá ter variações máximas e mínimas em conformidade com os padrões de saida utilizados para treinar a RNA.

(16)

A normalização ( ) dos dados de entrada é realizada segundo as equações gerais:

𝐷𝑒𝑙 𝑎 _𝑎𝑥 𝑎𝑥 − ₋

− 𝐷𝑒𝑙 𝑎 𝐷𝑒𝑙 𝑎

𝐷𝑒𝑙 𝑎 : razão de normalização.

𝑎𝑥: desvio máximo que a variável de entrada pode assumir.

: desvio mínimo que a variável de entrada pode assumir.

𝑎𝑥 : valor máximo do conjunto de dados de uma determinada variável de entrada i.

: valor mínimo do conjunto de dados de uma determinada variável de entrada i.

: valor da variável de entrada normalizada i.

(17)

No caso de se desejar normalizar entre 0 e 1, a equação de normalização das variáveis se resumirá a seguinte expressão:

_𝑎𝑥 − ₋

𝑎𝑥 1: desvio máximo que a variável de entrada pode assumir.

0: desvio mínimo que a variável de entrada pode assumir.

(18)

No caso de se desejar normalizar entre -1 e 1, a equação de normalização das variáveis se resumirá a seguinte expressão:

[ 2 _𝑎𝑥 − 𝑎𝑥 ₋− ]

𝑎𝑥 1: desvio máximo que a variável de entrada pode assumir.

−1: desvio mínimo que a variável de entrada pode assumir.

(19)

No caso de se desejar desnormalizar (_𝐷𝑒 ) as variáveis de saída entre 0 e 1, a equação de desnormalização se resumirá a seguinte expressão:

De orm output [ orm output max target − m target ] m target

𝑎𝑥 1: desvio máximo que a variável de saída pode assumir.

0: desvio mínimo que a variável de saída pode assumir.

𝑎𝑥 𝑎 𝑔𝑒 : valor máximo do conjunto de dados de uma determinada variável de saída i utilizada no treinamento.

𝑎 𝑔𝑒 : valor mínimo do conjunto de dados de uma determinada variável de saída i utilizada no treinamento.

: valor da variável de saída normalizada i.

(20)

No caso de se desejar desnormalizar (_𝐷𝑒 ) as variáveis de saída entre -1 e 1, a equação de desnormalização se resumirá a seguinte expressão:

De orm output [ orm output max target − m target₂ ] max target m target

𝑎𝑥 1: desvio máximo que a variável de saída pode assumir.

−1: desvio mínimo que a variável de saída pode assumir.

𝑎𝑥 𝑎 𝑔𝑒 : valor máximo do conjunto de dados de uma determinada variável de saída i utilizada no treinamento (target).

𝑎 𝑔𝑒 : valor mínimo do conjunto de dados de uma determinada variável de saída i utilizada no treinamento (target).

: valor da variável de saída normalizada i.

(21)

REFERÊNCIAS

AGUIRRE, Luis A. Introdução à Identificação de Sistemas - _{técnicas lineares} e não lineares aplicadas a sistemas reais. 3. ed. Belo Horizonte: Editora UFMG, 2007.

BRAGA, Antonio de P.; CARVALHO, André P. de L. F. de ; LUDERMIR, Teresa

B. Fundamentos de Redes Neurais Artificiais. Rio de Janeiro: DCC/IM,

COOPE/Sistemas, NCE/UFRJ, 1998.

BRAGA, Antonio de P.; CARVALHO, André P. de L. F. de ; LUDERMIR, Teresa

B. Redes Neurais Artificiais - teoria e aplicações. 2. ed. Rio de Janeiro: LTC,

2007.

CAMPOS, Mário M. de; SAITO, Kaku. Sistemas Inteligentes em Controle e

(22)

CAMPOS, Mario C. M. M. de; TEIXEIRA, Herbert C. G. Controles Típicos de

Equipamentos e Processos Industriais. São Paulo: Editora Blucher, 2006.

GARCIA, Cláudio. Modelagem e Simulação de Processos Industriais e de

Sistemas Eletromecânicos. 2. ed. São Paulo: Editora da Universidade de São

Paulo, 2005.

GOMES, Gecynalda S. da S.; LUDERMIR, Teresa B. Redes Neurais

Artificiais com Funções de Ativação complemento Log-Log e Probit para

aproximar funções na presença de observações extremas. Learning and

Nonlinear Models, Revista da Sociedade Brasileira de Redes Neurais (SBRN), v. 6, n. 2, p.142-153, 2008.

GORNI, Antonio A.; SILVA, Marcos R. S. da; SILVEIRA, José H. D. da.

Previsão de Propriedades Mecânicas de Bobinas Laminadas a Quente

Através de Redes Neurais. Tecnologia em Metalurgia, Materiais e Mineração;

(23)

GORNI, A. A.; SILVA, M. R. S.; SILVEIRA, J. H. D. Aplicação de redes neurais no modelamento matemático de propriedades mecânicas de bobinas a

quente. 45º Seminário de Laminação -_{Processos e Produtos Laminados e}

Revestidos, Porto de Gainhas, 21 a 24 Outubro 2008. 778-788

GRESSLER, Lori Alice. Introdução à Pesquisa: projetos e relatórios. 2.ed. São Paulo: Loyola, 2004.

HAYKIN, Simon. Redes Neurais: princípios e práticas. 2. ed. Porto Alegre: Bookman, 2001.

HECHT-NIELSEN, R. Neurocomputing. Addison-Wesley Publishing Company, Reading, 1991.

(24)

networks developed by using Levenberg-Marquardt and Quasi-Newton

with the gradient descent algorithm for modelling a multiple response

grinding process. Expert Systems with Applications, n. 39, 2012, p. 2397

-2407.

NORGAARD, M.; RAVN, O.; POULSEN, N. K.; HANSEN, L. K. Neural

Networks for Modelling and Control of Dynamic Systems: a practitioner´s

handbook. Grã Bretanha: Springer-_{Verlag London Limited, 2000.}

PIULEAC, C. G.; RODRIGO, M. A.; CAÑIZARES, P.; CURTEANU, S.; SÁEZ, C. Ten Steps modeling of electrolysis processes by using neural networks. Environmental Modelling & Software, n. 25, 2010, p. 74-81.

SANTOS, Andre L. B. dos; JUNIOR, Sebastião S. da C.; SILVA, Márcio B.; SOUTO, Ulisses B. Modelagem via Redes Neurais para a Estimativa da Temperatura de Corte em ferramentas de Metal Duro no processo de

Fresamento Frontal. RECIE, Uberlândia, v. 15, n 1/2, p. 83-89, jan.-dez.,

(25)

SILVA, Ivan N. da; SPATTI, Danilo H.; FLAUZINO, Rogério A. Redes Neurais

Artificiais para Engenharia e Ciências Aplicadas. São Paulo: Artliber, 2010.

TUBINO, Dalvio Ferrari. Manual de Planejamento e Controle da Produção. 2. ed. São Paulo: Atlas, 2000.

YAP, Wai K.; KARRI, Vishy. Emissions predictive modelling by investigating

various neural network models. Expert Systems with Applications, n. 39, p.