CONTEÚDO Introdução Motivação, Objetivo, Definição, Características Básicas e Histórico REDES NEURAIS. Problema dos 100 Passos MOTIVAÇÃO

(1)

REDES NEURAIS

Marley Maria B.R.

Vellasco

ICA: Núcleo de Pesquisa em Inteligência

Computacional Aplicada

PUC

PUC--RioRio

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

– Neurônio Artificial, Modos de Interconexão

•

• Processamento Neural

Processamento Neural

– Recall e Learning

•

• Regras de Aprendizado

Regras de Aprendizado

– Regra de Hebb, Perceptron, Back Propagation, Hopfield, Competitive Learning, RBF, etc.

MOTIVAÇÃO

Constatação que o cérebro processa informações de forma diferente dos computadores convencionais

Ð

_COMPUTADOR_COMPUTADOR

processamento extremamente rápido e preciso na execução de seqüência de instruções Î muito mais lento no reconhecimento de padrões

Ð

Processamento altamente paralelo

(10

(101111_{neurônios com 10}_{neurônios com 10}44 _{conexões cada)}_{conexões cada)}

CÉREBRO

velocidade 1 milhão de vezes mais lenta que qualquer “gate” digital Î processamento extremamente rápido no reconhecimento de padrões

Problema dos 100 Passos

Neurônio: 2ms

Ô

Processador: 2ns

Ó

Processador é 106 _{mais rápido}_{que o neurônio}

Ð

Cérebro reage a um estímulo entre 0,20,2e 1 seg.

Ð

(2)

MOTIVAÇÃO

•

• Observações:

Observações:

– O cérebro tem ∼ 10 bilhões10 bilhõesde neurônios. – Cada neurônio tem ∼ 1.0001.000a 10.00010.000conexões

Ð –

–60 trilhões60 trilhõesde conexões - 10101414 _sinapses_sinapses_!

Ð

– Cada pessoa pode dedicar 100.000 conexões100.000 conexões

para armazenar cada segundo de experiência

(65 anos ⇒ 2.000.000.000 de segundos!)

– Durante os 2 primeiros anos de vida, 1.000.0001.000.000

de sinapses

de sinapsessão formadas por segundo!!

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

•

• Processamento Neural

Processamento Neural

•

• Regras de Aprendizado

Regras de Aprendizado

OBJETIVO

Estudar a teoria e a implementação de

sistemas

massivamente

paralelos

, que

possam processar informações com

eficiência comparável

eficiência comparável ao cérebro.

DEFINIÇÃO

Redes Neurais Artificiais

são sistemas

inspirados nos neurônios biológicos

neurônios biológicos

e

na estrutura

estrutura massivamente

massivamente

paralela

do

cérebro, com capacidade de adquirir

adquirir

,

armazenar

e utilizar

utilizar

conhecimento

(3)

IDÉIA BÁSICA

Sistemas compostos de diversas

unidades simples

(neurônios artificiais)

ligadas de maneira apropriada, podem

gerar

comportamentos interessantes e

comportamentos interessantes

e

complexos

complexos.

.

Comportamento

Comportamento é determinado pela

é determinado pela

estrutura das ligações (

topologia

topologia) e

) e

pelos

valores das conexões

(pesos

sinápticos

)

Aquisição de Conhecimento:

Aprendizado

Treinamento efetuado através da apresentação de exemplos

Ð

Existe uma variedade de algoritmosalgoritmos que

estabelecem QUANDOe COMO os parâmetros

da Rede Neural devem ser atualizados

Ð

Algoritmos:Substituem a programação necessária para a execução das tarefas nos computadores

APLICAÇÕES GERAIS

;

Reconhecimento de Padrões

;

Classificação de Padrões

;

Correção de Padrões

;

Previsão de Séries Temporais

;

Aproximação de Funções

;

Suporte à Decisão

;

Geração de Informação

;

Descoberta de Conhecimento

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características

Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

•

• Processamento Neural

Processamento Neural

•

• Regras de Aprendizado

Regras de Aprendizado

(4)

Características Básicas

Devido à similaridade com a estrutura

do cérebro, as Redes Neurais exibem

características similares ao do

comportamento humano, tais como:

Características Básicas

•

• Procura Paralela e

Procura Paralela e

Endereçamento pelo Conteúdo

:

O cérebro não

não

possui endereço de

endereço de

memória

e não

não

procura

a

informação sequencialmente

sequencialmente

Características Básicas

•

• Aprendizado

Aprendizado

:

A rede aprende por experiência

aprende por experiência

, não

necessitando explicitar os algoritmos

para executar uma determinada

tarefa

Características Básicas

•

• Associação

Associação

:

A rede é capaz de fazer associações

entre padrões diferentes

(5)

Características Básicas

•

• Associação

Associação

:

A rede é capaz de fazer associações

entre padrões diferentes

Ex:

Foto

Î

Pessoa

Sintomas

Î

Doença

Leitura de Sensores

Î

Falha

Características Básicas

•

• GeneralizaçãoGeneralização::

Habilidade de lidar com

ru

ruíídos e distordos e distorççõesões, respondendo

corretamente a padrões novos.

Î

Redes Neurais são capazes de generalizar o seu generalizar o seu conhecimento conhecimentoa partir de exemplos anteriores

Características Básicas

• • AbstraçãoAbstração::

Capacidade de abstrair a essência de um abstrair a essência de um

conjunto de entradas

conjunto de entradas, isto é, a partir de padrões ruidosos, extrair a informação do padrão sem ruído.

Características Básicas

•

• Robustez e Degradação GradualRobustez e Degradação Gradual::

A perda de um conjunto de elementos processadores e/ou conexões sinápticas não causa o mal funcionamento da rede neural.

(6)

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

•

• Processamento Neural

Processamento Neural

•

• Regras de Aprendizado

Regras de Aprendizado

EVOLUÇÃO

McCulloch & Pitts (Mathematical Bio-Physics, Vol. 5, 1943),

“A Logical Calculus of Ideas Immanent in Nervous Activity”

Von Neumann Marvin Minsky Frank Rosenblatt Machine Intelligence Macroscopic Intelligence Microscopic Intelligence 1945 Digital Computers 1950 Black-Box AI (LISP) Perceptron, Adaline 1960 Mainframes Theorem Solver

1970 Vax 780 (Time Sharing) Expert Systems 1980 Workstations, PCs Commercialization of E.S. Rumelhart, Hopfield 1990 Desktop Supercomputers Commercialization of N.N.

EVOLUÇÃO

•

• Modelo de

Modelo de

McCulloch

-

Pitts

:

w w₁1 w w2₂ w w_n_n x x₁₁ x x₂₂ x x_n_n T w_i= + 1 -i = 1,2,..., n s s Entradas (valores 0,1) Entradas (valores00,,11) n sk+1_{= 1 se}Σ w ixik ≥ T i=1 n 0 se Σ wixi k _{< T} i=1 n sk+1_{= 1 se}Σ w ixik ≥ T i=1 n 0 se Σ wixi k _{< T} i=1

EVOLUÇÃO

•

• Modelo de

Modelo de

McCulloch

-

Pitts

:

T=0 T=0 T=0 T=1 T=1 T=0 T=1 x₁ x₂ x₁ x3 x2 1 x₃ -1 _s entrada excitatória s k+1_{= x}k 1 1 1 1 1 1 1 -1 -1 -1 -1 s entrada inibitória NAND __ A B AB 0 0 1 0 1 1 1 0 1 1 1 0 NAND NAND_{__}_{__} A B AB A B AB 0 0 1 0 0 1 0 1 1 0 1 1 1 0 1 1 0 1 1 1 0 1 1 0 NOR _{___} A B A+B 0 0 1 0 1 0 1 0 0 1 1 0 NOR NOR _{___}_{___} A B A+B A B A+B 0 0 1 0 0 1 0 1 0 0 1 0 1 0 0 1 0 0 1 1 0 1 1 0 Célula de Memória na ausência de entradas, a saída é armazenada indefinidamente Célula de Memória Célula de Memória na ausência de entradas, na ausência de entradas, a saída é armazenada a saída é armazenada indefinidamente indefinidamente

(7)

HISTÓRICO

• McCulloch & Pitts (1943):

– modelo computacional para o neurônio artificial. Não possuía capacidade de aprendizado

• Hebb (1949):

– modelo de aprendizado ((HebbianHebbianLearningLearningRuleRule).).

• Rosenblatt (1957):

– modelo Perceptron, com grande sucesso em certas aplicações e problemas em outras aparentemente similares.

• Minsky & Papert ( Perceptrons 1969):

– prova matemática de que as redes Perceptron são incapazes de solucionar problemas simples tipo OU-EXCLUSIVO

• Rumelhart (início da década de 80):

– novos modelos que superaram os problemas dos Perceptrons.

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

•

• Processamento Neural

Processamento Neural

•

• Regras de Aprendizado

Regras de Aprendizado

CONCEITOS BÁSICOS

•

• Neurônio Artificial

Neurônio Artificial

– (Elemento Processador)

•

• Estruturas de Interconexão

Estruturas de Interconexão

– FeedForward de 1 camada

– FeedForward de Múltiplas Camadas – Recorrente (com realimentação)

Elemento Processador

Elemento Processador inspirado no Neurônio Biológico

Squashing SquashingFunctionFunction

(8)

Elementos Básicos

•

• Estado de Ativação

Estado de Ativação

Î

s

_j

•

• Conexões entre Processadores

Conexões entre Processadores

– a cada conexão existe um peso sináptico

que determina o efeito da entrada sobre o processador Îw_ji

•

• Função de Ativação

Função de Ativação

– determina o novo valor do Estado de Ativaçãodo processador Îs_j= F (net_j)

Funções de Ativação

É a função que determina o nível de

ativação do Neurônio Artificial:

s

_j

= F(net

_j

)

F(netj) F(netj) F(netj)

netj

netj netj

Degrau

Degrau Pseudo-Pseudo-LinearLinear SigmoidSigmoid

RN x Sistema Nervoso Real

9 Feed-Forward 9 totalmente conectada 9 estrutura uniforme 9 poucos tipos de processadores 9 geralmente estática ¾ Recorrente ¾ conexões localizadas ¾ módulos funcionais ¾ centenas de tipos de neurônios ¾ dinâmico

Tipos de Processadores

Î

Recebe os dados de entrada

Î

Apresenta os dados de saída

Î

As suas entradas e saídas

permanecem dentro do sistema

(9)

Neurônio Artificial

3 pontos importantes: ÂThresholding

Â Não-Linearidade Â Saturação F(net_j) net_j threshold saturação não-linear F(net) net w0 w1 w₂ x1 x2 bias y net = w0+ w1x1+ w2x2 F(net) = 1 (sigmoid) 1 + e-net

Neurônio Artificial

Em função das equações de

net

e

F(net)

:

1 y = F(net) = 1 + e -(w 0+ x1w1+ x2w2) Fórmula matemática representada pelo neurônio artificial x₁ x₂ y

Exemplos

Regressão Linear: y = a0+ a1x1+ a2x2+ a3x3 Variáveis explicativas Representação Neural Bias = +1 a2 a1 a0 a3 x3 x2 x1 y Função linear

Acha aretaretacom erro mínimoque passe pelos

pontos existentes (padrões de treinamento) Reta obtida pela regressão Deslocamento em função do a0(bias)

Exemplos

Transformada de Fourier:

y = a₀+ a₁sen(wt + φ₁) + a₂sen(2wt + φ₂) + a₃sen(3wt + φ₃) + ... Representação Neural +1 (bias) t (tempo) y

Todos com função de ativação senoidal Função Linear w a₁ a0 a3 a2 3w 2w φ2 φ3 φ1

(10)

CONCEITOS BÁSICOS

•

• Neurônio Artificial

Neurônio Artificial

– (Elemento Processador)

•

• Estruturas de Interconexão

Estruturas de Interconexão

– FeedForward de 1 camada

– FeedForward de Múltiplas Camadas – Recorrente (com realimentação)

Topologias das Redes

Neurais

•

• Redes

Redes

Feed

-

Forward

:

– redes de uma ou mais camadas de processadores, cujo fluxo de dadosfluxo de dadosé sempre em uma única direçãouma única direção, isto é, não existe realimentação.

•

• Redes Recorrentes

Redes Recorrentes

:

– redes com conexões entre processadores da mesma camada e/ou com processadores das camadas anteriores (realimentaçãorealimentação).

Redes

Redes Feed

Feed-

-Forward

Forward

Redes de uma camada

PE3 PE2 PE1

PE_n

Redes

Redes Feed

Feed-

-Forward

Forward

Rede de Múltiplas Camadas

Camada Intermediária

(Escondida) Camada _{de Saída}

PE3 PE2 PE₁ PE_n PE₁ PE2 PEm

(11)

H 1 I 1 Novo dado (não apresentado durante o treinamento) I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w

Exemplo 1: Reconhecimento de Padrões

I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos H 1 I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w w Atividade Neural Entrada Pesos Escondida Saída Pesos

Atividade Neural H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w w w Entrada Pesos Escondida Pesos O 1 O 2 O 3 Saída

janela Entradas da rede Dados de Treinamento Série temporal

Exemplo 2: Previsão

(12)

janela previsto Entradas da rede Saída da rede: Valor previsto Dados de Treinamento Série temporal

Exemplo 2: Previsão

Dados previstos Dados reais

Redes Recorrentes

I n p u t

O u t p u t

R R e e a a l l i i m m e e n n t t a a ç ç ã ã o o

Redes Recorrentes

I n p u t

O u t p u t

Redes Recorrentes

O u t p u t

(13)

Redes Recorrentes

O u t p u t

Redes Recorrentes

O u t p u t

Redes Recorrentes

O u t p u t

Redes Recorrentes

O u t p u t

(14)

Redes Recorrentes

O u t p u t

Redes Recorrentes

O u t p u t

Rede Convergiu para um estado estável

Memória

Autoassociativa

Padrão de entrada

Padrão

de entrada 11° ciclo° ciclo 22° ciclo° ciclo

3° ciclo estável -3° ciclo estável

-•

• Exemplo 1:

Exemplo 1:

–

– Rede de 120 processadoresRede de 120 processadores

CONTEÚDO

•

• Introdução

Introdução

– Motivação, Objetivo, Definição, Características Básicas e Histórico

•

• Conceitos Básicos

Conceitos Básicos

•

• Processamento Neural

Processamento Neural

•

• Regras de Aprendizado

Regras de Aprendizado

(15)

Processamento Neural

O processamento de uma Rede Neural

pode ser dividido em duas fases:

Processo de cálculo da saída da rede, dado um certo padrão de entrada

-Recuperação da Informação

Recuperação da Informação

Processo de atualização dos pesos sinápticospara a aquisição do conhecimento - Aquisição da InformaçãoAquisição da Informação

Aprendizado

• Processo pelo qual os parâmetros livres

-pesos sinápticos -de uma rede neural são

adaptados através de um processo contínuo

de estimulação pelo ambiente.

• Existem 3 tipos básicos de aprendizado:

; Treinamento Supervisionado (TS); ; Treinamento Não-Supervisionado; ; “Reinforcement Learning”.

Treinamento Supervisionado

Geralmente efetuado através do processo

de minimização do erro

minimização do erro

calculado na saída.

A rede é treinada através do fornecimento dos

valores de

entrada

e de seus respectivos

valores desejados de

sa

í

da

(“training pair”).

(16)

Treinamento Supervisionado

PESOS AJUSTÁVEIS (W) PESOS PESOS AJUSTÁVEIS AJUSTÁVEIS (W) (W) CÁLCULO DO ERRO (e) CÁLCULO CÁLCULO DO ERRO DO ERRO (e) (e) PADRÃO PADRÃO DE ENTRADA DE ENTRADA (X) (X) SAÍDA SAÍDA (s) (s) VALOR VALOR DESEJADO DESEJADO (t) (t) e(t,s) e(t,s)

Treinamento Supervisionado

FUNÇÕES OBJETIVO: Genérica

• Sum

Sum

of

Squared

Errors:

Errors

E

_SSE

= Σ

_p

Σ

_i

(t

_pi

- y

_pi

)

2

p = padrões

i = elemento processador de saída

Treinamento Supervisionado

FUNÇÕES OBJETIVO: Classificação

• Cross

Cross

Entropy

Error (

logarithmic

error):

error)

E

_log

= Σ

_p

Σ

_i

[ t

_pi

ln y

_pi

+ (1 - t

_pi

)ln(1 - y

_pi

)]

p = padrões

i = elemento processador de saída

y

_pi

Ö interpretada como a probabilidade

de o

padrão p

pertencer à

classe i

(17)

Treinamento Não

-

Supervisionado

“Self-Organization”

Î Não requer o

Não requer o

valor desejado de sa

í

da

da rede. O

sistema extrai as características do

conjunto de padrões, agrupando-os em

classes inerentes aos dados

.

Aplicado a problemas de “

“

Clusterização

”

PESOS AJUSTÁVEIS (W) PESOS PESOS AJUSTÁVEIS AJUSTÁVEIS (W) (W) PADRÃO PADRÃO DE ENTRADA DE ENTRADA (X) (X) SAÍDA SAÍDA (s) (s)

Treinamento Não

-

Supervisionado

w1 t w₂t w₃t PE₃ PE₂ PE1

s

₁

s

₂

s

₃ x₁ x₂ x₃

Topologia

w1 t w₂t w₃t

Treinamento Não

-

Supervisionado

vetores de entrada

vetores de pesos no instante t

vetores de entrada

vetores de pesos no instante t

vetores de pesos após aprendizado

w1 t w₂t w₃t w1 t+n w2 t+n w3 t+n PE₃ PE₂ PE1

s

₁

s

₂

s

₃ x₁ x₂ x₃

Topologia

w1 t+n w₂t+n w₃t+n

Treinamento Não

(18)

“

“Reinforcement

Reinforcement

Learning”

Learning

”

• Semelhante ao Treinamento Supervisionado (existe um objetivo);

• NÃO existe um targetpara cada padrão;

• Existe uma realimentação (sinal de reforço) que avalia a resposta como boaou ruim;

• O objetivo é maximizar a quantidade de reforço

positivo Î Ex. aprendizado de jogos, robôs

autômatos;

.

“

“Reinforcement

Reinforcement

Learning

”

•O Sistema de Aprendizado aprende a realizar uma aprende a realizar uma certa tarefa

certa tarefasomente com base nos resultados de sua nos resultados de sua experiência com uma interação com o ambiente experiência com uma interação com o ambiente.

Ambiente Ambiente Ambiente Sistema de Aprendizado Sistema de Sistema de Aprendizado Aprendizado Crítico Crítico Crítico Sinal de Sinal de Reforço Reforço Ações Ações Vetor de Vetor de Estado Estado

TS com “Distal

Teacher”

Teacher

”

• Treinamento intermediário entre o aprendizado supervisionado e o reinforcement learning

TS com “Distal

TS com “Distal Teacher

Teacher”

”

• Exemplo 1: controle de uma plantacontrole de uma planta

Controlador

Controlador PlantaPlantaPlanta

Sinal de erro Sinal de erro e e Σ Entrada da Planta Entrada da Planta u u Sinal de Sinal de Referência Referência d d Saída Saída da Planta da Planta y y + +

(19)

-TS com “Distal

TS com “Distal

Teacher”

Teacher

”

• Exemplo 2: braço mecânicobraço mecânico

θ1 θ2 θ3 (θ1 θ2 θ3) (x,y) (x’,y’) Rede Neural Braço Mecânico Posição desejada Ângulos das juntas Posição real

Recuperação de Dados

Assumindo que um conjunto de padrões

tenha sido

armazenado, a Rede Neural

armazenado

pode executar as seguintes tarefas:

– Auto-associação – Hetero-associação – Classificação – Previsão GENERALIZAÇÃO GENERALIZAÇÃO

Recuperação de Dados

Autoassociação

:

A Rede Neural recupera o padrão armazenado mais semelhante ao padrão de entrada

apresentado. Recuperação de padrões ruidosos Padrão de entrada distorcido Padrão correto recuperado

(20)

Recuperação de Dados

Autoassociação

:

A Rede Neural recupera o padrão armazenado mais semelhante ao padrão de entrada

apresentado. Recuperação de padrões ruidosos

Recuperação de Dados

Heteroassociação

:

A Rede Neural armazena a associação entre

um par de padrões. Recuperação de um

padrão diferente do da entrada. Padrão de entrada com ou sem ruído Padrão correto recuperado ASCII Code of digit ‘1’

Recuperação de Dados

Heteroassociação

:

A Rede Neural mapeia um certo vetor de vetor de

entrada

entradaem um padrão de saída diferente.padrão de saída diferente.

Recuperação de Dados

Classificação:

A Rede Neural responde com a informação relativa

à classe (categoria) a qual o padrão de entrada

pertence (dentro de um conjunto de classes pré-determinado).

Ex:Padrões de entrada divididos em 3 classes distintas.

Caso especial de Heteroassociação (também chamado Pattern Recognition)

Padrão de entrada com ou sem ruído Classe 3 - (Quadrados) Classe 3 Classe 2 Classe 1

(21)

1 1 1 0 0 0 0 0 0 0 0 0

Recuperação de Dados

Classificação:

A Rede Neural responde com a informação relativa

à classe (categoria) a qual o padrão de entrada

pertence (dentro de um conjunto de classes pré-determinado).

Recuperação de Dados

Previsão:

O objetivo é determinardeterminar qual será o valor de uma o valor de uma

determinada quantidade em um instante de

tempo

tempo tt_0+k_0+k (k>0), utilizando dados medidos até o instante t₀inclusive.

t f(x)

t_0-n

t_0-na t₀Î pontos do conjunto de treinamento t > t₀ Î pontos previstos (k=1). t0

Recuperação de Dados

Previsão:

tempo

tempo tt_0+k0+k (k>0), utilizando dados medidos até o instante t0inclusive.

t f(x)

t0-n

t0-na t0Î pontos do conjunto de treinamento

t > t0 Î pontos previstos (k=1). t₁

Recuperação de Dados

Previsão:

tempo

tempo tt_0+k0+k (k>0), utilizando dados medidos até o instante t0inclusive.

t f(x)

t0-n

t0-na t0Î pontos do conjunto de treinamento

t > t0 Î pontos previstos (k=1).

(22)

Recuperação de Dados

Previsão:

tempo

t f(x)

t_0-n

t_0-na t₀Î pontos do conjunto de treinamento t > t₀ Î pontos previstos (k=1). t1t2t3

Recuperação de Dados

Previsão:

tempo

t f(x)

t_0-n

t_0-na t₀Î pontos do conjunto de treinamento t > t₀ Î pontos previstos (k=1). t1t2 t0+t

Recuperação de Dados

Generalização:

A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de treinamento .

GENERALIZAÇÃO

A Rede Neural responde corretamente a um padrão de entrada fora do conjunto de

treinamento Interpola corretamente os novos

pontos apresentados

x f(x)

x₁ x₂ x₃ X_novox₄ x₅

generalizações _{Boa interpolação}

Interpolação ruim

x_iÎ pontos do conjunto de treinamento x_novoÎ novo ponto para generalização

(23)

Exemplos de Treinamento

Supervisionado

n

Reconhecimento de Caracteres

o

Previsão de Séries Temporais

Reconhecimento de

Caracteres

H 1 I 1 Atividade Neural Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Pesos

Estrutura da Rede Neural

H 1 I 1 Dados para Treinamento I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo

Processo de Aprendizado

I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos

(24)

H 1 I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w

Processo de Aprendizado

w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento H 1 I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w Alvo

Processo de Aprendizado

w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento H 1 I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

Pesos Dados para Treinamento

Atualização dos pesos em função do erro

H 1 I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo

Processo de Aprendizado

I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento

B

(25)

Processo de Aprendizado

w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento

B

Alvo

Processo de Aprendizado

Atividade Neural H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w w w Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída

B

H 1 I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

B

I 1 H 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo

Processo de Aprendizado

I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos Treinamento

Z

Dados para

(26)

Processo de Aprendizado

Z

Dados para Alvo

Processo de Aprendizado

Z

Dados para H 1 I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

Z

Processo de Aprendizado

(27)

Processo de Aprendizado

w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Alvo

Processo de Aprendizado

Atividade Neural H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w w w Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

Dados para Treinamento Entrada Pesos

EscondidaPesos Saída

H 1 I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo

Processo de Aprendizado

B

(28)

Processo de Aprendizado

B

Alvo

Processo de Aprendizado

B

H 1 I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

B

Processo de Aprendizado

Z

Dados para

(29)

Processo de Aprendizado

Z

Dados para Alvo

Processo de Aprendizado

Z

Dados para H 1 I 1 Entrada Pesos Escondida I 2 I 3 H 2 H 3 w w w w w w w w w O 1 Saída O 2 O 3 w w w w w w w w w Erro =

-Processo de Aprendizado

Processo de Aprendizado

Z

Processo de Aprendizado

(30)

Processo de Aprendizado

w Atividade Neural Entrada Pesos Escondida Saída Pesos Dados para Treinamento Alvo

Processo de Aprendizado

Atividade Neural H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w w w Entrada Pesos Escondida Pesos Dados para Treinamento O 1 O 2 O 3 Saída H 1 I 1 I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w Alvo

Processo de Aprendizado

B

I 1 H 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w

Processo de Aprendizado

B

(31)

Alvo

Processo de Aprendizado

B

Processo de Aprendizado

Z

Dados para H 1 I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w Alvo w w w w w w w w w

Processo de Aprendizado

Z

Dados para Alvo

Processo de Aprendizado

Z

Dados para

(32)

Processo de Generalização

Recuperação da Informação

Aprendida

H 1 I 1 Novo dado (não apresentado durante o treinamento) I 3 H 2 H 3 w w w w w w w w w O 1 O 2 O 3 w w w w w w w w w

Processo de Generalização

I 2 Atividade Neural Entrada Pesos Escondida Saída Pesos H 1 I 1 I 2 I 3 H 2 H 3 O 1 O 2 O 3 w w w w w w w w w w w w w w w w w

Processo de Generalização

w Atividade Neural Entrada Pesos Escondida Saída Pesos

Processo de Generalização

Atividade Neural H 1 I 1 I 2 I 3 H 2 H 3 w w w w w w w w w w w w w w w w w w Entrada Pesos Escondida Pesos O 1 O 2 O 3 Saída Resposta Resposta correta a um correta a um novo padrão! novo padrão!

(33)

Previsão de

Séries Temporais

Série temporal janela alvo Entradas da rede = nvalores passados

Estrutura da Rede Neural

Dados de Treinamento Saída Desejada = valor da série k passos à frente Ex:5 valores passados Ex:valor um passo à frente Entradas da rede Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

Série temporal janela alvo Dados de Treinamento

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

Série temporal janela alvo Dados de Treinamento

(34)

janela alvo

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede

Processo de Aprendizado

Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente

Ajuste dos pesos a partir do erro (Erro= alvo - previsto)

Processo de Aprendizado

janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

(35)

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

Série temporal janela alvo Dados de Treinamento janela alvo

Ajuste dos pesos a partir do erro (Erro= alvo - previsto) Entradas da rede

Processo de Aprendizado

Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente janela alvo Entradas da rede Dados de Treinamento Série temporal Saída da rede: Valor previsto um passo à frente

Processo de Aprendizado

Processo de Generalização

Recuperação da Informação

Aprendida

(36)

janela Entradas da rede Dados de Treinamento Série temporal

Processo de Generalização

janela previsto Entradas da rede Saída da rede: Valor previsto Dados de Treinamento Série temporal

Processo de Generalização

Dados previstos janela previsto Entradas da rede: inclui o(s) valor(es) previstos pela Rede

Saída da rede: Valor previsto Dados de Treinamento Série temporal Dados previstos

Processo de Generalização

janela previsto Dados de Treinamento Série temporal Dados previstos

Processo de Generalização

Entradas da rede: inclui o(s) valor(es) previstos pela Rede

Saída da rede: Valor previsto