• Nenhum resultado encontrado

CPE Redes Neurais Feedforward. Redes Neurais Artificiais Feedforward

N/A
N/A
Protected

Academic year: 2021

Share "CPE Redes Neurais Feedforward. Redes Neurais Artificiais Feedforward"

Copied!
24
0
0

Texto

(1)

CPE 721 Redes Neurais Feedforward 1 – Introdução 1 / 24

CPE 721 - Redes Neurais

Feedforward

Luiz Calôba

lcaloba@gmail.com

caloba@ufrj.br

www.lps.ufrj.br/~caloba/CPE721/

1 - Introdução

Redes Neurais Artificiais Feedforward

O que é isto ?

Para que serve ?

(2)

CPE 721 Redes Neurais Feedforward 1 – Introdução 2 / 24

O que é isto ?

Inteligência Artificial / Computacional

Cognitiva, Simbólica

IA “tradicional”

Evolucionista

AG, Vida Artificial

Conexionista

Redes Neurais Artificiais

Redes Neurais Artificiais

Redes Feedforward (CPE 721)

Aproximadores e classificadores,

Redes “backpropagation”

Redes Não Supervisionadas (CPE 722)

Classificadores

Redes Realimentadas

Otimizadores

(3)

CPE 721 Redes Neurais Feedforward 1 – Introdução 3 / 24

Cursos em RNs no PEE da COPPE:

CPE 721 – Redes Neurais Feedforward

2º período 2016

Pré requisitos: apenas noções de álgebra linear

CPE 722 – Redes Neurais Não Supervisionadas e Agrupamento

3º período 2016 ou 1º período 2017

Pré requisitos: apenas noções de álgebra linear

CPE 724 – Redes Neurais Feedforward - Aplicações

3º período 2016 ou 1º período 2017

Pré requisito: CPE 721 - Redes Neurais Feedforward

CPE 721 - Redes Neurais Feedforward

Programa:

 Introdução, motivação ao uso.

 Neurônios e redes neurais biológicas e artificiais. Estrutura feedforward.

 O treinamento backpropagation.

 Métodos mais eficientes; resilient BP e métodos de segunda ordem.

 Pré-processamento: escolha das entradas, detecção de intrusos, escalamento,

etc.

(4)

CPE 721 Redes Neurais Feedforward 1 – Introdução 4 / 24

 Dimensionamento da rede, escolha dos parâmetros iniciais.

 Acompanhamento do treinamento: evolução do erro

 Pós-processamento: análise e correção do erro, absorção do escalamento

 Aproximadores e Classificadores, capacidade de mapeamento. Operação.

 Outras redes. Redes de Base Radial.

 Demonstrativos e exemplos de aplicações.

Referências bibliográficas:

Para iniciar:

*1 – Ivan Silva, I.; Spatti, D. e Flauzini, R. - "Redes Neurais Artificiais para

Engenharia e Ciências Aplicadas", Artliber, 2010, cap 1-6.

Para aprofundar:

*1 - Haykin, S., “Neural Networks and Learning Machines” Pearson – Prentice

Hall, 2009, Cap 1-7. versão antiga: “Neural Networks, A Comprehensive

Foundation”, Prentice Hall, 1999. Ver também: Haykin, S., “Redes Neurais, Teoria

e Prática”, Bookman, 2001.

2 - Bishop, C. M. - "Pattern Recognition and Machine Learning", Springer, 2006,

Cap 1, 3, 4 e 5.

3 – Cichocki, A.; Unbeehauen, R.- “Neural Networks for Optimization and Signal

Processing”, Wiley, 1993, Cap 1 e 3.

(5)

CPE 721 Redes Neurais Feedforward 1 – Introdução 5 / 24

Software:

Neuralworks, Neuroshell

* Toolboxes: Matlab, Statistica

Neunet www.cormactech.com/neunet

Freeware:

* WEKA

www.cs.waikato.ac.nz/ml/weka/

SNNS (Stuttgart Neural Network Simulator) ftp.informatik.uni-stuttgart.de

NeuroLab, SIRENE (UFRJ e CEPEL) www.lps.ufrj.br/~caloba

Base de dados

http://archive.ics.uci.edu/ml/

http://archive.ics.uci.edu/ml/datasets.html

Avaliação:

Listas de exercícios

(apenas aprendizado)

1 Teste

(avaliação principal)

(6)

CPE 721 Redes Neurais Feedforward 1 – Introdução 6 / 24

Para que serve ?

Emular sistemas neuronais biológicos visando

obter as propriedades destes sistemas:

Redes Neurais Artificiais

Aprendizado ?

Generalização ?

Robustez ?

Aplicações:

Cálculo ? Não !!!

Simulação de Sistemas não Lineares

Reconhecimento de Padrões

Otimização

De onde veio ?

Breve Histórico

400 A.C. - Aristóteles

“De memoria et reminiscentia”

(7)

CPE 721 Redes Neurais Feedforward 1 – Introdução 7 / 24

1943 - McCulloch e Pitts

primeiro modelo matemático de neurônio

1947 – Norbert Wiener

“Cibernetics”

(8)

CPE 721 Redes Neurais Feedforward 1 – Introdução 8 / 24

1947 - 1951 - JohnVon Newman

EDVAC -

Electronic Discrete Variable

Automatic Computer

6000 válvulas, 12.000 diodos,

56 kW, 45 m

2

, 8 ton

1949 - Donald Hebb

primeiro modelo de aprendizado não

supervisionado

1951 - Minsky e Edmonds

(9)

CPE 721 Redes Neurais Feedforward 1 – Introdução 9 / 24

1957 - Frank Rosenblatt

Perceptrons -

aprendizado em sistemas não

lineares

Mark I Perceptron

Neurocomputer

imagens 20x20 pixels

1960 - Widrow e Hoff

Adaline - adaptive linear neuron

LMS

- aprendizado em sistemas

lineares

(10)

CPE 721 Redes Neurais Feedforward 1 – Introdução 10 / 24

1969 - Minsky e Papert

“Perceptrons”

ANTES do “Perceptrons”:

DEPOIS do “Perceptrons”:

$$

Linha

conexionista

Linha

conexionista

Linha

cognitiva

$$

(11)

CPE 721 Redes Neurais Feedforward 1 – Introdução 11 / 24

”no ching, no ming”

E a linha cognitiva ?

1969 - 1982 A época das trevas

Aprendizado não supervisionado, auto-organização

Amari, Anderson, Fukushima, Grossberg, Kohonen

A

Barreir

a

da

Co

mp

lexida

d

e

Novo

Método ???

Linha

cognitiva

(12)

CPE 721 Redes Neurais Feedforward 1 – Introdução 12 / 24

1974 - Paul Werbos

“Beyound Regression”

CBRN / SBAI

Florianópolis, 2007

1982 John Hopfield

(13)

CPE 721 Redes Neurais Feedforward 1 – Introdução 13 / 24

1986 - Rumelhart, Williams e Hinton

“PDP (Parallel Distributed Processing) I e II”

a

re-

descoberta da Backpropagation.

1987

- 1º Congresso em Redes Neurais

(IEEE Int. Conf. on Neural Networks - 1700 participantes)

Fundação da International Neural Networks Society

1988 - Broomhead e Low

Redes de Base Radial

1988

- Revista “Neural Networks”

1989

- IEEE Transactions on Neural Networks

(14)

CPE 721 Redes Neurais Feedforward 1 – Introdução 14 / 24

A situação atual:

Sociedades científicas:

International Neural Networks Society, INNS,

IEEE Computational Intelligence Society

(antiga IEEE Neural Networks Society)

Sociedade Brasileira de Inteligência Computacional, SBIC,

(antiga Sociedade Brasileira de Redes Neurais, SBRN),

www.sbrn.org.br

Revistas

Neural Networks, INNS

IEEE Trans. on Neural networks, IEEE

Learning and non-linear models, SBRN,

www.sbrn.org.br

$$

A

Ba

rr

ei

ra d

a

Co

mp

lexida

d

e

Linha

conexionista

Linha

cognitiva

(15)

CPE 721 Redes Neurais Feedforward 1 – Introdução 15 / 24

Congressos:

International Joint Conference on Neural Networks.

anual, da INNS e IEEE-NNS.

Congresso Brasileiro de Redes Neurais

,

bi-anual, da SBRN.

Simpósio Brasileiro de Redes Neurais,

bi-anual, da SBC.

Quando usar redes neurais ?

Existe um algoritmo (modelo fenomenológico) satisfatório ?

SIM - então use o algoritmo

NÃO - então pense em usar redes neurais

Redes Neurais

(16)

CPE 721 Redes Neurais Feedforward 1 – Introdução 16 / 24

Como implementar as Redes Neurais Artificiais ?

Emulando os sistemas biológicos !

(17)

CPE 721 Redes Neurais Feedforward 1 – Introdução 17 / 24

Neurônio biológico

...

s

Neurônio

Processador

MISO

e

1

e

2

e

n-1

e

n

- 70 mV < saída < + 50 mV

Polarização dos Neurônios - Bombas de Íons

0 0

s

saída

inativo

inativo,

s

saída

excitado

ativo,

estado

(18)

CPE 721 Redes Neurais Feedforward 1 – Introdução 18 / 24

Comunicação entre neurônios:

Sinapse

(19)

CPE 721 Redes Neurais Feedforward 1 – Introdução 19 / 24

Memória:

(20)

CPE 721 Redes Neurais Feedforward 1 – Introdução 20 / 24

Neurônio - elemento de processamento

Neurônio - elemento de processamento

x1 xj xN x0=1 . . . . . .       ui si wi0 wi1 wij win N i ij j 0 0 j 1

u

w x

w

i

w x

ti

w

i

s

i

= s(u

i

)

1 x si wi0 wi ui

(21)

CPE 721 Redes Neurais Feedforward 1 – Introdução 21 / 24

Função de Ativação s(u)

Neurônio

Função de ativação

s

i

(u

i

)

Ganho linearizado

g

i

(s

i

) = ds

i

/ du

i

linear

i

u

1

Não linear,

tipo tgh

 

i i -2u i -2u 1 - e tgh u 1 e   2 i

1-s

Não linear,

tipo binário

 

i i i 0 se u 0 deg u 1 se u 0      

-

Arquitetura da Rede

+1 -1 linear tgh (.) bin ui φ

x

1

x

2

x

3

y

2

y1

(22)

CPE 721 Redes Neurais Feedforward 1 – Introdução 22 / 24

Arquitetura da Rede

Rede feedforward

(sem realimentação)

• Estática

• Estruturalmente estável

Exemplo de operação da rede:

x

1

x

2

x

3

y

2

y

1 3 tgh tgh tgh lin tgh 1 x1 x2 1 .2 -.1 -.1 .3 .1 .2 -.1 .1 .2 .3 .9 .1 .5 - .1 -.1 .2 1.1 4 5 2 1 1 y ~ 2 y ~

0,1

?

0, 7

x

y

(23)

CPE 721 Redes Neurais Feedforward 1 – Introdução 23 / 24

v

2

= 0,46

v

3

= 0,63

)

(linear!

097

,

0

097

,

0

)

63

,

0

)(

1

,

0

(

)

46

,

0

)(

1

,

0

(

)

06

,

0

)(

1

,

0

(

2

,

0

4 4

v

u

614

,

0

)

715

,

0

tgh(

715

,

0

)

63

,

0

)(

1

,

1

(

)

46

,

0

)(

2

,

0

(

)

06

,

0

)(

5

,

0

(

1

,

0

5 5

v

u

06

,

0

)

06

,

0

tgh(

06

,

0

)

7

,

0

)(

2

,

0

(

)

1

,

0

)(

2

,

0

(

1

,

0

1 1

v

u

3 tgh tgh tgh lin tgh 1 x 1 x2 1 .2 -.1 -.1 .3 .1 .2 -.1 .1 .2 .3 .9 .1 .5 -.1 -.1 .2 1.1 4 5 2 1 1 y ~ 2 y ~ 0,1 0,7 3 tgh tgh tgh lin tgh 1 x1 x2 1 .2 -.1 -.1 .3 .1 .2 -.1 .1 .2 .3 .9 .1 .5 - .1 -.1 .2 1.1 4 5 2 1 1 y ~ 2 y ~ 0,63 0,4 6 0,06

(24)

CPE 721 Redes Neurais Feedforward 1 – Introdução 24 / 24

Redes Neurais FeedForward

Mapeador Não Linear

 

y

x

Aproximador Universal !

614

,

0

097

,

0

~

7

,

0

1

,

0

y

x

x1 x2 xn j 1   i 1  j 1  wij 1 y ~ 2 y ~ m y ~

RN

~

y

x

3 tgh tgh tgh lin tgh 1 x 1 x 2 1 .2 -.1 -.1 .3 .1 .2 -.1 .1 .2 .3 .9 .1 .5 -.1 -.1 .2 1.1 4 5 2 1 1 y ~ 2 y ~ 0,1 0,7 0,097 0,614

Referências

Documentos relacionados

Também deve ajudar a gerar a vontade política necessária para apoiar sistemas de observação oceânica mais integrados e sustentáveis, em âmbito global, para desenvolver redes e

1-Sistemas de criação mais utilizados no Brasil, componentes de um sistema de produção, Cadeia produtiva; 2-Raças de bovinos corte, Categorias de animais, Unidade

ESTADO DA ARTE SOBRE CONCREÇÕES LATERlTICAS 2... - Material laterítico de

Portanto, vê-se no campo jurídico-constitucional, no Equador (2008) e também na Bolívia (2009), uma nova visão ecocêntrica que ultrapassou o antropocentrismo e

Portanto, o objetivo deste trabalho foi verificar de que forma os sujeitos com gagueira se autoavaliam na expressão das atitudes de certeza e dúvida, logo após serem solicitados

• Comprovantes de despesas e residência (cópia): deverão ser apresentados os seguintes comprovantes de despesa: contas de luz, telefone, condomínio e

A Câmara Rio-Grandense do Livro prepara ainda uma solenidade especial para a Semana, com homenagens a pessoas e instituições que, no ano passado, destacaram-se na promoção da

Para quem é iniciante à docência esse método pode ser o mais flexível para adaptar-se ao ambiente escolar e ganhar a confiança dos estudantes, proporcionando a