João Fausto Lorenzato Robson David Montenegro
Tarcísio Lucas
Introdução
Modelos de redes neurais podem ser classificados em gerações.
Primeira Geração
Neurônios de McCulloch-Pitts
Segunda Geração
Neurônios com funções de ativação.
Terceira Geração Neurônios Pulsados
Primeira Geração
Formadas pelos neurônios de McCulloch-Pitts, como unidades computacionais.
Também Conhecidos como Perceptrons.
Primeira Geração
Limitação:
Aplicabilidade em problemas linearmente separáveis.
Deram origem a vários modelos conhecidos: Redes de Hopfield
Segunda Geração
As unidades computacionais são providas de
uma função de ativação que fornecem valores de saída contínuos.
Exemplos de funções de ativação funções de ativação :
Sigmóide
Tangente Hiperbólica
Segunda Geração
Possuem maior complexidade que os modelos da primeira geração.
Suportam algoritmos de aprendizado baseados em gradiente descendente como o
backpropagation.
Modelos com uma camada escondida podem aproximar qualquer função contínua.
Fundamentação Biológica
Saídas da função de ativação = Taxa média de disparo de um neurônio biológico.
Limiar de ativação.
Os modelos da segunda geração são mais realísticos.
Conceitos Biológicos
Sinapse.
Neurônio Pré-Sináptico e Pós-Sináptico.
Conceitos Biológicos
Propagação do impulso nervoso. Bainha de Mielina. Axônio NeurotransmissoresConceitos Biológicos
Despolarização.
Períodos Refratários.
Conceitos Biológicos.
Funções de resposta.
Potencias excitatórios e inibitórios.
Terceira Geração
Modelos mais próximos do real.
Experimentos realizados nos últimos anos
indicam que muitos sistemas neurais biológicos utilizam o tempo de potenciais de ação para
codificar informações.
Investigação da terceira geração de modelos de redes neurais, que utilizam neurônios pulsados como unidade funcional.
Vantagens da Terceira Geração
Velocidade na transmissão e recebimento de informação.
Boa usabilidade em sistemas de tempo real.
Baixa complexidade.
Spiking Neural Network
Terceira Geração
Neurônio spiking
Deve simular o seguinte comportamento
1. Codificação da
informação em pulsos. 2. Excitação
3. Inibição 4. Threshold
Representação da informação
Disparos médio
Codificação por sincronismo
período s qtdDisparo Informação
Representação da informação
Tempo do disparo
Instante em que o pulso dispara, para uma determinada janela de tempo: delay coding.
w1 w2 w3
Threshold-fire model
Integrate and Fire Model
Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold
Threshold-fire model
Integrate and Fire Model
Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold
Codificação – tempo do disparo
Variável => Pulso 0.1 0.7 1.0 j input c x T . 1ms 1ms 0.9 0.3 0.0 ) (t s...
s
Threshold-fire model
Integrate and Fire Model
Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold
Potencial de disparo
)
(
~
)
(
t
,t
s
P
v u v t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal Tempo disparosPotencial de disparo
)
(
)
(
t
w
, ,t
s
P
v u v u v t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal w:peso w Tempo disparo sPotencial de disparo
u F s v u v u vt
w
t
s
P
(
)
, ,(
)
t: tempo v: neurônios pós-sináptico u: neurônios pré-sináptico s: tempo do sinal w: pesoFu:tempos de disparo do neurônio u
Tempos disparos s w
Potencial de disparo
E v u u s F v u v u v us
t
w
t
P
, : , ,(
)
)
(
t: tempo v: neurônios pós-sinápticos u: neurônios pré-sinápticos s: tempo do sinal w: pesoFu:tempos de disparo do neurônio u
E: neurônios u que tem conexão com o neurônio v
Tempos disparos s w
Threshold-fire model
Integrate and Fire Model
Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold
Threshold-fire model
Duas principais abordagens Integrate and Fire Model Spiking Response 1. Codificação da informação em pulsos. 2. Excitação 3. Inibição 4. Threshold
Potencial de disparo
i f j i i f i t F f j j j i F t f i it
t
t
w
t
t
u
) ( ) ()
(
)
(
)
(
( ) , ( )Potencial de disparo
i f j i i f i t F f j j j i F t f i it
t
t
w
t
t
u
) ( ) ()
(
)
(
)
(
( ) , ( )Algoritmos de treinamento
Hebbian)
(
0 ,t
t
w
u v v 0 t v t Taxa de aprendizagemTempo que o pulso pos-sináptico disparou
Algoritmos de treinamento
Hebbian supervisionado
Mudança de peso feita apenas nos pesos dos neurônios que representa a classe correta.
A B C D Secretário 1 Secretário 2
)
(
0 ,t
t
w
u v vFuzzificação de Redes Spike
Fuzzificação de Redes Spiking
Reid e Muyeba (2008)
Regra de aprendizagem Fuzzy
Fuzzificação por entidade
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Fuzzificação do Treinamento
Time to First Spike Encoding
Spike Interval and Phase Encoding
Correlation and Synchronous Encoding
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Fuzzificação de Redes Spiking
Referências
Maass, W. “Networks of Spiking Neurons: The Third
Generation of Neural Network Models” Neural Networks,10(0):1659-1671, 1997.
Maass, W. “Analog Computatuibs ib betworks of spiking
neurons”. Proceedings of the 7th Italian workshop on neural nets. World Scientific Press. 99-104, 1995.
Ruf, B., Schmitt, M. “Learning Temporally Encoded Patterns in
networks of spiking neurons” Neural Processing Letters, vol. 5, no. 1,pp.9-18, 1997.
Hopfield, J.J., “Pattern Recognition computattion using action
potential timing for stimulus representations. Nature, 376,33-36, 1995.
David Reid, Maybin Muyeba, "Fuzzification of Spiked Neural
Networks," Computer Modeling and Simulation, UKSIM
European Symposium on, pp. 135-140, 2008 Second UKSIM European Symposium on Computer Modeling and Simulation, 2008