Redes de Kohonen

Redes de Kohonen

Self-organizing Maps

Germano Vasconcelos Centro de Informática

Universidade Federal de Pernambuco

Conteúdo Conteúdo

Aprendizagem não-supervisionada

Inspiração biológica

• Mapas topográficos , Funções de ativação, Auto- organização

Rede de Kohonen

Algoritmo de aprendizagem

Formação dos mapas (clustering)

Aplicações

Tipos de Aprendizagem I Tipos de Aprendizagem I

(pelo grau de feedback) (pelo grau de feedback)

Supervisionada:

um ”professor“ diz quanto a resposta dada pelo sistema se aproxima da resposta desejada.

(e. g. nota de um aluno numa prova)

Por Reforço:

um ”professor“ diz apenas se a resposta dada pelo sistema está certa ou errada.

(e. g. punição/recompensa no treinamento de animais)

Não-Supervisionada:

o sistema tenta se auto-organizar baseado nas similaridades entre os exemplos a ele apre- sentados.

(e. g. desenvolvimento das células simples do córtex visual estriado)

Tipos de Aprendizagem II Tipos de Aprendizagem II

(pelo grau de feedback) (pelo grau de feedback)

Supervisionada:

• Conjunto de treinamento s = {(x₁, f(x₁)), (x₂, f(x₂)),..., (x_n, f(x_n))}

• Convergência rápida

Por Reforço:

• Conjunto de treinamento s = {(x₁, sgn[f(x₁)] ), (x₂, sgn[f(x₂)] ),..., (x_n, sgn[f(x_n)] )}

• Convergência média

Não-Supervisionada:

• Conjunto de treinamento s = {(x₁, ), (x₂, ),..., (x_n, )}

• Convergência lenta

Características Gerais das Características Gerais das

Redes de

Redes de Kohonen Kohonen

Inspiração biológica

Aprendizagem não supervisionada (clustering)

• a aprendizagem agrupa padrões de características comuns

• a rede é capaz de identificar as características comuns ao longo do domínio dos padrões de entrada

Memória associativa

Mapa topográfico de características

• Quantização vetorial (compressão de dados)

• Relações de vizinhança preservadas (transformações ≈ conformes)

• Representação de espaços N-Dimensionais em 2-D

Inspiração Biológica Inspiração Biológica

Codificação distribuída em camadas (redes planas)

Funções de ativação (vizinhança)

Mapas topográficos

• visão (ice cube, fóvea etc.)

• tato

• audição

Aprendizagem biologicamente plausível

• processo WinnerTakes All (canto de acasalamento)

• liberação de óxido nítrico pelos neurônios ativos

• membro fantasma (reaprendizagem dos córtices somato-sensorial e motor)

Homúnculo Homúnculo

Mapa Topográfico Motor

Mapa Topográfico Motor

Homúnculo Homúnculo Mapa Topográfico

Mapa Topográfico Somato Somato - - Sensorial Sensorial

Rede de

Rede de Kohonen Kohonen

Entrada Estado

/Saída

Camada de saída plana:

grade 2-D

Os estados dos

neurônios são as próprias saídas

Camadas de entrada e saída totalmente

conectadas

Feedback na camada de saída apenas numa

vizinhança de cada neurônio (excitação / inibição lateral)

Aspectos do Treinamento Aspectos do Treinamento

O treinamento forma agrupamentos dos neurônios em vizinhanças que funcionam como detectores de

características

Esse mapa topográfico é auto-organizado por um

processo cíclico de comparação dos padrões de entrada com aqueles já armazenados nos pesos dos neurônios

A partir de regiões aleatoriamente setadas, a rede cria uma representação local e auto-organizada da informação

O treinamento seleciona o neurônio de maior resposta ao padrão de entrada apresentado e aumenta a resposta

desse neurônio e da sua vizinhança ao padrão

Função de Ativação Função de Ativação Chapéu de Mexicano Chapéu de Mexicano

O óxido nítrico liberado pelas células ativas é uma das substâncias que fazem esse papel.

Funções Chapéu de Mexicano Funções Chapéu de Mexicano no Sistema Visual (

no Sistema Visual ( DOGs DOGs , , Gabor Gabor etc.) etc.)

Retina

Núcleo Geniculado

Lateral

Córtex Estriado

Auto Auto - - Organização Biológica Organização Biológica

(Detecção de Bordas)(Detecção de Bordas)

Seletividade à Orientação no Córtex Estriado

Seletividade à Orientação no Córtex Estriado

Vizinhança Adaptável para Detecção de Vizinhança Adaptável para Detecção de

Bordas

Bordas

Algoritmo de Aprendizagem Algoritmo de Aprendizagem

Inicializa-se a rede:

• pesos, raio da vizinhança, taxa de aprendizagem e taxa de redução da vizinhança

Apresenta-se o padrão de entrada

Calcula-se a distância Euclideana do vetor de entrada a cada neurônio j de saída

Seleciona-se o neurônio n_j* de menor distância d_j*

Adapta-se os pesos do neurônio n_j* e da sua vizinhança N_j*, segundo a regra:

• w_ij(t+1) = w_ij(t) + η(t)[x_i(t)-w_ij(t)]

Reduz-se a vizinhança e a taxa de aprendizagem (convergência)

Apresenta-se outro padrão de entrada

Exemplo

Exemplo : : treinamento treinamento de de uma uma rede rede para para representar

representar uma uma grade de grade de pontos pontos

Formação do Mapa Topográfico Uniforme Formação do Mapa Topográfico Uniforme

T=0 T=25

T=500 T=10.000

Máquina de Escrever Fonética

Máquina de Escrever Fonética

Máquina de Escrever Fonética Máquina de Escrever Fonética

Mapa

Mapa Fonotópico Fonotópico

Máquina de Escrever Fonética Máquina de Escrever Fonética

Seqüência Fonética

Seqüência Fonética

Outros Aspectos das Redes de

Outros Aspectos das Redes de Kohonen Kohonen

A orientação espacial dos vetores é priorizada na avaliação de similaridade: normalização é necessária

Durante o treinamento o sistema se auto-organiza para mapear topograficamente as características. Depois, são associados os rótulos às características de cada região do mapa

A plausibilidade biológica desse modelo de rede a torna candidata natural na interpretação de fenômenos

biológicos (e.g. distúrbios de aprendizagem, membro fantasma etc.)