Mapas Auto-Organizáveis de Kohonen SOM

(1)

U niv er sid ad e F ed er al do E sp íri to S an to – C C A U F E S

Universidade Federal do Espírito Santo Centro de Ciências Agrárias – CCA UFES Departamento de Computação

Redes Neurais Artificiais

Site: http://jeiks.net

E-mail: jacsonrcsilva@gmail.com

Mapas Auto-Organizáveis

de Kohonen – SOM

(2)

Cérebro humano

● Entradas sensoriais (motora, visual, auditiva, etc.) são

mapeadas por áreas correspondentes do córtex cerebral de

forma ordenada.

● Os mapas computacionais fornecem como propriedades:

– Na apresentação de estímulos, a informação incidente é mantida em

seu próprio contexto;

– Neurônios que lidam com informações relacionadas estão próximos

(3)

Mapas Auto-Organizáveis de

Kohonen

●

Fazem parte de um grupo de redes neurais chamado de:

– Redes baseadas em modelos de competição, ou – Redes competitivas.

●

Combinam competição com uma forma de aprendizagem

para fazer os ajustes de seus pesos.

●

Utilizam treinamento não supervisionado,

– A rede busca encontrar similaridades baseando-se apenas

nos padrões de entrada.

●

Principal objetivo dos SOM de Kohonen:

– Agrupar os dados de entrada que são semelhantes entre si

(4)

Mapas Auto-Organizáveis de

Kohonen

● Em uma rede classificadora:

– Há uma unidade de entrada para cada componente do vetor de entrada. – Cada unidade de saída representa um cluster.

(limitação da quantidade de clusters pelo número de saídas).

– Durante o treinamento,

● A rede determina a unidade de saída que melhor responde ao vetor de entrada; ● O vetor de pesos para a unidade vencedora é ajustado de acordo com o

algoritmo de treinamento.

● No processo de auto-organização, ocorre a relação de vizinhança

entre os neurônios:

– A unidade (neurônio) do cluster cujo vetor de pesos mais se aproxima

do vetor dos padrões de entrada é escolhida como sendo a “vencedora”.

– A unidade vencedora e suas unidades vizinhas têm seus pesos

(5)

Mapas Auto-Organizáveis de

Kohonen

● Os neurônios são colocados em nós de uma grade.

● Os neurônios tornam-se seletivamente sintonizados a vários

padrões de entrada.

● Cada padrão de entrada é um estímulo.

● A localização dos neurônios sintonizados (vencedores) tornam-se

ordenadas entre si,

– Criando um sistema de coordenadas para diferentes características de

entrada.

– Sistema de coordenadas é criado sobre a grade.

● Este sistema caracteriza-se então pela formação de um mapa topográfico dos padrões de entrada.

● As localizações espaciais dos neurônios da grade são indicativas

(6)

Arquiteturas

● As imagens apresentam uma vizinhança bidimensional e

unidimensional. Mas podem existir dimensões mais elevadas.

● Dada a dimensão, a quantidade de unidades ou neurônios de saída:

– Pode ser arbitrada e mantida fixa, ou

– Pode ser definida automaticamente pelo algoritmo de treinamento.

● A quantidade de elementos de entrada depende do banco de dados a

ser utilizado no treinamento da rede.

● O grid de saída pode ser de várias dimensões, com quantidade de

elementos variável.

X₁ X₂ X_n

(7)

O Mapa Auto-Organizável

● Inicialmente, atribui-se valores aleatórios pequenos aos pesos

sinápticos da grade.

– Assim, nenhuma organização prévia é importa ao mapa de

características.

● Após isso, há três processos para a formação do mapa

auto-organizável:

– Competição:

● Para cada neurônio de entrada, os neurônios da grade calculam seus valores de

uma função discriminante e competem entre si. O maior valor vence;

– Cooperação:

● O neurônio vencedor determina a localização espacial de uma vizinhança e

coopera com seus vizinhos;

– Adaptação Sináptica:

● O neurônio excitado aumenta seus valores individuais da função discriminante

(8)

Formação do Mapa

Auto-Organizável

● Competição:

– Para cada padrão de entrada, os neurônios na rede computam seus

respectivos valores de uma função discriminante.

– Esta função discriminante fornece a base para a competição entre os

neurônios e aquele que melhor-equivale ao valor da função discriminante é declarado o neurônio vencedor.

● Cooperação:

– O neurônio vencedor determina a localização espacial de uma vizinhança

topológica de neurônios excitados, fornecendo assim a base para a cooperação entre neurônios vizinhos.

● Adaptação Sináptica:

– Este último mecanismo permite aos neurônios excitados incrementar seus

valores individuais da função discriminante em relação ao padrão de

(9)

Relação Topológica

X₁ X_j X_d y₁(x) y_i(x) y_c(x) Camada Competitiva

Relações de Vizinhança entre os neurônios na fase

de treinamento.

● Cada neurônio i da camada competitiva tem um vetor de pesos Wi que tem a mesma dimensão que a entrada X.

● Dimensão:

A) Da entrada X e pelos pesos Wi: dim(X) = dim Wi = d.

B) Do mapa: 1-D: largura;

(10)

Processo Competitivo

●

Apresenta-se um estímulo (padrão de entrada):

–

Ocorre a determinação do vencedor i* na camada

competitiva.

–

Para isso, deve haver um critério de semelhança entre o

estímulo x e o peso Wi do neurônio i.

Lembrando-se que é a semelhança entre dois vetores

da mesma dimensão.

●

A determinação da diferença/semelhança entre os

vetores pode ser:

a) Pelo Ângulo; ou

(11)

Diferença de vetores: Ângulo

X Wj N Wj W i W i N x₁, w₁ x₂, w₂

Então calcula-se o i*:

i

*

=

_argmax

c

i=1

W

_iN

. X

N

=

_argmin

c

i=1

cos Θ

Inicialmente, realiza-se

a normalização de W

_i

e X :

W

N_j

=

W

j

‖

W

_j

‖

X

N

=

X

‖

X‖

j = i*

Problema: perda de informação pela normalização

(12)

Diferença de vetores:

Distância Euclidiana

i

*

=

_argmin

c

i=1

‖

x−W

_i

‖

Distância Euclidiana: d (x ,W

_i

)=‖

x−W

_i

‖

i = i* x₂, w₂ x W j W i x₁, w₁ d_i d j

(13)

Processo Cooperativo

● O neurônio vencedor localiza o centro de uma vizinhança topológica

de neurônios cooperativos.

● O neurônio que está disparando (vencedor):

– Tende a excitar mais fortemente os neurônios na sua vizinhança imediata

– Tende a excitar com menos força aqueles neurônios que estão distantes dele.

● Sobre a vizinhança topológica:

– é simétrica em relação ao ponto máximo definido pelo neurônio vencedor.

– Sua amplitude decresce monotonamente com o aumento da distância lateral,

decaindo para zero quando a distância do neurônio vencedor tende ao infinito.

● Uma escolha típica para satisfazer essas exigências é utilizar a função

gaussiana: h_{i , j( x)}=exp

(

− dj , i 2 2 σ2

)

, di , j 2 =‖r_j−r_i‖2,

i=neurônio vencedor , j=neurônios excitados ,

(14)

Função de Vizinhança Gaussiana

σ (

n)=σ

₀

exp(−

n

_τ

1

)

, n=0,1, 2,...

τ

₁

é uma constante de tempo

h_{i , j (x)}(n)=exp

(

− d j , i

2

(15)

Processo Adaptativo

●

Para que a grade seja auto-organizável,

– é necessário que o vetor de peso sináptico Wj do neurônio j

da grade se modifique em relação ao vetor de entrada x.

– O vetor de peso sináptico é definido por:

– Há duas fases do processo adaptativo:

● Fase de auto-organização ou de ordenação: primeira fase onde

ocorre a ordenação topológica dos vetores de peso.

● Fase de convergência: segunda fase responsável por fazer uma

sintonia fina do mapa de características.

w

_j

(

n+1)=w

_j

(

n)+ η(n)h

_j,i(x)

(

n)(x−w

_j

(

n))

η(

n)=η

₀

exp

(

−

n

_τ

2

)

,n=0,1,2,...

(16)

Algoritmo Resumido do SOM

1.Inicialização: Escolha valores aleatórios e diferentes para os vetores de peso iniciais. 2.Amostragem: Retire uma amostra do espaço de entrada com certa probabilidade. 3.Casamento por Similaridade: Encontre o neurônio da grade com melhor casamento. 4.Atualização: Ajuste os vetores de peso sináptico de todos os neurônios com a fórmula de atualização. 5.Continuação: Continue com o passo 2 até que não sejam observadas modificações significativas no mapa de características.

(17)

Propriedades do Mapa de

Características

1. Aproximação do

Espaço de Entrada:

O mapa de

características ϕ,

representado pelo

conjunto de vetores de

pesos sinápticos {w

_j

}

no espaço de saída A,

fornece uma boa

aproximação para o

espaço de entrada

_H.

(18)

Propriedades do Mapa de

Características

2. Ordenação Topológica:

O mapa de características calculado pelo algoritmo

SOM é ordenado de modo topológico,

no sentido de que a localização espacial de um

neurônio na grade corresponde a um domínio particular

ou caraterística dos padrões de entrada.

3. Casamento de Densidade:

O mapa de características replete variações na

estatística da distribuição de entrada:

● Regiões do espaço de entrada são mapeados para domínios

maiores do espaço de saída, obtendo maior resolução do que de onde foram retirados.