Modelos de Redes Neurais Auto-Organizáveis ou com Treinamento Não Supervisionado ou ainda Redes Concorrentes

Modelos de Redes Neurais

Auto-Organizáveis

ou com

Treinamento Não Supervisionado

ou ainda

Redes Concorrentes

Prof. João Alberto Fabro

IF67D – Sistemas Inteligentes 1

UTFPR - 2015

Redes Neurais Auto-Organizáveis

●

Características:

– Modelos que operam somente sobre os padrões de

entrada (não existe um vetor de “saída” nos padrões de treinamento)

– O aprendizado se dá pela comparação entre os padrões ●

Aplicações:

– Agrupamento de dados em Classes (Classificação);

– Detector de Regularidades (Extração de Características

Redes Neurais Auto-Organizáveis

● Os algoritmos não-supervisionados são geralmente

baseados em uma forma de competição entre os processadores

● O método mais comum é o chamado Competitive

Learning – Aprendizado Competitivo

● É uma forma de aprendizado que divide o conjunto de

padrões de entrada em grupos inerentes aos dados

● Em sua forma mais simples _“winner takes

all”

● Inspiração Biológica: Um neurônio, ao dispararar,

Redes Neurais Auto-Organizáveis

●

Aplicações:

– Mapeamento de Fonemas(Voz) para comandos;

– Reconhecimento de Padrões(Caracteres)

– Previsão

●

Utilização Principal:

– Classificação de Padrões em grupos(Clusters) por

similaridade (Clusterização?), Agrupamento em classes de similaridade

Redes Neurais Auto-Organizáveis

Modelos

●

Modelo LVQ(Linear Vector Quantization)

– Modelo mais simples

●

Modelo SOM(Self-Organizing Memory-Kohonen)

●

Modelo ART (Adaptive Ressonance Theory)

Redes Neurais Auto-Organizáveis

● Redes auto-organizáveis são as que não necessitam de

treinamento supervisionado. Este tipo de rede, por exemplo, classifica padrões apresentados em sua entrada a partir das similaridades encontradas entre estes padrões, criando

automaticamente classes que agregam padrões similares. Um exemplo são as redes competitivas[Rum85], utilizadas para classificação de dados em agrupamentos (clusters) com características semelhantes.

● Estas redes são ditas competitivas pois, a cada apresentação

de um padrão de entrada, os neurônios competem pela classificação, e o neurônio mais ativo inibe os outros. O neurônio vencedor representa a classe a qual pertence o padrão de entrada, e os pesos das conexões são então modificados de acordo com a classificação.

Redes Neurais Auto-Organizáveis

●

Exemplo de Rede Competitiva:

w ij

Entradas Saídas

Redes Neurais Auto-Organizáveis -

Competitive Learning

• Características Básicas:

– Regra de Propagação -> net_j =



– Função de Ativação -> Degrau(para o neurônio vencedor)

– Topologia -> Uma única camada de processadores. – Algoritmo de Aprendizado -> Não Supervisionado:

w _ik = . (x_i - w_ik )

Redes Neurais Auto-Organizáveis -

Competitive Learning

• Funcionamento:

– os vetores X e W j devem ser normalizados –

somente o neurônio vencedor é ativado (neurônio com maio valor de net)

s_k = 1 se net_k > net_i , i k s_k = 0 caso contrário

– somente os pesos do neurônio vencedor são atualizados w _ik = . (x_i - w_ik )

Redes Neurais Auto-Organizáveis -

Redes Neurais Auto-Organizáveis -

Competitive Learning

• Objetivo:

–Ajusta-se os pesos de forma que vetores de entrada similares ativem o mesmo neurônio

• Aprendizado:

–A direção de atualização dos pesos minimiza a diferença entre o vetor de pesos e o vetor de entrada do processador vencedor.

Redes Neurais Auto-Organizáveis -

Redes Neurais Auto-Organizáveis -

Redes Neurais Auto-Organizáveis -

Redes Neurais Auto-Organizáveis -

Competitive Learning

Para representar a CLASSE ou GRUPO de padrões semelhantes e não um padrão de entrada específico. Procura-se achar o centro do GRUPO

OBS: deve ser adaptativo, decrescendo com o

Redes Neurais Auto-Organizáveis -

Competitive Learning

● Como os pesos devem ser inicializados?

Prática comum -> pesos randômicos e normalizados

a aleatoriedade distribui os pesos uniformemente

pela hiperesfera

( Pode gerar processadores inúteis ->nunca vencem a competição ):

– Super-grupos processadores que representam mais

de uma classe

– Sub-grupos mais de um processador para

Redes Neurais Auto-Organizáveis -

Competitive Learning

● Como os pesos devem ser inicializados?

Solução -> distribuir os vetores de pesos de acordo com a densidade de vetores de entrada

Mais pesos na região com mais amostras de vetores de entrada

Redes Neurais Auto-Organizáveis

● A estratégia utilizada pelas redes competitivas é a inibição lateral

dos outros neurônios, de modo que apenas um saia vitorioso. Tal estratégia é inspirada em estudos sobre o funcionamento do

córtex cerebral humano, e leva à classificação de padrões não muito diferentes em neurônios contíguos (preservando a

topologia dos padrões de entrada). Baseado nestas idéias,

Kohonen[Koh82] propôs uma extensão às redes competitivas, o denominado mapa de características de Kohonen.

● O algoritmo de auto-organização atua como um classificador de

características dos padrões de entrada, descobrindo as

regularidades, dividindo-os em classes de elementos similares. As conexões entre os neurônios na vizinhança são inibitórias,

fazendo que um neurônio ativo iniba a ativação de todos os que o circundam.

Redes Neurais Auto-Organizáveis

●

Exemplo de Rede SOM(Kohonen):

Entradas

Mapa Auto-Organizável

Redes Neurais Auto-Organizáveis

Mapa de Kohonen

●

A atualização de pesos é feita não só para o neurônio

vencedor k mas também para os neurônios

pertencentes a uma certa vizinhança NE

(t),

ajustável com o tempo.

Redes Neurais Auto-Organizáveis

Mapa de Kohonen

Redes Neurais Auto-Organizáveis

Neuro-Darwinismo

●

Modelo de Edelman aplicado à robótica móvel

-90 90 0 -3 +3 -6 +6 -9 33 75 6550 4540 36 ...

Redes Neurais Auto-Organizáveis

Neuro-Darwinismo

Redes Neurais Auto-Organizáveis

Sensores de Sensores Nebulosos de Colisão

Sensores Nebulosos de Alvo-90o 90o

o -3 6 9 45 75 90o o o o 60 o o 60 -Ações de Regras Nebulosas . . . . . . . . . . Pesos Seletor de Pesos