O Mapa Auto-Organizável 58

O mapa auto-organizável possui duas camadas: a camada de entrada e a camada auto-organizável (Figura 4.10).

1

W

1

n

a₁

Figura 4.10 – Diagrama de Blocos de um Mapa Auto-Organizável (Rede de Kohonen).

Nesta arquitetura de rede, o bloco representado por é responsável por calcular o vetor cujos elementos são o negativo das distâncias entre o vetor de entrada e a matriz de peso . A função de transferência competitiva da rede (bloco ) recebe um vetor de entrada para uma camada e devolve como saída do neurônio para todos os neurônios exceto para o vencedor, o neurônio associado com o elemento mais positivo da entrada . A saída do vencedor é (The Math Works, 1994-2006).

O SOM (Self Organizing Map) pode aprender a detectar regularidades e correlações em suas entradas e adaptar suas respostas às futuras entradas adequadamente. Os neurônios do SOM aprendem a reconhecer grupos de vetores de entrada similares de tal modo que neurônios fisicamente próximos na camada auto-organizável respondem a vetores de entrada similares (The Math Works, 1994-2006).

O principal objetivo de um mapa auto-organizável é transformar um padrão de sinal incidente de dimensão arbitrária em um mapa discreto uni ou bidimensional e realizar esta transformação adaptativamente de uma maneira topologicamente ordenada (Haykin, 2001).

A Figura 4.11 introduzida por Kohonen, não pretende explicar detalhes neurobiológicos. O modelo captura as características essenciais dos mapas computacionais do cérebro e ainda se mantém tratável do ponto de vista computacional (Haykin, 2001).

Figura 4.11 – Mapas Auto-Organizados de Característica (Modelo de Kohonen) (Adaptada de Haykin, 2001).

O modelo de Kohonen pertence à classe de algoritmos de codificação vetorial (Kohonen, 1990a). O modelo produz um mapeamento topológico que localiza otimamente um número fixo de vetores em um espaço de entrada de dimensionalidade mais elevada, e desse modo facilita a compreensão de dados. O modelo de Kohonen pode, portanto, ser derivado de dois modos: a abordagem tradicional que utiliza as idéias básicas da auto- organização; e a abordagem de quantização vetorial que usa um modelo envolvendo um codificador e um decodificador (Haykin, 2001). Neste trabalho a abordagem utilizada é a abordagem tradicional.

O algoritmo responsável pela formação do SOM começa primeiramente inicializando os pesos sinápticos da grade. Isto pode ser feito atribuindo-lhes valores pequenos tomados de um gerador de números aleatórios, desta forma, nenhuma organização prévia é imposta ao mapa de características. Uma vez que a grade tenha sido apropriadamente inicializada, há três processos essenciais envolvidos na formação do mapa auto-organizável: competição, cooperação e adaptação sináptica (Haykin, 2001).

• Competição: para cada padrão de entrada, os neurônios da grade calculam seus respectivos valores de uma função discriminante. Esta função discriminante fornece a base para a competição entre os neurônios. O neurônio particular com maior valor da função discriminante é declarado vencedor da competição.

• Cooperação: o neurônio vencedor determina a localização espacial de uma vizinhança topológica de neurônios excitados, fornecendo assim a base para a cooperação entre os neurônios vizinhos.

• Adaptação Sináptica: este último mecanismo permite que os neurônios excitados aumentem seus valores individuais da função discriminante em relação ao padrão de entrada através de ajustes adequados aplicados aos seus pesos sinápticos. Os ajustes feitos são tais que a resposta do neurônio vencedor à aplicação subseqüente de um padrão de entrada similar é melhorada.

Na seqüência são apresentadas descrições detalhadas dos processos de competição, cooperação e adaptação sináptica.

4.4.1.1 O Processo Competitivo

Considerando que respresenta a dimensão do espaço de entrada e que um padrão (vetor) de entrada selecionado aleatoriamente do espaço de entrada seja representado pela Equação 4.47.

, , … , 4.47

O vetor peso sináptico de cada neurônio da grade tem a mesma dimensão que o espaço de entrada. Considerando que o vetor peso sináptico do neurônio seja representado pela Equação 4.48.

, , … , , 1, 2, … , . 4.48

Onde: : é o número total de neurônios na grade.

Para encontrar o melhor casamento do vetor de entrada com os vetores de pesos sinápticos , compara-se os produtos internos para , , … , e seleciona-se o maior. Assim, selecionando o neurônio com maior produto interno , tem-se de fato determinado a localização onde a vizinhança topológica dos neurônios excitados deve ser centrada (Haykin, 2001). A Figura 4.12 mostra o diagrama de funcionamento do mapa auto- organizável. Nesta figura (Figura 4.12) pode observar a etapa competitiva na formação do mapa auto-organizável.

y

m x

M

M

∑

J x 1 J x 1

M

M

∑

M

n j

W

1

x

2

x

m

x

1

x

2

x

m

x

1

=

j

1 j

w

x

1

.w

j1 2 j

w

x

2

.w

j2 jm

w

jm m

w

x

_.

11

=

j

1 j

w

x

1

.w

j1 2 j

w

x

2

.w

j2 jm

w

jm

m

w

x .

11

n

n

=[n

₁

n

₂

...

n

₁₁

]

M

1

n

)

(⋅

h

Figura 4.12 – Diagrama de Funcionamento do Mapa Auto-Organizável.

O critério do melhor casamento, baseado na maximização do produto interno , é matematicamente equivalente a minimizar a distância euclidiana entre os vetores e . Se for usado o índice para identificar o neurônio que melhor casa com o vetor de entrada , pode-se então determinar aplicando a condição que resume a essência do processo competitivo entre os neurônios (Haykin, 2001).

O neurônio particular que satisfaz a condição mostrada através da Equação 4.49 é chamado de neurônio vencedor para o vetor de entrada .

arg , 1, 2, … , . 4.49

A Equação 4.49 leva a seguinte observação (Haykin, 2001): Um espaço contínuo de

entrada de padrões de ativação é mapeado para um espaço discreto de saída de neurônios por um processo de competição entre os neurônios entre os neurônios da grade.

Dependendo da aplicação, a resposta da grade pode ser tanto o índice do neurônio vencedor, isto é, sua posição na grade, como o vetor de peso sináptico que está mais próximo do vetor de entrada em um sentido euclidiano (Haykin, 2001).

4.4.1.2 O processo Cooperativo

O neurônio vencedor localiza o centro de uma vizinhança topológica de neurônios cooperativos. Em particular, um neurônio que está disparando tende a excitar mais fortemente os neurônios na sua vizinhança imediata que aqueles distantes dele, o que é intuitivamente razoável. Considerando que _, represente a vizinhança topológica centrada no neurônio vencedor e que contenha um conjunto de neurônios excitados (cooperativos), sendo um neurônio típico deste conjunto representado por . Considerando também que _, represente a distância lateral entre o neurônio vencedor e o número excitado . Então pode-se assumir que a vizinhança topológica _, é uma função unimodal da distância _,, desde que ela satisfaça duas exigências distintas (Haykin, 2001):

• A vizinhança topológica _, é simétrica em relação ao ponto máximo definido por

, ; ou seja, ela alcança seu valor máximo no neurônio vencedor para o qual a

distância _, é zero.

• A amplitude da vizinhança topológica _, decresce monotonamente com o aumento da distância lateral _, , decaindo a zero para _, ∞ ; esta é uma condição necessária para a convergência.

Uma escolha típica de _, que satisfaz estas exigências é a função gaussiana da Equação 4.50 (Haykin, 2001):

, ₂ , 4.50

A função gaussiana (Equação 4.50) é invariante à translação, isto é, independente da localização do neurônio vencedor. O parâmetro é a “largura efetiva” da vizinhança topológica. Este parâmetro mede o grau com o qual neurônios excitados na vizinhança do neurônio vencedor participam do processo de aprendizagem. Em um sentido qualitativo, a vizinhança topológica gaussiana da Equação 4.50 é mais biologicamente apropriada que uma vizinhança retangular. Seu uso também faz com que o algoritmo SOM convirja mais rapidamente que com uma vizinhança topológica retangular (Haykin, 2001).

Para que a cooperação entre neurônios vizinhos se mantenha, é necessário que a vizinhança topológica _, seja dependente da distância lateral _, , entre o neurônio vencedor o e neurônio excitado no espaço de saída em vez de ser dependente de

alguma medida de distância no espaço de entrada original. Isto é precisamente o que se tem na Equação 4.50. No caso de uma grade unidimensional, _, é um inteiro igual a | |. Por outro lado, no caso de uma grade bidimensional ela é definida pela Equação 4.51 (Haykin, 2001).

, 4.51

O vetor discreto define a posição do neurônio excitado e define a posição discreta do neurônio vencedor , sendo ambos medidos no espaço de saída discreto.

Uma característica única do algoritmo SOM é que o tamanho da vizinhança topológica diminui com o tempo. Esta exigência é satisfeita fazendo-se com que a largura da função de vizinhança topológica _, diminua com o tempo. Uma escolha popular para a dependência de com o tempo discreto é o decaimento exponencial descrito pela Equação 4.52 (Haykin, 2001).

, 0, 1, 2, … 4.52

Onde: : é o valor de na inicialização do algoritmo SOM.

: é uma constante de tempo.

Conseqüentemente, a vizinhança topológica assume uma forma variável no tempo, como mostrado na Equação 4.53.

, ₂ , , 0, 1, 2, … 4.53

Onde: : é definido pela Equação 4.52.

Assim, quando o tempo aumenta, isto é o número de iterações, a largura decresce a uma taxa exponencial e a vizinhança topológica diminui de uma maneira correspondente.

Outro modo de ver a variação da função de vizinhança ( _, ) em torno de um neurônio vencedor é como segue (Haykin, 2001). O propósito de um _, largo é essencialmente correlacionar as direções das atualizações dos pesos de um grande número de neurônios excitados da grade. Quando a largura de _, é diminuída, também diminui o número de neurônios cujas direções de atualização são correlacionadas. Este

fenômeno se torna particularmente óbvio quando o treinamento de um mapa auto- organizável é executado em uma tela de computador.

4.4.1.3 O Processo Adaptativo

Este é o último processo, o processo adaptativo sináptico, na formação auto- organizada de um mapa de características. Para que a grade seja auto-organizável, é necessário que o vetor de peso sináptico do neurônio da grade se modifique em relação ao vetor de entrada .

No postulado de aprendizagem de Hebb, um peso sináptico é aumentado com uma ocorrência simultânea de atividades pré-sináptica e pós-sináptica. O uso de tal regra é muito adequado para aprendizagem associativa. Entretanto, para o tipo de aprendizagem não supervisionada considerando a hipótese hebbiana na sua forma básica não é satisfatória pelas seguintes razões: as modificações das conectividades ocorrem apenas em uma direção, o que leva no final todos os pesos à saturação. Para superar este problema, modifica-se a hipótese hebbiana incluindo um termo de esquecimento – , onde é o vetor peso sináptico do neurônio e é uma função escalar positiva da resposta (Haykin, 2001). A única exigência imposta à função é que o termo constante da expansão em série de Taylor de seja zero, de modo que se pode escrever a Equação 4.54.

0 0 4.54

Dada esta função, pode-se então expressar a modificação do vetor de peso do neurônio da grade de acordo com a Equação 4.55.

∆ 4.55

Onde: : é o parâmetro da taxa de aprendizagem do algoritmo.

O primeiro termo do lado direito da Equação 4.55 é o termo hebbiano e o segundo termo é o termo de esquecimento. Para satisfazer a exigência da Equação 4.54, escolheu- se uma função linear para , como mostrado na Equação 4.56 (Haykin, 2001).

4.56 Fazendo _, e simplificando a Equação 4.55 obtém a Equação 4.57:

Finalmente, usando o formalismo de tempo discreto, dado o vetor peso sináptico do neurônio no tempo , o vetor de peso atualizado no tempo é definido pela Equação 4.58 (Kohonen, 1990a).

1 _, 4.58

O vetor de peso atualizado é aplicado a todos os neurônios da grade que se encontram dentro da vizinhança topológica do neurônio vencedor . A Equação 4.58 tem o efeito de mover o vetor peso sináptico do neurônio vencedor em direção ao vetor de entrada . Através da apresentação repetida dos dados de treinamento, os vetores de peso sináptico tendem a seguir a distribuição dos vetores de entrada devido à atualização da vizinhança. O algoritmo, portanto, leva a uma ordenação topológica do mapa de características no espaço de entrada no sentido de que neurônios que são adjacentes na grade tenderão a ter vetores de peso sináptico similares (Haykin, 2001).

O parâmetro da taxa de aprendizagem deve ser variável no tempo como indicado na Equação 4.58. Em particular, ele deve começar em um valor inicial e então decrescer gradualmente com o aumento do tempo . Esta exigência pode ser satisfeita escolhendo-se um decaimento exponencial para , como mostrado na Equação 4.59 (Haykin, 2001).

, 0, 1, 2, … 4.59

Onde: : é uma constante de tempo do algoritmo SOM.

Apesar de as fórmulas de decaimento exponencial descritas nas Equações 4.52 e 4.59 para a largura da função de vizinhança e o parâmetro da taxa de aprendizagem, respectivamente, poderem não ser ótimas, elas são normalmente adequadas para a formação do mapa de características de uma maneira auto-organizada (Haykin, 2001).

4.4.1.3.1 As Duas Fases do Processo Adaptativo: Ordenação e Convergência

Começando de um estado inicial de desordem completa, é surpreendente como o algoritmo SOM gradualmente leva a uma representação organizada de padrões de ativação retirados do espaço entrada, desde que os parâmetros do algoritmo sejam selecionados adequadamente. Pode-se decompor a adaptação dos pesos sinápticos da grade, calculada de acordo com a Equação 4.58, em duas fases: uma fase de ordenação ou de auto- organização seguida por uma fase de convergência (Haykin, 2001). Estas duas fases do processo adaptativo são descritas na seqüência.

1. Fase de Auto-Organização ou de Ordenação: É durante esta primeira fase do processo adaptativo que ocorre a ordenação topológica dos vetores de peso. A fase de ordenação pode exigir 1000 iterações do algoritmo SOM, e possivelmente até mais. Devem-se levar em conta considerações cuidadosas sobre a escolha do parâmetro de aprendizagem e da função de vizinhança:

• O parâmetro da taxa de aprendizagem deve iniciar com um valor próximo a 0,1; depois, ele deve decrescer gradualmente, mas permanece acima de 0,01. Estes valores desejáveis são satisfeitos pelas seguintes escolhas (

, ) na fórmula da Equação 4.59.

• A função de vizinhança , deve inicialmente incluir quase todos os neurônios

da grade centrados no neurônio vencedor , e então diminuir lentamente com o tempo. Especificamente, durante a fase de ordenação, que pode exigir 1000 iterações ou mais, permite-se que _, se reduza a um valor pequeno de apenas um par de neurônios vizinhos em torno do neurônio vencedor ou ao próprio neurônio vencedor.

2. Fase de Convergência: Esta segunda fase do processo adaptativo é necessária para realizar uma sintonia fina do mapa de características e assim produzir uma quantização estatística precisa do espaço de entrada. Como regra geral, o número de iterações que constituem a fase de convergência deve ser no mínimo 500 vezes o número de neurônios a grade. Assim, a fase de convergência pode durar milhares ou dezenas de milhares de iterações:

• Para uma boa precisão estatística, o parâmetro da taxa de aprendizagem deve ser mantido durante a fase de convergência em um valor pequeno, da ordem de 0,01.

• A função de vizinhança , deve conter apenas os vizinhos mais próximos de

um neurônio vencedor, que pode eventualmente se reduzir a um ou a zero neurônios vizinhos.

No documento UNIVERSIDADE FEDERAL DO PARÁ INSTITUTO DE TECNOLOGIA PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA (páginas 73-81)