Classicador Baseado na Rede Auto-Organizável de Kohonen

Na rede neural Auto-Organizável de Kohonen (Self-Organizing Map, SOM), proposto por Kohonen (KOHONEN, 2001), durante a fase de treinamento o neurônio vencedor e

os neurônios em sua vizinhança (conjunto de neurônios que estão em torno do neurônio vencedor i∗_{(t)) têm seus vetores de pesos w}

i∗(t) atualizados em resposta a um dado

vetor de entrada x(t). Os neurônios para esta rede estão dispostos em uma grade xa, bi-dimensional, de modo que se possa denir uma relação de vizinhança espacial entre neurônios desta grade. O treinamento da rede SOM é resumido a seguir

1. seleção aleatória de um exemplo de treinamento x(t) como vetor de entrada atual. 2. busca pelo neurônio vencedor i∗_{(t) para o vetor de entrada x(t), dado por}

i∗_{(t) = arg min}

∀i {kx(t) − wi(t)k}. (3.41)

3. atualização do vetor de pesos do neurônio vencedor w∗

i(t) pela equação

wi(t + 1) = wi(t) + η(t)h(i∗, i; t)[x(t) − wi(t)], (3.42) em que 0 < η < 1 denota o passo de aprendizagem, h(i∗_{, i; t) a função de vizinhança,} geralmente do tipo gaussiana, ou seja,

h(i∗_{, i; t) = exp} µ −kri(t) − ri∗(t)k 2 ϑ2_(t) ¶ , (3.43)

tal que ϑ(t) dene o raio de inuência da função de vizinhança, enquanto ri(t) e ri∗(t)

são, respectivamente, as posições dos neurônios i e i∗ _{no arranjo geométrico da rede.} A função de vizinhança funciona como uma espécie de janela de ponderação, fazendo com que os neurônios mais próximos do neurônio vencedor atual, tenham seus vetores de pesos atualizados mais intensamente do que aqueles neurônios que estão mais distantes do neurônio vencedor. O neurônio vencedor tem seus pesos reajustados com maior inten- sidade, visto que para ele tem-se h(i∗_{, i; t) = 1. Para todos os outros neurônios, tem-se} h(i∗_{, i; t) < 1.}

Em geral, os valores iniciais dos pesos são atribuídos de forma aleatória e equiprovável dentro do intervalo [0, 1]. Alternativamente, os vetores de pesos iniciais podem ser sele- cionados a partir do próprio conjunto de vetores de treinamento.

A m de aumentar a probabilidade de convergência do algoritmo para um mínimo global, é comum fazer com que o passo de aprendizagem decresça com o tempo. A rede competitiva adotada nesta dissertação, utiliza-se um decaimento exponencial dado por

η(t) = η0 µ ηT η0 ¶(t/T ) , (3.44)

tal que η0 e ηT (ηT ≪ η0) são os valores inicial e nal de η. A velocidade de decaimento é controlada pelo parâmetro T , que simboliza o número máximo de iterações de treina- mento. E ainda, por questões de convergência e estabilização do aprendizado, a função de vizinhança deve decrescer no tempo, ou seja, o raio de inuência ϑ(t) decai com o

Figura 3.4: projeção implementada pela rede SOM.

decorrer do treinamento de modo semelhante à Equação (3.44) ϑ(t) = ϑ0 µ ϑT ϑ0 ¶(t/T ) , (3.45)

tal que ϑ0 e ϑT (ϑT ≪ ϑ0) são os valores inicial e nal de ϑ. Em suma, a equação (3.45) faz com que a vizinhança diminua com o passar das iterações de treinamento.

É importante enfatizar que se os neurônios da rede SOM estão dispostos em uma grade bidimensional, tem-se que ri(t) ∈ R2, ou seja, a posição de um neurônio i na grade é dada pelas coordenadas (xi, yi) em relação a uma origem pré-xada. Neste caso, um neurônio pode ter vizinhos à esquerda, à direita, acima, abaixo e diagonalmente.

Em razão de sua arquitetura peculiar e de seu algoritmo de treinamento, a rede SOM implementa uma projeção não-linear Φ do espaço de entrada contínuo χ ⊂ Rn (espaço dos dados), em um espaço de saída discreto A conforme mostrado na Figura 3.4, representado pelo espaço das coordenadas dos neurônios na grade, tal que dim(A) ≪ n. Matematicamente, esta projeção pode ser simbolizada por

Φ:χ→A. (3.46)

A rede SOM tem tido grande utilização em aplicações de mineração de dados e reco- nhecimento de padrões. Grande parte do seu sucesso se deve à combinação de dois princí- pios essenciais de auto-organização de sistemas (VON DER MALSBURG, 2003): competição entre neurônios por recursos limitados, implementada pela Equação (3.41); e cooperação,

implementada pela função vizinhança. O resultado da atuação destes dois princípios na rede SOM é uma projeção Φ que preserva relações de proximidade espacial entre os dados de entrada, ou seja, o mapeamento preserva a topologia do espaço de entrada no espaço de saída (HAYKIN, 1999), conforme ilustrado na Figura 3.4, na qual dim(χ) = n = 2

e dim(A) = 1, os pontos pretos correspondem às coordenadas dos vetores de pesos do i-ésimo neurônio. Neurônios que são vizinhos estão conectados por linhas tracejadas.

Pode-se expressar a propriedade de preservação de topologia da rede SOM da seguinte forma: sejam x1 e x2 dois vetores no espaço de entrada χ, ri∗

1 e ri∗2 as coordenadas dos

neurônios vencedores para x1 e x2, respectivamente. Diz-se que a rede SOM, corretamente treinada, preserva a topologia do espaço de entrada se a seguinte relação for observada

kx1− x2k → 0 ⇒ kri∗

1 − ri∗2k → 0 (3.47)

ou seja, se quaisquer dois vetores estão sicamente próximos no espaço de entrada, en- tão eles terão neurônios vencedores espacialmente próximos na rede (HERTZ; KROGH; PALMER, 1991).

Devido à propriedade de preservação de topologia, a rede SOM é capaz de construir uma aproximação do espaço de entrada, ou seja, ela constrói uma aproximação discreta do espaço de entrada, na qual cada neurônio da rede representa uma determinada região do espaço de entrada que dene sua região de atração ou campo receptivo. Esta região é conhecida também como célula de Voronoi. Assim, uma das principais aplicações da rede SOM é a categorização de dados não-rotulados em agrupamentos e sua posterior utilização na classicação de vetores de características que não estavam presentes durante o treinamento.

A propriedade de preservação de topologia permite à rede SOM fazer uma estimação pontual da função densidade de probabilidade, o que signica que o mapeamento da rede SOM reete variações na estatística do espaço de entrada, ou seja, regiões no espaço de entrada χ nas quais as observações x têm uma alta probabilidade de ocorrência, são povoadas com um maior número de neurônios, possuindo, conseqüentemente, uma me- lhor resolução do que regiões em χ nas quais as observações x são retiradas com baixa probabilidade de ocorrência.

3.4.2.1 Rede SOM em classicação de padrões

A rede neural SOM por apresentar um aprendizado não-supervisionada, geralmente não é utilizada para classicação de padrões mas essencialmente para descoberta de agru-

pamentos em dados. Neste trabalho, é implementada uma adaptação no algoritmo para possibilitar a utilização desta rede para ns de classicações de padrões.

Em tarefas de classicação, após a rede SOM treinada, uma estratégia possível a ser seguida é descrita: uma associação para cada padrão de treinamento e o seu respectivo protótipo (vencedor) é realizado, ao nal deste processo estão associados k padrões a um determinado protótipo, em seguida atribui-se ao protótipo a classe com mais ocorrências dentre os k padrões associados. Quando um novo padrão é apresentado, a rede verica qual o protótipo vencedor e atribui a esta amostra o rótulo determinado ao seu respectivo neurônio vencedor. Um problema desta estratégia é que pode ser que um novo padrão seja atribuído a um protótipo que não esteja associado a nenhuma amostra. Este contornado problema pode ser através da vericação dos rótulos dos protótipos em seus vizinhos e atribuir a nova amostra, apresentada a rede, a classe de maior ocorrência dentre esses protótipos vizinhos.

Uma outra estratégia que leva também em consideração informação global, não apenas do agrupamento, é descrita. A rotulação de agrupamentos para um cluster homogêneo (contendo apenas amostras de uma classe) continua da mesma forma, como descrita no parágrafo anterior, porém com agrupamentos heterogêneos, a rotulação é dada de uma forma diferente, para isso algumas denições devem ser apresentadas:

1. tendo X representando o número de amostras do tipo X no cluster i, e Xtotal sendo o número total de amostras de rótulo X no conjunto de treinamento, então a probabilidade de uma amostra do tipo X ser mapeada para um agrupamento i é dada por Xi/Xtotal;

2. sendo Ni o número total de registros no agrupamento i, a probabilidade de uma amostra mapeada para um agrupamento i pertencer a um tipo X é dado por Xi/Ni; 3. uma denição para um fator de preferência para um rótulo X como a relação entre a probabilidade de uma amostra do tipo X ser mapeada para um agrupamento i e a probabilidade de uma amostra mapeada para um cluster i pertencer a um tipo X, é dada por

Fi(x) = (Xi/Xtotal) (Xi/Ni) , (3.48) tendo W = {w1, w2, ..., wr} representando o conjunto de rótulos que identicam todos as amostras mapeadas para o neurônio i, a denição para o rótulo de i é L(i) = w, em que Fi(w) = maxFi(x), e L(i) representa o rótulo do agrupamento i.