Mapas Auto-organizáveis de KOHONEN (SOM)

Inspirados no córtex cerebral humano, os mapas auto-organizáveis consistem em uma rede neural que gera como saída representações bidimensionais (mapas) de banco de dados de alta dimensionalidade. Estes foram desenvolvidos por Teuvo Kohonen (KOHONEN, 1995; KOHONEN, 2001; KOHONEN, 2013), e podem analisar dados por agrupamentos com o intuito de descobrir estruturas e padrões multidimensionais. Além disso, pode ser considerada uma rede neural com aprendizado não supervisionado e competitivo (Figura 07), pois não necessita de um vetor de saída conhecido como vetor alvo (o supervisor) (MESQUITA, 2002).

Figura 7- Redes Neurais com Aprendizado Supervisionado (a) e Não-Supervisionado (b).

Fonte: http://slideplayer.com.br/slide/45785/

No começo da década de 1980, estes mapas foram consolidados como redes neurais por Kohonen (KOHONEN, 1995). Os mapas auto-organizáveis podem ser definidos como sendo redes neurais competitivas com um alto grau de interconexão entre seus neurônios e que são aptas a formar mapeamentos preservando a topologia entre os espaços de entrada e saída. Podem ser aplicados para problemas não lineares de alta dimensionalidade, tais como: extração de características e classificação de imagens e padrões acústicos, controle adaptativo de robôs, equalização, demodulação e transmissão de sinais assim como em aplicações nas áreas de estatística, processamento de sinais, química e medicina (AFFONSO, 2011).

Apesar da bastante ampla literatura existente sobre os métodos RNA, em especial Multilayer Perceptron (MLP), ou Rede de Multicamadas, (MAIER e DANDY, 2000; ASCE, 2000a, b; DAWSON e WILBY, 2001; WU e LO, 2008; SINGH et al. 2009; VILAS et al., 2011), é importante ressaltar que há uma carência de ampla revisão da literatura sobre a eficiência de técnicas de aprendizagem não supervisionada.

Em geral, o algoritmo SOM agrupa as amostras ou padrões pré-definidos em classes e também ordena as classes em mapas significativos (topologia de preservação ou propriedade de ordenação). A sua estrutura típica consiste de duas camadas: uma camada de entrada e uma camada de saída ou de Kohonen (Figura 8). A camada de entrada contém um neurônio para cada variável (por exemplo, DBo, DQo, etc.) no conjunto de dados. As camadas de neurônios de Kohonen são conectadas a cada neurônio na camada de entrada através de pesos ajustáveis ou parâmetros de rede. Os vetores de peso na camada de Kohonen dão uma representação da distribuição dos vetores de entrada de uma forma ordenada (NEPOMUCENO, 2006; KALTEH; HJORTH; BERNDTSSON, 2008).

Figura 8 - Exemplificação de uma estrutura de

uma 5 x 5 mapa de auto-organização bidimensional (SOM).

Fonte: Adaptada de Kalteh; Hjorth; Berndtsson (2008).

Segundo Kalteh, Hjorth, e Berndtsson (2008), para aplicar sucessivas SOM são necessárias três importantes etapas:

1) A coleta de dados e normalização: a parte mais importante na normalização é para evitar que variáveis tenham maior impacto em relação a outras variáveis. Consequentemente, a normalização, por transformação de todas as variáveis na gama de, por exemplo, 0 e 1, garante que todas as variáveis têm igual importância na formação da SOM.

2) Formação: após a preparação de dados e normalização, um vetor de entrada a partir da matriz de dados é apresentado ao procedimento de treinamento interativo para formar a SOM. Recomenda-se que o número de iterações deve ser, pelo menos, 500 vezes o

número de neurônios na camada de saída (HAYKIN, 1999; KOHONEN, 2001). No início do treinamento, vetores de pesos devem ser inicializados usando qualquer um ao acaso ou um método de inicialização linear. Os vetores de peso são também chamados de referência ou vetores da tabela de codificação. Inicialização aleatória de vetores de peso é o método mais comumente usado. Independentemente do tipo de método de inicialização que é aplicado, o SOM utiliza um tipo de aprendizagem que é chamado de aprendizado competitivo, sem supervisão, ou de auto-organização para combinar com cada vetor de entrada com um neurônio na SOM. Com base no aprendizado competitivo, os neurônios de saída desta rede competem entre si para serem ativados com o resultado de que apenas um neurônio de saída (ou um neurônio por grupo) será ativado em cada iteração. Um neurônio de saída que vence tal competição é chamado neurônio vencedor (winner-takes- all neuron). Uma maneira de induzir tal tipo de competição entre os neurônios de saída é usar conexões inibitórias laterais entre eles (ou seja, caminhos de realimentação negativa), ideia originalmente proposta por Rosenblatt em 1958.

3) Colhendo informações da SOM treinada: uma vez que o treinamento da SOM foi realizado o mapa resultante pode ser pós-processado com base em visualização, armazenamento em cluster ou fins de modelagem locais. Esta questão foi exaustivamente investigada por Vesanto (2002). Como mencionado acima, o SOM é um algoritmo de agrupamento supervisionado. Um exemplo de agrupamento SOM é mostrado na Figura 9.

Figura 9 - O diagrama de um grupo de dois níveis do SOM. Diferentes símbolos

representam diferentes grupos.

Fonte: Adaptado de WU e CHOW (2004).

2.3.3.1 Treinamento da rede SOM

Os neurônios em uma rede SOM são posteriormente ordenados e apresentados em gráficos gradeados (treliça ou lattice), normalmente mono ou bi-dimensionais. Mapas de dimensões maiores são também possíveis, porem mais raros. Os neurônios se tornam

seletivamente "ajustados" a vários estímulos (padrões de entrada) ou classes de padrões de entrada ao longo de um processo competitivo de aprendizado. A localização destes neurônios (que são os neurônios vencedores) se torna ordenada entre si de tal forma que um sistema de coordenadas significativo é criado na treliça, para diferentes características de entrada (AFFONSO, 2011).

O SOM é, portanto, caracterizado pela formação de um mapa topográfico dos padrões de entrada, no qual as localizações espaciais (ou coordenadas) dos neurônios na treliça são indicativas de características estatísticas (implícitas) contidas nos padrões de entrada (AFFONSO, 2011).

O funcionamento de um SOM pode ser compreendido em etapas distintas, a etapa competitiva na qual se define o neurônio mais adequado (Best Matching Unit), etapa cooperativa e a etapa adaptativa. A escolha da melhor correspondência entre o vetor de entrada e o vetor peso é feita por meio do critério da menor distância (euclidiana) entre o vetor de pesos por ela armazenado e o vetor de entrada, matematicamente expresso pela Equação 4.

( ) , j= 1, 2, ...n (4) Na qual: i(x) é a representação do neurônio da entrada x, e wj é o vetor peso.

Entre as funções de distâncias utilizadas para quantificar a “semelhança entre os vetores da rede” e, portanto o quanto eles se aproximam do vetor de dados apresentado, uma das mais empregadas é a Distância Euclideana (DE), definida pela Equação 5.

√( ) ( ) ( ) (5) Em que: Xn são as coordenadas dos vetores de entrada e yn são as coordenadas dos vetores- protótipo (pesos das redes auto-organizáveis).

Outros tipos de distâncias que podem ser citadas é a similaridade métrica de Minkowski, e distância de Manhattan respectivamente, representadas pelas Equações 6 e 7.

√∑ (6)

Distância métrica de Minkowski, citada como uma generalização da métrica euclidiana em aplicações na área de psicologia.

∑ (7)

Na etapa cooperativa, são definidos os vizinhos dentro de uma distância obtida a partir da BMU (Best Matching Unit) obtida na primeira etapa, competitiva. Sumariamente o processo de treinamento da rede, consiste na otimização da distância entre os neurônios. Na minimização das distâncias é definida a vizinhança topológica por meio da interatividade entre os neurônios (um neurônio ativado tende a excitar os neurônios em sua vizinhança imediata). Cada atribuição de novos valores e distâncias abrangendo toda a rede é chamada de época. Pela repetição da adaptação de pesos (vetores-protótipo) é possível determinar o melhor número de épocas de treinamento para cada matriz, o que constitui a etapa adaptativa. Os neurônios nessa vizinhança são atualizados a cada iteração. Na Figura 10, são ilustradas a formação de vizinhança a partir do neurônio vencedor em topologia hexagonal e retangular.

Figura 10 - Representações das Etapas Competitiva e Cooperativa de treinamento

da SOM.

Fonte: VESANTO, 2002.

2.3.3.2 Algoritmo de aprendizagem e arquitetura de rede SOM

A rede neural é composta por uma camada de entrada e uma camada de neurônios. Os neurônios ou unidades são organizados em uma grade retangular ou hexagonal e são totalmente interligados. Cada um dos vetores de entrada está também ligado a cada uma das unidades. O algoritmo de aprendizagem aplicado à rede pode ser dividido em seis etapas (KOHONEN, 2001; KOHONEN, 2013; Li et al., 2018):

1) Uma matriz m x n é criada do conjunto de dados com m linhas de amostras e n colunas de variáveis. A matriz consiste de m vetores de entrada de comprimento n. A classificação dos vetores de entrada é baseado na medida de similaridade, por exemplo, Distância Euclidiana. A fim de evitar distorções na classificação devido a diferenças em unidade ou faixa de medição das variáveis, uma normalização é feita. Isto pode ser feito através da fixação média igual a zero e variância igual a 1 ou por redimensionando a gama de cada variável no intervalo de [0,1].

2) Cada unidade é atribuído aleatoriamente um peso inicial de referência do vetor ou com um comprimento igual ao comprimento dos vectores de entrada (n)

3) Um vetor de entrada é mostrado para a rede e a distância Euclidiana entre o vetor de entrada X e todos os vetores de referencia Mi são calculados de acordo com:

| | √∑ ( ) (8)

4) A melhor unidade de melhor harmonização Mc é escolhido de acordo com:

| | * + (9)

5) Os pesos da unidade de melhor harmonização e a unidade na sua vizinhança N (t) são adaptados de modo a que os novos vetores de referência encontram-se mais próximo do vetor de entrada (Figura 11). O fator α(t) controla a taxa de variação dos vetores de referência e é denominada de taxa de aprendizagem.

( ) { _{( ) ( )} ( ) ( ), ( ) ( )- ( ) (10)

A taxa de adaptação da unidade é controlada pela função de vizinhança h, o que diminui a partir de um na unidade vencedora a zero em unidades localizadas mais longe do raio r. As funções mais comuns são usados em forma de sino (Gauss) ou quadrado (bolha). 6) O terceiro e quinto passos são repetidos até que um número máximo predefinido de

iterações é alcançado. Durante estas iterações ambos α e N (t) diminuem , forçando a rede a convergir .

Portanto, o algoritmo mapa de auto-organização é uma técnica de rede neural não supervisionada que classifica dados de acordo com a sua semelhança, plotando os dados de alta dimensão em uma grade bidimensional em uma topologia de forma de preservação, de modo que a estrutura do conjunto de dados é processada na visualização (KOHONEN, 1995; KOHONEN, 2001; KOHONEN, 2013; Li et al., 2018). Na Figura 11 é resumido este procedimento.

Figura 11- Procedimento de classificação dos dados na SOM.

A não-linearidade e a complexidade das variáveis envolvidas na qualidade da água levaram muitos investigadores a utilizar modelos de RNAs para simular estas variáveis devido à capacidade de tais modelos de lidar com relações complexas, não-lineares.

A questão da divisão dos dados em treinamento, testes e validação em subconjuntos de desenvolvimento de modelos de RNA foi abordada por Bowden et al. (2002). Este problema é um dos mais importantes no desenvolvimento de modelos de RNA. Ele tem de ser levado a cabo de uma maneira eficiente, devido ao fato de a divisão dos dados em subconjuntos pode ter uma influência significativa sobre o desempenho do modelo de RNA obtido. Como modelos RNA aprendem com exemplos de dados de treinamento, o modelo terá pouca capacidade de generalização, se os dados de treinamento não são representativos do domínio de modelagem. Em seguida, o modelo estará enfrentando exemplos que estão além do conjunto de treinamento. E também, a inclusão de muitos exemplos repetitivos em um conjunto de treinamento só irá retardar o processo de formação. Por conseguinte, existe uma necessidade de um procedimento de princípio para dividir os dados em subconjuntos, em vez de se dividir os dados arbitrariamente em subconjuntos sem levar em conta as propriedades estatísticas, o que é o processo mais comum em aplicações correntes.

O uso de redes neurais artificiais (RNAs) em problemas relacionados com a qualidade de água tem recebido um crescente interesse na última década. O método relacionado do

mapa de auto-organização (SOM) é um método de aprendizagem não supervisionado para analisar, agrupar e modelar vários tipos de grandes bases de dados. No entanto, há ainda uma notável falta de revisão bibliográfica abrangente para a SOM, juntamente com os procedimentos de treinamento e manipulação de dados e potencial aplicabilidade. Consequentemente, o presente trabalho tem por objetivo, em primeiro lugar, explicar o algoritmo e, em segundo lugar, analisar as aplicações publicadas com ênfase nos problemas de qualidade de água, a fim de avaliar a forma como a SOM pode ser utilizada para resolver este problema específico. Conclui-se que a SOM é uma técnica promissora adequada para investigar, modelar e controlar muitos tipos de processos e sistemas e fenomenos.

Métodos de aprendizagem não supervisionados ainda não foram totalmente testados de forma abrangente dentro da engenharia. No entanto, ao longo dos anos, a SOM tem apresentado um aumento constante no número de aplicações em recursos hídricos devido à robustez do método.