Topologia das Redes Neurais

A topologia de uma RNA é um parâmetro importante na sua concepção, pois define o tipo de problema que pode ser tratado pela rede. Uma RNA pode ser representada por um grafo di- recionado (dígrafo), em que aos vértices associam-se os subsistemas componentes (elementos de processamento) e aos arcos, associam-se as conexões entre os subsistemas. As mais interessantes potencialidades das redes neurais não são factíveis a um único neurônio. É necessário um conjunto de neurônios convenientemente agrupados (estrutura da rede neural) e conectado por meio de pe- sos sinápticos (conhecimento, memória) para que tais potencialidades possam ser empregadas. A decisão de como conectar os neurônios é uma das tarefas mais árduas na modelagem de uma rede neural. Os modelos de redes neurais empregados na resolução dos problemas mais diversos apresentam algumas estruturas básicas e outras particulares que desempenham funções especificas no processamento neural. Considerando as estruturas básicas, estas são estabelecidas através de conexões entre os neurônios e o arranjo entre as camadas de neurônios da rede

Os neurônios podem se conectar de maneira ascendente (acíclico) ou descendente (cíclico). A principal diferença entre essas duas formas de conexão está na ausência de realimentação da rede na primeira, ou seja, não há a presença de ciclos. Na conexão ascendente, os neurônios são conec- tados a outros responsáveis por desempenhar uma tarefa em uma etapa posterior do processamento (rede direta). Dessa forma o sinal da rede é propagado de maneira direta até a camada de saída. Enquanto que na conexão descendente os neurônios são conectados a outros que executam uma etapa anterior (rede recorrente), como por exemplo, na realimentação da rede pelos sinais de saída para a recuperação de memória armazenada. A seguir são citados alguns modelos de redes neurais e suas respectivas topologias. As Figuras 2.3(a) e 2.3(b) mostram uma rede neural genérica direta e recursiva, respectivamente.

O modelo Perceptron proposto por (Rosemblatt, 1958) pode ser considerado uma rede simples constituída por uma única camada com um neurônio. A entrada do neurônio equivale à entrada da rede assim como a saída do neurônio equivale à saída da rede. Além dos estímulos externos, o perceptron recebe como entrada outro fator denominado bias. Este fator determina como o me- canismo de aprendizagem explora o espaço de busca dos parâmetros do neurônio ou da rede. A topologia de um perceptron pode ser observada na Figura 2.3(c). O modelo MLP de Rumelhart, Hinton e Willians (Rumelhart et al., 1986), para sanar as limitações do perceptron, é composto por vários neurônios distribuídos em três tipos de camadas distintas: entrada - camada que re- cebe estímulos externos; intermediária (ou oculta) - camada que recebe como entrada o sinal de saída dos neurônios da camada anterior, podendo ser a camada de entrada ou outra camada inter- mediária; saída - camada que recebe como entrada o sinal de saída dos neurônios da última camada intermediária e gera a saída da rede. No modelo MLP, o sinal da rede propaga de forma ascen-

dente, todos os neurônios de uma camada são conectados a todos os neurônios da camada seguinte. A rede de Hopfield (Hopfield, 1982) é constituída por uma quantidade determinada de neurônios em que cada neurônio está conectado com todos os demais. O modelo de Hopfield é um modelo matricial não-linear recorrente, ou seja, as saídas estão conectadas às entradas por um atraso de tempo. Por esse motivo, este modelo é uma rede fortemente conectada. Hopfield introduziu um valor de energia em seu modelo, associado a cada estado da rede. Esta energia obedece uma função decrescente à medida que se estabelece um histórico da trajetória no espaço de estados em direção a pontos fixos (pontos estáveis com energia mínima) determinados no processo de treinamento. A dinâmica da rede é conduzida pela criação dos pontos fixos e uma regra de atualização que constituem o armazenamento e a recuperação de informação. Também conhecido como mapas de Kohonen, o modelo de Kohonen (Kohonen, 1982) apresenta uma topologia composta por uma malha de neurônios disposta em um plano na qual cada neurônio está conectado com os neurônios vizinhos (adjacentes). Pode ser considerado que o modelo de Kohonen (Kohonen, 1982) constitui de somente uma única camada em que todos os neurônios recebem estímulos externos, e a saída da rede corresponde à saída do neurônio vencedor. O neurônio vencedor é definido como sendo o neurônio que possui a maior similaridade entre o padrão dos pesos sinápticos e o padrão de en- trada. As Figuras 2.3(d) e 2.3(e) ilustram a topologia das redes neurais citadas anteriormente.

Independente do modelo de rede neural, o mecanismo de como os sinais de entradas são proces- sados no soma do neurônio é similar. O processamento neural ocorre quando o neurônio recebe estímulos externos (vetor x), e juntamente com o vetor de pesos sinápticos w, é aplicada uma função que mede a similaridade entre os vetores. Uma medida de similaridade bastante utilizada é o produto interno entre os vetores x e w mostrada na Figura 2.2. Após a comparação dos vetores, a saída y do neurônio é obtida através da aplicação de uma função de ativação f(.) ao resultado da comparação dos vetores. A função de ativação realiza o processamento dos sinais recebidos por cada neurônio e o transforma em um estado de ativação neural. A função de ativação funciona através da aplicação de funções matemáticas gerando um valor denominado de valor de ativação. Tal valor, normalmente dentro do intervalo [0,1], é propagado através das conexões sinápticas até os neurônios de saída indicando com que grau de ativação de cada neurônio dispare. Uma maneira utilizada pra determinar se o disparo do neurônio é significativo, é estabelecer um limiar (thresh- old) de ativação que deve ser excedido pela função de ativação. Quatro funções de ativação são definidas a seguir. A Figura 2.4 mostra graficamente quatro funções de ativação: função linear, função rampa, função degrau e função sigmoidal.

A função linear, definida pela equação 2.1, é especificada por um valor constante que combina com a entrada do neurônio. Limitando a função linear em um intervalo especificado, os valores da função linear para qualquer entrada pertencente ao universo de discurso que excedem tanto o limite inferior quanto o superior são redefinidos por valores constantes. A restrição da linear é denomi-

(a) (b)

(c)

(d) (e)

Figura 2.3: Topologias de Redes Neurais Artificiais (a) Rede Direta; (b) Rede Recorrente; (c) Topologia de um Perceptron; (d) Modelo de Rummelhart; (e) Modelo de Hopfield

nada de função rampa definida na equação 2.2. A função degrau (equação 2.3) assume valores constante para uma entrada menor que um limiar definido e outro valor constante quando a entrada é maior que esse limiar. A função sigmoidal é limitada e monotônica, definida pela equação 2.4.

f (x) = αx (2.1) f (x) =      0, se x < 0 x, se 0 < x < 1 1, se x ≥ 1 (2.2) f (x) = ( 0, se x ≤ 0 1, se x > 0 (2.3) f (x) = 1 (1 + e−βx₎ (2.4)

em que α é um valor real que define a saída linear para os valores de entrada, β determine a suavidade da curva da função sigmoidal e x é a entrada para as funções de ativação.

(a) (b)

(c) (d)

Figura 2.4: Funções de ativação não-lineares (a) função linear; (b) função rampa; (c) função degrau; (d) função sigmoidal