Aprendizagem n˜ao supervisionada na qual a sa´ıda ´e resultado dos n´os treinados para responder a um padr˜ao de clusters existente dentro das entradas. Nesse paradigma, o sistema pode descobrir estatisticamente caracter´ısticas na popula¸c˜ao de entradas. Diferente do aprendizado supervisionado, n˜ao existe um conjunto de categorias nos quais os padr˜oes podem ser classificados; o sistema precisa desenvolver sua pr´opria representa¸c˜ao dos est´ımulos de entrada.
3.3.7
Modificando parˆametros de conectividade
Ambos os paradigmas discutidos acima resultam em um ajuste de pesos das conex˜oes entre os n´os, de acordo com alguma regra de modifica¸c˜ao. Virtualmente todas as regras para modelos desse tipo podem ser considerados uma varia¸c˜ao da regra de aprendizagem sugerida por Hebb em 1949. A ideia b´asica ´e que se dois n´os j e k est˜ao ativos ao mesmo tempo, suas interconex˜oes precisam ser fortalecidas. Na vers˜ao mais simples da regra de Hebb, se j recebe uma entrada de k, a modifica¸c˜ao do peso wjk ser´a dada por:
∆wjk = γyjyk, (3.7)
onde γ ´e uma constante positiva de proporcionalidade representando a taxa de aprendizagem. Em uma outra regra comumente utilizada, o ajuste de pesos n˜ao ´e feito usando a ativa¸c˜ao atual do n´o k, mas a diferen¸ca entre a ativa¸c˜ao atual e a ativa¸c˜ao desejada, como mostrado a seguir: ∆wjk = γyj(dk− yk), (3.8) onde dk ´e n´ıvel de ativa¸c˜ao desejado fornecido por uma fonte externa. Essa forma ´e usualmente chamada de regra de Widrow-Huff ou regra Delta [7].
3.4
Redes perceptron feed-forward de m´ultiplas camadas
Neste trabalho s˜ao utilizadas redes neurais para resolver o problema da cinem´atica inversa. Esse ´e um cl´assico problema n˜ao-linear. Portanto, n˜ao seria poss´ıvel resolvˆe-lo utilizando redes perceptron de uma ´unica camada porque esse tipo de rede s´o ´e capaz de resolver problemas lineares. As n˜ao-linearidades s˜ao incorporadas a redes neurais atrav´es de fun¸c˜oes de ativa¸c˜ao n˜ao-lineares [7, 38, 42].Para redes de uma ´unica camada, o aprendizado supervisionado ´e realizado atrav´es da aplica¸c˜ao do ajuste ao vetor de pesos. O erro ´e obtido diretamente atrav´es da diferen¸ca entre a sa´ıda desejada e a sa´ıda corrente da rede. No entanto, para redes de m´ultiplas camadas, esse procedimento pode ser aplicado somente para a camada de sa´ıda, j´a que n˜ao existem sa´ıdas desejadas definidas para as camadas intermedi´arias. Assim, o problema passa a ser ent˜ao como calcular ou estimar o erro das camadas intermedi´arias [38, 42].
A aprendizagem por retro-propaga¸c˜ao consiste de dois passos: um passo para frente, a propaga¸c˜ao, e um passo para tr´as, a retro-propaga¸c˜ao. No passo para frente, um padr˜ao de atividade ´e aplicado aos n´os sensoriais da rede e seu efeito se propaga atrav´es da rede, camada por camada. Finalmente, um conjunto de sa´ıdas ´e produzido como a resposta real da rede.
Figura 3.4: Exemplo de uma rede perceptron com m´ultiplas camadas, adaptado de [38].
Durante o passo de propaga¸c˜ao, os pesos sin´apticos da rede s˜ao todos fixos. Durante o passo para tr´as, por outro lado, os pesos sin´apticos s˜ao ajustados de acordo com uma regra de corre¸c˜ao de erro. Especificamente, a resposta real da rede ´e subtra´ıda de uma resposta desejada para produzir um sinal de erro. Este sinal de erro ´e propagado para tr´as atrav´es da rede, contra a dire¸c˜ao das conex˜oes sin´apticas. Os pesos s˜ao ajustados para fazer que a resposta real da rede se mova para mais perto da resposta desejada [38].
Na Figura 3.4 ´e mostrado um exemplo de uma rede perceptron com duas camadas escondidas e uma camada de sa´ıda. Considera-se que a rede ´e totalmente conectada, ou seja, um neurˆonio em qualquer camada est´a conectado a todos os neurˆonios da camada anterior. O fluxo de sinais progride para frente, da esquerda para a direita e de camada em camada [38].
Na Figura 3.5 ´e mostrado a dire¸c˜ao dos sinais em uma rede perceptron com m´ultiplas camadas. Percebe-se que existem dois tipos de sinais nessa rede [38]:
Sinais funcionais: ´e um sinal de entrada que incide no terminal de entrada da rede, propaga- se para frente (n´o por n´o) atrav´es da rede e emerge no terminal de sa´ıda da rede como um sinal de sa´ıda. Presume-se que este sinal realize uma fun¸c˜ao na sa´ıda da rede. Em cada neurˆonio que ele passa, o sinal ´e calculado como uma fun¸c˜ao de suas entradas e pesos associados, aplicados `aquele n´o.
Sinais de erro: este sinal se origina em um n´o de sa´ıda da rede e se propaga para tr´as, camada por camada, atrav´es da rede. Ele ´e chamado de sinal de erro porque sua computa¸c˜ao para cada neurˆonio da rede envolve uma fun¸c˜ao dependente do erro, de uma forma ou de outra.
As camadas ocultas da rede n˜ao fazem parte nem da entrada nem da sa´ıda da rede. Portanto, cada neurˆonio nas camadas ocultas ´e projetado para realizar os seguintes c´alculos [38]:
C´alculo do sinal funcional que aparece na sua sa´ıda, que ´e expresso como uma fun¸c˜ao n˜ao-linear do sinal de entrada e dos pesos sin´apticos associados a ele;