Neuromodulação

A neuromodulação é uma técnica na qual parte da rede fica encarregada da mo- dulação (isto é, do ajuste) dos pesos sinápticos. Existem duas estratégias bem estabelecidas de aprendizado Hebbiano/Anti-Hebbiano baseados em neuromodulação aplicadas a comporta- mentos adaptativos: a plasticidade seletiva da Extended Sequential Cascaded Network (ESCN) (ZIEMKE; THIEME, 2002) e os neurônios moduladores (SOLTOGGIO et al., 2007). Em (FELLOUS; LINSTER, 1998), é feita uma extensa revisão sobre modelos computacionais para regulagem de dinâmica neural, descrevendo outras propostas para plasticidade sináptica.

A ESCN é um aperfeiçoamento da Sequential Cascaded Network (SCN). Ambas são redes de duas camadas, chamadas respectivamente de “rede de função” e “rede de contexto”. A rede de função mapeia a entrada para unidades de saída e de estado, enquanto a rede de contexto

modifica a rede de função alterando os pesos de suas sinapses de acordo com o “contexto”, isto é, com a ativação das unidades de estado. A diferença entre a ESCN e a SCN é a adição, na primeira, de uma unidade de ativação, responsável por “decidir” quando ativar ou não a rede de contexto, que está sempre ativa na SCN. A Figura 4.2 mostra a arquitetura de uma ESCN.

Figura 4.2: ESCN como um controlador de robô. Linhas sólidas indicam matrizes de peso completamente conectadas. Linhas pontilhadas indicam seletividade, dependendo da ativação da unidade de decisão (ZIEMKE; THIEME, 2002).

A plasticidade da ESCN pode ser formalizada da seguinte maneira:

Dado um vetor estado sk(t), k = 1...m, então, a ativação da unidade de decisão

d(t) e as matrizes de pesos da rede de função Wo(t) e Ws(t) são computadas em cada

passo de tempo t pela rede de contexto. Esse processamento é feito como se segue: d(t) = f (Vd· (s1(t), ..., sm(t), 1))

se d(t) ≥ 0,5 então Wo(t + 1) = Vo· (s1(t), ..., sm(t), 1)

senão, Wo(t + 1) = Wo(t)

se d(t) ≥ 0,5 então Ws(t + 1) = Vs· (s1(t), ..., sm(t), 1)

senão, Ws(t + 1) = Ws(t)

onde f é a função de ativação logística, Vd é uma matriz unidimensional de pesos

de conexões, mapeando o estado atual para a ativação da unidade de decisão, e Vo

e Vs são matrizes bidimensionais de pesos de conexões mapeando o estado interno

atual s(t) aos pesos do próximo passo de tempo da rede de função, se a unidade de decisão está ativa, isto é, tem um valor de ativação de pelo menos 0,5 (ZIEMKE; THIEME, 2002, p. 188).

Pode-se entender uma ESCN como uma rede capaz de autoregular seus pesos de acordo com a situação, desempenhando a função adequada dentre várias que pode executar. As situações são codificadas nas unidades de estado, e refletem a ação tomada pela rede para uma dada entrada sensorial, enquanto a unidade de decisão decide se é necessário ou não modificar a dinâmica.

Outra abordagem bastante utilizada para neuromodulação sináptica é a regulagem dos pesos através de neurônios moduladores (NIV et al., 2002; SOLTOGGIO et al., 2007; SOLTOGGIO et al., 2008; RISI; HUGHES; STANLEY, 2010). Trata-se de uma RNRTC contendo dois tipos de neurônios: os padrões, que são as unidades processadoras em si, e os neurônios moduladores, responsáveis pela regulagem da taxa da mudança dos pesos sinápticos através de uma regra Anti-Hebbiana adaptada da regra Hebbiana original. Ao contrário das ESCNs/SCNs, essa rede não especifica qualquer tipo de hierarquia, o que permite modulação descentralizada e localizada. A Figura 4.3 mostra o mecanismo de modulação.

Padrão Padrão

Modulador

Figura 4.3: O processamento da rede propriamente dito é feito somente com os neurônios padrões. O neurônio modulador determina a resposta da regra anti-Hebbiana, mediando a quantidade de crescimento ou decrescimento do peso sináptico.

Como discutido por Soltoggio e seus coautores (2007), a neuromodulação desempe- nha um papel importante tanto nos substratos neurais dos cérebros dos invertebrados quanto nos humanos. Essa característica está relacionada à indução da potenciação de longo prazo tardia (L-LTP – Late phase - Long Term Potentiation), um fenômeno de crescimento permanente do contato sináptico no cérebro, causando estabilidade sináptica. Trata-se, portanto, de um candi- dato potencial para explicar funções de memória envolvendo fiação neural e, consequentemente, aprendizado. Outro mecanismo relacionado à neuromodulação é a depressão de longo prazo (LTD – Long Term Depression), o decréscimo permanente do contato sináptico (SOLTOGGIO et al., 2008).

De acordo com Soltoggio e seus autores (2007), o estudo das implicações de neu- romoduladores no comportamento animal é um campo de pesquisa ativo. Neuromoduladores como a dopamina são investigados nas funções de tomada de decisão, aprendizado e memória, levando a descobertas como a relação entre a liberação de dopamina e a aquisição de nova tarefa

no cérebro do macaco. A ação dos neurônios moduladores no modelo proposto é inspirada na liberação dos neuromoduladores no cérebro animal.

A atividade dos neurônios padrões e moduladores é definida pela Equação 4.1. Os sinais de ambos os neurônios são computados seguindo a equação exatamente da mesma forma, mas apenas os sinais de entrada que partem de neurônios padrões, e seus respectivos pesos sinápticos, são considerados como sinais de entrada no somatório da equação.

O valor da atividade modulatória m agindo em um neurônio i é computado como se segue:

mi=

∑

j∈Mod

wji· tanh(sj/2) (4.3)

onde j representa todos os neurônios moduladores conectados ao neurônio i, wji é o peso da

sinapse que liga o neurônio modulador j ao neurônio i e sj é o estado interno do neurônio

modulador j.

Finalmente, a mudança do peso sináptico é definida pela seguinte equação:

∆wji= tanh(mi/2) · η · [Aojoi+ Boj+Coi+ D] (4.4)

onde ∆wji é a variação da sinapse que liga o neurônio padrão j ao neurônio i, η é a taxa de

aprendizagem, A, B, C e D são parâmetros de ajuste e oj e oisão a função de ativação tanh(x/2)

aplicada no estado interno dos neurônios j e i respectivamente. A Equação 4.4 difere da regra Hebbiana original no termo modulatório, i.e., tanh(mi/2), e nos parâmetros de ajuste, que

ponderam a importância da atividade dos neurônios pré- e pós-sinápticos na alteração do peso. Observe que a equação herda a instabilidade da regra Hebbiana, e, portanto, recomenda-se aplicar uma normalização das sinapses para evitar saturação.

É importante enfatizar que essa regra de aprendizagem também permite a modifica- çao da topologia da rede. Note que, na Equação 4.1, uma sinapse com peso zero desliga a ligação entre dois neurônios. Dessa forma, se a Equação 4.4 leva um peso a zero, há uma modificação na forma como a rede é interligada.