CHAPPELL; TAYLOR (1993) propuseram um modelo simples baseado em SOM, chamado de TKM (Temporal Kohonen Map) e que leva em consideração o contexto temporal do padrão de entrada. Este modelo é inspirado biologicamente no comportamento de neurônios que mantêm a superfície de suas membranas em atividade por um período de tempo. Levando em conta este comportamento biológico, TKM inclui integradores leaky para representar o decaimento da atividade elétrica na superfície da membrana que é definida especificamente por uma constante de tempo. Esta constante deve ser grande o bastante para que padrões passados exerçam influência no processamento de uma sequência de padrões.
Para ajudar a manter uma relação mais próxima entre os neurônios biológicos e os modelos matemáticos, cada neurônio TKM é descrito em termos de seu potencial elétrico:
Vi(t) = −(1/2)
∑
(Iα(t) − wiα(t))2 A.28onde Iα(t)são os componentes da entrada recebidos no tempo t por cada neurônio na rede e
A.3. SEQUÊNCIAS ESPAÇO-TEMPORAIS 132 O potencial elétrico, como visto acima, depende dos pesos da rede e da entrada atual. Esta dependência causa instabilidade na classificação de sequências de entrada. Os neurônios reais retêm um potencial elétrico sobre suas membranas, mas com decaimento. Isto indica que a equação A.28 seja substituída por uma equação diferencial que possibilite a retenção e o decaimento do potencial elétrico. Uma forma de levar em consideração a entrada amostrada em intervalos discretos é: Vi(t) = dVi(t −1) − (1/2)
∑
(Iα(t) − wiα(t))2 A.29 onde 0 < d < 1. A Equação A.29 tem uma solução geralVi(t) = −(1/2) n−1
∑
r=0 dr∑
α [Iα(t − r) − wiα(t − r)]2+ dnVi(t − n) A.30agora está explícita a relação com as entradas passadas. A regra de atualização dos pesos da rede SOM original é combinada com a Equação A.30 para que os pesos sejam atualizados levando em conta as entradas passadas. A Equação A.30 é conhecida como potencial de integradores leaky. Uma rede TKM modificada é proposta porVARSTA et al.(2001) com o objetivo de obter uma resposta com resolução melhor.
Uma outra abordagem para tratar sequências temporais é adicionar realimentação na rede SOM. Estas redes com realimentação com atraso no tempo, em geral, representam o tempo implicitamente combinando entrada atuais com atividades passadas. Esta abordagem é de difícil incorporação na rede SOM, pois a realimentação gera instabilidade durante o treinamento da rede. Alguns exemplos de redes com esta abordagem são: A rede recorrente Contextual Self- Organizing Map(VOEGTLIN,2000), que gera representações de contexto quase ótimas; A
rede proposta porVOEGTLIN; DOMINEY (2001) eVOEGTLIN(2002) com o objetivo de
representar sequências de entradas; A rede Temporal Hebbian Self-organizing Map (THSOM) deKOUTNÍK; ŠNOREK(2008) que adiciona uma camada de conexões recorrentes entre os
neurônios; e o modelo Feedback Self-Organizing Map (FSOM) (HORIO; YAMAKAWA,2001)
que introduz à rede SOM laços de realimentação da camada competitiva para camada de entrada. Na FSOM, o nodo vencedor na camada competitiva não é associado apenas apenas ao vetor de entrada atual, mas também a nodos vencedores anteriores.
CHAPPELIER; GRUMBACH(1996) apresentam uma abordagem para o processamento de sequências temporais onde os dados são transformados para um espaço de funções antes de serem aplicados na entrada da rede. EULIANO; PRINCIPE(1996) adicionam um acoplamento espaço-temporal a rede SOM para a criação de vizinhos temporalmente e espacialmente loca-
lizados sobre o mesmo mapa. Em (EULIANO; PRINCIPE,1999), eles discutem o uso de um
conceito biologicamente inspirado de difusão de atividade para gerar memória espaço-temporal na SOM e na Neural Gas. Este conceito, difusão de atividade, cria um sistema que é sensível a padrões temporais viabilizando a previsão de entradas futuras.
A rede Predictive Self-Organizing Map (P-SOM) (HIROSE; NAGASHIMA,2003) é capaz de realizar quantização vetorial de sinais com sequências temporais migratórias. Neste modelo, todos os pesos são auto-organizados para prever apropriadamente o vetor de referência futuro. Esta predição, utiliza pesos derivados no tempo e possibilita a remoção de ruídos.
A rede Merge SOM (MSOM) (STRICKERT; HAMMER,2005), baseada em um modelo
de contexto, pode ter uma estrutura em grade de tamanho variável. O contexto temporal de MSOM combina o padrão temporal atual com a sequência passada de maneira intuitiva de modo a misturar as propriedades dos neurônios.
A rede Matricial Self-Organizing Map (M-SOM) (ZEHRAOUI; BENNANI, 2004)
modela a entrada levando em conta a informação e a correlação dos padrões contidos numa sequência. Nesta rede os dados de entrada são representados por uma matriz de covariância para representar a correlação entre os componentes de uma sequência.
A taxa de aprendizagem decaindo no tempo e a função de vizinhança na rede SOM redu- zem sua capacidade de adaptar os pesos em ambientes dinâmicos. A rede Time Adaptative SOM
(TASOM) (SHAH-HOSSEINI; SAFABAKHSH,2000,2003) foi desenvolvida para tratar estas
limitações. TASOM automaticamente ajusta a taxa de aprendizagem e o tamanho da vizinhança para cada neurônio individualmente. Uma derivação da rede TASOM é a rede Growing TASOM
(GTASOM)SHAH-HOSSEINI; SAFABAKHSH(2002) projetada para encontrar múltiplos limi-
ares automaticamente em aplicações de segmentação de imagens. A rede Binary Tree TASOM (BTASOM)SHAH-HOSSEINI(2011) possui uma estrutura em árvore binária onde cada nodo é uma rede TASOM.
BARRETO; ARAUJO(2001) apresentam o conceito de manifold com dinâmica incor- porada (DEM) para possibilitar a aprendizagem de um mapeamento não linear entre entrada e saída. A combinação do conceito DEM com SOM resulta em uma nova técnica de modelagem chamada de memória associativa temporal com quantização-vetorial (VQTAM) utilizada na proposição da rede não supervisionada Self-Organizing NARX (SONARX). O modelo Temporal
Parametrized Self Organizing Map(TEPSOM) (PADOAN JUNIOR; BARRETO; ARAUJO,
2003) combina a rede SONARX com a rede Parametrized Self-Organizing Map para aprender
a reproduzir trajetórias robóticas.SAKURAI; HATTORI; ITO(2002), baseados em uma rede SOM, propõem uma memória associativa capaz de armazenar e recuperar sequências temporais.
A rede Time-Organized Map (TOM) (WIEMER,2003) é apresentada como um modelo
para estudar e aprimorar o conhecimento sobre a auto-organização e as estruturas associadas aos sinais do córtex. A principal contribuição do TOM é a transferência funcionalmente razoável de distância temporal de sinais em distância espacial para gerar representações neurais topográficas.
Um extensão desta é a rede Spatio-Temporel Organization Map (STOM) deSALEM; MOURIA-
BEJI; KAMOUN(2005).
A rede Self-Organizing Mixture Autoregressive (SOMAR) (NI; YIN,2009;YIN; NI,
2009) tem como base uma mistura de modelos autorregressivos e adaptativos. SOMAR pode ser usada para descrever e modelar séries temporais não-lineares e não-estacionárias por meio de
A.4. REGRA DE APRENDIZAGEM 134