ORT LI ORT LI ORT LI CONV (%) 94.3 83.4 78.4 73.3 71.2 65

Tabela 5.3: Máxima taxa média de recuperação de memória e valores de gama para vetores ortogonais e LI, considerando 3, 4 ou 5 redes acopladas - Análise AG

3 4 5

ORT LI ORT LI ORT LI CONV. (%) 97.3 92.2 91.4 83.9 85.18 70.9

gama 1.42 1.55 1.53 1.55 1.64 1.55

As Tabelas 5.4, 5.5 e 5.6 mostram os resultados, quando 3 redes são acopladas e 1 a 6 das memórias de primeiro nível são escolhidas para fazer, simultaneamente, parte de uma memória de segundo nível. Assim, teremos até 6 conjuntos diferentes de tripletos ou memórias globais. Pode-se observar que o sistema perde sua capaci- dade de recuperação quando um conjunto maior de tripletos é escolhido para ser uma memória de segundo nível. Além disso, apesar de uma diminuição na capacidade da recuperação em todos os casos, a Tabela 5.7 mostra que o sistema desenvolvido, atra- vés do método de espaço vetorial, apresenta um desempenho melhor, principalmente quando o número dos testes padrão é aumentado tanto para vetores LI quanto para vetores ortogonais. A deterioração mais significativa da capacidade de recuperação de padrões globais, especialmente para vetores LI, ocorre no método de aprendiza- gem Hebbiana. Isso acontece, de acordo com a explanação dada na subseção 3.4.2, devido ao termo cross talk, ou termo de interferência, que aparece interferindo na capacidade de recuperação (GOMES et al., Submitted December 2006).

Tabela 5.4: Máxima taxa média de recuperação de memória e valores de gama para vetores ortogonais e LI, considerando de 1 a 6 padrões escolhidos como memórias de primeiro nível - Análise Hebbiana

Padrões Tipo Conv. (%) gama

1 ORT 100 0.4 LI 100 0.6 2 ORT 98 0.4 LI 98.5 0.6 3 ORT 94.9 0.4 LI 83.8 0.7 4 ORT 78.4 0.4 LI 57.3 0.5 5 ORT 64.3 0.3 LI 36.4 0.2 6 ORT 55.2 0.4 LI 34.9 0.3

Tabela 5.5: Máxima taxa média de recuperação de memória e valores de gama para vetores ortogonais e LI, considerando de 1 a 6 padrões escolhidos como memórias de primeiro nível - Análise de estrutura de espaço vetorial

Padrões Tipo Conv. (%) gama

1 ORT 100 5.3 LI 100 7.1 2 ORT 96.5 4.4 LI 98.3 7.1 3 ORT 94.3 2.8 LI 83.4 2.1 4 ORT 91.6 3.6 LI 86.1 3.5 5 ORT 85.7 7.5 LI 67.4 2.4 6 ORT 77.8 4.8 LI 63.8 6.3

Para concluir, nossos experimentos mostram que é possível construir memórias multiníveis e que os níveis mais elevados podem apresentar um desempenho melhor quando construídos usando AGs. Além disso, os resultados mostram que a compu- tação evolucionária, mais especificamente os algoritmos genéticos, são mais apro- priados para a aquisição dos parâmetros da rede do que o treinamentio Hebbiano, porque permite a emergência de comportamentos complexos que são potencialmente excluídos, devido ao conhecido efeito de crossover presente na aprendizagem Hebbi- ana. Entretanto, o vetor de espaço mostrou ser um método apropriado, principalmente quando um número menor de redes é acoplado e quando um grande número de me- mórias de primeiro e segundo nível é armazenado.

5.1

Sumário da contribuição da tese

De maneira geral, esta tese contribui para o estudo analítico e experimental das possibilidades de criação de uma nova arquitetura de redes através de RNAs, que incorpora os conceitos da teoria dinâmica de sistemas (TSD) e da teoria da seleção de grupos neuronais (TNGS), a fim de criar sistemas inteligentes cuja dinâmica tem um comportamento global e irredutível.

A contribuição específica desta tese pode ser enumerada como se segue:

Tabela 5.6: Máxima taxa média de recuperação de memória e valores de gama para vetores ortogonais e LI, considerando de 1 a 6 padrões escolhidos como memórias de primeiro nível - Análise AG

Padrões Tipo Conv. (%) gama

1 ORT 100 1.49 LI 100 1.43 2 ORT 99.4 1.44 LI 99.3 1.49 3 ORT 97.3 1.42 LI 92.2 1.55 4 ORT 81.6 1.49 LI 71.2 1.42 5 ORT 72.0 1.48 LI 64.0 1.52 6 ORT 61.2 1.63 LI 53.7 1.39

Tabela 5.7: Máxima taxa média de recuperação de memória entre os algoritmos ge- néticos, estrutura de espaço vetorial e Hebbiano para vetores ortogonais e LI, consi- derando de 4 a 6 padrões escolhidos como memórias de primeiro nível

Algoritmos Genético Espaçovetorial Hebbiano Padrões Tipo Conv. (%) Conv. (%) Conv. (%)

4 ORT 81.6 91.6 78.4 LI 71.2 86.1 57.3 5 ORT 72.0 85.7 64.3 LI 64.0 67.4 36.4 6 ORT 61.2 77.8 55.2 LI 53.7 63.8 34.9

de realimentação (β) no comportamento dos pontos de equilíbrio do sistema; • Demonstração que o número dos padrões armazenados como memórias, quando

a matriz de pesos é sintetizada pelo algoritmo proposto por Lillo et al. (1994), é de até0, 5n, sendono número de neurônios. Até0, 5nmemórias armazenadas o sistema não apresenta estados espúrios;

• Desenvolvimento da capacidade de armazenamento das redes individuais atra- vés de uma análise geométrica do espaço booleano n-dimensional;

• Análise experimental e analítica do comportamento de sistemas acoplados, de- monstrando a viabilidade da construção desses novos sistemas;

que o acoplamento que habilita o aparecimento das memórias de segundo nível, não destrói as estruturas das memórias de primeiro nível;

• Demonstração, através de computações numéricas, que o sistema hierarquica- mente acoplado evolui para uma memória global desejada, mesmo nos casos em que as redes são fracamente acopladas, mostrando que, a princípio, é possível construir uma memória associativa multinível através do acoplamento recursivo de clusters de redes;

• Probabilidade de obter uma relação ótima de β_γ, quando pequenos valores deβ são considerados;

• Metodologia de avaliação da probabilidade de convergência e estabilidade do modelo de memórias associativas multiníveis para o método de aprendizagem Hebbiana;

• Proposta de um novo método de síntese para memórias associativas hierarqui- camente acopladas, baseadas na computação evolucionária. Esta abordagem mostra que a computação evolucionária ou, mais especificamente, os algoritmos genéticos, é mais apropriada para a aquisição de parâmetros da rede do que a aprendizagem Hebbiana, porque permite a emergência de comportamentos complexos, através da exclusão do efeito de crossover presente no aprendizado Hebbiano;

• Proposta de um novo método de síntese para memórias associativas hierarqui- camente acopladas, baseado na estrutura de autovalores e autovetores do es- paço vetorial e em mudanças apropriadas da base de espaço. Essa abordagem provou ser útil ao tratar dos modelos de memórias associativas hierarquicamente acoplados, através de um processo de memorização organizado em muitos ní- veis de graus de liberdade e naqueles para os quais o treinamento se comporta como uma síntese dos estados previamente desejados;

• Verificação da ocorrência de memórias emergentes globais iguais, mesmo quando conjuntos diferentes de neurônios realizam sinapses.

5.2

Sugestões para trabalhos futuros

Como se pode observar, a construção de sistemas hierarquicamente acoplados é algo novo e abre uma possibilidade enorme para novas pesquisas envolvendo fenô- menos complexos. Assim, podemos sugerir como propostas para a continuação deste trabalho, investir nos seguintes aspectos relacionados a este assunto:

• A generalização do modelo através do uso de diferentes valores de γ (fator in- tergrupo) e campo de bias, a fim de dar ao modelo uma maior plausibilidade biológica.

• A construção de hierarquias de níveis mais elevados, através de correlações entre mapas locais, formando o que Edelman (1987) chama de mapas globais. • A aplicação deste novo modelo em casos reais, principalmente na criação de

memórias multiníveis para a resolução de problemas de classificação e agrupa- mento.

• Otimização da capacidade de convergência para memórias globais através de diferentes técnicas.

As experiências desenvolvidas nesta tese considera que somente uma rede é inici- alizada em um dos padrões previamente armazenados, enquanto as outras são inicia- lizados aleatoriamente em uma das possíveis combinações de padrões. Isso significa que o sistema tem uma tarefa difícil de evoluir para um dos padrões globais armaze- nados previamente. Assim, novos experimentos podem ser executados onde algum ruído pode ser aplicado aos padrões, a fim de avaliar o desempenho do sistema como um todo. Considerando que o sistema global deve ser inicializado perto dos padrões globais armazenados previamente (memórias de segundo nível), uma acentuada me- lhoria na taxa de recuperação das memórias globais é esperada.