Universidade Estadual de Campinas
Instituto de Matemática, Estatística e Computação Científica
Departamento de Matemática Aplicada
RELATÓRIO CIENTÍFICO ANUAL
T
ÍTULO DO
P
ROJETO
:
Algumas Generalizações das Memórias Associativas Recorrentes
por Correlação
P
ROCESSO: 2013/12310–4
V
IGÊNCIA DOP
ROJETO: 01/10/2013 a 30/09/2015
P
ERÍODO COBERTO PELO RELATÓRIO: 01/10/2013 a 30/09/2014
P
ESQUISADORR
ESPONSÁVEL:
Marcos Eduardo Ribeiro do Valle Mesquita
1
Resumo do Projeto Proposto
Memórias associativas(AMs) são modelos matemáticos inspirados na capacidade do cérebro humano de armazenar e recordar por associação. Sobretudo, assim como o cérebro, AMs tam-bém são capazes de recordar um certo padrão mesmo quando a entrada representa uma versão incompleta ou ruidosa de um item armazenado. A classe das memórias associativas recorrentes por correlação (RCAMs), introduzidas por Chiueh e Goodman no início dos anos 1990, in-clui modelos de AM como a famosa rede de Hopfield e a memória associativa exponencial por correlação. Muitas RCAMs apresentam uma grande capacidade de armazenamento e uma excelente tolerância a ruído. Contudo, as RCAMs são projetadas para o armazenamento e a recordação de padrões bipolares. Nesse projeto de pesquisa investigaremos generalizações das RCAMs para padrões com valores reais, complexos e multi-valores. O desempenho dos novos modelos serão avaliados, por exemplo, através de experimentos computacionais com imagens em tons de cinza e coloridas.
Palavras-chave: Inteligência computacional, memórias associativas, redes neurais artificiais, processamento de imagens e sinais, reconstrução e remoção de ruído.
2
Realizações no Período de 01/10/2013 a 30/09/2014
2.1
Introdução
Em 1982, Hopfield introduziu uma rede neural artificial para padrões bipolares que pode ser usada para implementar uma memória associativa [13]. A rede de Hopfield é implemen-tada por uma rede neural recursiva de camada única constituída por neurônios de McCulloch e Pitts [11]. Ela possui muitas características atraentes incluindo: fácil implementação em hardware, caracterização em termos de uma função energia e uma variedade de aplicações [9, 10, 12, 24, 33]. Contudo, a rede de Hopfield apresenta uma baixa capacidade absoluta de armazenamento quando usada para implementar uma memória associativa [26]. Com intuito de superar essa limitação, muitos pesquisadores desenvolveram modelos dinâmicos aperfeiçoados da rede de Hopfield. Em particular, um simples mas significante melhoramento na capacidade de armazenamento da rede de Hopfield foi apresentado por Chiueh e Goodman no início dos anos 1990 com as memórias associativas recorrentes por correlação (RCAMs, recurrent corre-lation associative memories) [3, 4]. Observamos, porém, que nem todos os modelos propostos por Chiueh e Goodman implementam uma memória associativa, ou seja, algumas vezes eles não conseguem armazenar e posteriormente recordar um conjunto de memórias fundamentais. Em vista dessa observação, iremos referir aos modelos de Chiueh e Goodman como redes neurais recorrentes por correlação (RCNNs, recurrent correlation neural networks). O termo RCAM será usado para a uma memória associativa implementada por uma RCNN.
Em termos gerais, as RCNNs generalizam a rede de Hopfield adicionando uma camada de nós que computam uma medida de correlação entre o padrão de entrada e os itens armazenados.
A função de ativação dos neurônios nessa camada caracterizam a RCNN. Por exemplo, a rede de Hopfield é obtida considerando a identidade como função de ativação. Quando usada para implementar uma memória associativa, a capacidade de armazenamento de algumas RCAMs aumenta exponencialmente com o número de padrões para algumas funções de ativação [3, 6]. Além da grande capacidade de armazenamento, as RCAMs apresentam excelentes tolerâncias a ruído [3, 42, 43]. Contudo, tal como a rede de Hopfield original, as RCNNs são projetadas para trabalhar com vetores bipolares, isto é, em {−1, 1}n. Muitas aplicações, porém, requerem
o armazenamento e recordação de padrões com valores reais, complexos ou multi-valores [28, 46, 27, 35]. Em vista dessa observação, nesse projeto de pesquisa investigamos generalizações das RCNNs para outros tipos de padrões além dos bipolares.
2.2
Redes Neurais Recorrentes por Correlação Complexas
Inicialmente, nesse projeto de pesquisa generalizamos as RCAMs para o armazenamento de padrões com valores complexos no círculo unitário. Os novos modelos, chamados redes neurais recorrentes por correlação complexas (CV-RCNNs, complex-valued recurrent correlation neu-ral networks), foram introduzidas no artigo de congresso “An Introduction to Complex-Valued Recurrent Correlation Neural Networks”[40], apresentado na sessão especial de redes neurais com valores complexos ou hiper-complexos do 2014 IEEE World Congress on Computational Intelligence.
Resumidamente, uma CV-RCNN é implementada por uma rede neural recorrente de duas camadas totalmente conectadas. A primeira camada calcula a parte real da correlação entre o estado atual e as memórias fundamentais seguida de uma função f possivelmente não-linear. A segunda camada aplica uma generalização da função sinal numa soma ponderada dos padrões armazenados. Em termos matemáticos, seja S = {z ∈ C : |z| = 1} o conjunto dos números complexos no círculo unitário. Suponha que é dado um conjunto de memórias fundamentais {u1, . . . , up
} ⊆ Sn
e uma função contínua monótona não-decrescente f : [−n, n] → R. Dado um padrão de entrada z(0) = [z1(0), . . . , zn(0)]T ∈ Sn, uma CV-RCNN define recursivamente
a seguinte sequência para t ≥ 0:
zj(t + 1) = σ p X ξ=1 wξ(t)uξj ! , ∀ j = 0, 1, . . . , n, (1)
em que os pesos w1(t), . . . , wp(t) são dados por
wξ(t) = f < uξ, z(t) , ∀ξ = 1, . . . , p. (2)
Aqui, <{z} denota a parte real do número complexo z e a função σ : C → S generaliza a função sinal como segue com vj(t) =
Pp
ξ=1wξ(t)u ξ
j-ésimo neurônio na iteração t: σ vj(t) = vj(t)/|vj(t)|, vj(t) 6= 0, zj(t), vj(t) = 0. (3) Exemplos de CV-RCNN incluem:
1. A CV-RCNN por correlação, que é obtida considerando em (2) a função fc(x) = x/n.
2. A CV-RCNN de ordem-alta, que é derivada tomando f em (2) igual à fh(x) = (1 + x/n)q
para algum inteiro q > 1.
3. A CV-RCNN com função potencial, que é obtida considerando em (2) a função fp(x) =
1
(1 + ε − x/n)L, (4)
para L ≥ 1 e > 0 pequeno. O parâmetro é introduzido para evitar divisão por zero. 4. A CV-RCNN exponencial, que é definida por (2) com fe(x) = eαx/npara algum α > 0.
Um estudo mais profundo das CV-RCNNs pode ser encontrado no artigo “Complex-Valued Recurrent Correlation Neural Networks” [37], publicado na edição especial da IEEE Trans. Neural Networks and Learning Systemssobre redes neurais complexas e hiper-complexas or-ganizada por Akira Hirose, Igor Aizenberg e Danilo Mandic. Neste artigo de revista, demons-tramos que a CV-RCNN sempre produz uma sequencia convergente. Portanto, elas podem ser usadas para implementar uma memórias associativa. Neste contexto, apresentamos condições suficientes para que todas as memórias fundamentais sejam efetivamente memorizadas numa CV-RCNN. Em particular, considerando um conjunto de memórias fundamentais {u1, . . . , up}
em as componentes uξi são independentes e uniformemente distribuídas no círculo unitário S e assumindo que a CV-RCNN é alimentada por uma das memórias fundamentais, i.e., x(0) = uξ,
deduzimos que a desigualdade kuξ− x(1)k ≤ τ é válida quase-certamente sempre que
f (2√n) f (n) ≤
τ2
(1 + τ2)(p − 1). (5)
Com base nesse resultado, estimamos que a capacidade assintótica de armazenamento das CV-RCNN baseadas nas funções fe, fhe fpsão dadas por exponenciais nos parâmetros α, q, and L.
Em outras palavras, teoricamente, podemos armazenar quantos padrões desejarmos ajustando os parâmetros das funções fe, fh ou fp.
Ainda no artigo de revista, são apresentados experimentos computacionais que confirmaram que a capacidade de armazenamento da CV-RCNN exponencial aumenta exponencialmente com o tamanho n dos vetores. Além disso, dado que a CV-RCNN com fe implementa uma
memória associativa, a probabilidade de recordar a memória fundamental mais próxima à en-trada x(0) com base na distância Euclidiana aumenta com o parâmetro α. Finalmente, experi-mentos com respeito a reconstrução de imagens em tons de cinza revelaram que a CV-RCNN
exponencial, bem como a CV-RCNN com função potencial, exibem uma excelente tolerância com respeito a ambos ruídos Gaussiano e sal-e-pimenta. Em particular, as CV-RCNNs su-peraram outros modelos como as rede neurais dinâmica com valores complexos (CV-DNN, complex-valued dynamic neural networks) de Jankowski et al. [20], de Kuroe e Taniguchi [22], de Suzuki et al. [34], de Lee [23], e de Tanaka and Aihara [35]. As CV-RCNNs também super-aram algumas memórias associativas reais como a memória associativa linear ótima (OLAM, optimal linear associative memory) [21], a memória associativa baseada em núcleo (KAM, kernel associative memory [45] e uma certa memória associativa por projeção em subespaço (SPAM, subspace projection associative memory) [38].
2.3
Redes Neurais Recorrentes por Similaridade Fuzzy
Em 1993, Chiueh e Tsai estenderam a RCNN baseada na função exponencial para o armazena-mento e recordação de vetores multi-valores [5]. As principais diferenças no modelo multi-valor incluem uma soma ponderada e um tipo de medida de similaridade. Agora, como uma soma ponderada efetua uma operação de agregação de conjuntos fuzzy [30] e, considerando medi-das de comparação de conjuntos fuzzy, modificamos a RCNN exponencial multi-valores para o armazenamento e recordação de conjuntos fuzzy. Os novos modelos, chamados redes neurais recorrentes exponenciais fuzzy (FERNNs, fuzzy exponential recurrent neural networks), foram introduzidos no artigo “Fuzzy Exponential Recurrent Neural Networks for Gray-scale Image Retrieval”, apresentado no III Congresso Brasileiro de Sistemas Fuzzy.
Em termos matemáticos, seja α > 0 um número real e considere um conjunto de memórias fundamentais {a1, a2, . . . , ap} ⊆ F (U ), em que cada aξ é um conjunto fuzzy em U . Dado um
conjunto fuzzy de entrada x0 ∈ F (U ), uma FERNN define a sequencia x1, x2, . . . de conjuntos
fuzzyem U através da equação
xt+1(u) = p
X
ξ=1
wtξaξ(u), ∀u ∈ U e t = 0, 1, . . . (6)
em que os pesos são calculados como segue para todo ξ = 1, . . . , p e t ≥ 0
wtξ = eαΥ (aξ,xt) Pp ξ=1eαΥ (a ξ,x t), (7)
e Υ (aξ, xt) denota uma medida de comparação fuzzy, por exemplo, uma medida de similaridade
ou sobreposição (overlapping) [30], entre os conjuntos fuzzy aξ e xt. Por simplicidade, no
artigo consideramos apenas medidas de similaridade. Lembre-se que medidas de similaridade possuem muitas aplicações incluindo, por exemplo, redes neurais fuzzy, [7], agrupamento fuzzy [44], aproximação linguística [47] e raciocínio aproximado [36]. Tal como as CV-RCNNs, experimentos computacionais revelaram que as novas FERNNs equipadas com uma medida de similaridade podem efetivamente ser usadas para a recuperação de imagens em tons de cinza corrompidas.
2.4
Outros Modelos Desenvolvidos no Período
Nesta seção apresentamos outros modelos que foram desenvolvidos no período que, embora não sejam efetivamente generalizações das redes neurais recorrentes por correlação, contribuíram para o projeto de pesquisa.
2.4.1 Rede de Hopfield Quaterniônica com Valores Contínuos
Conforme mencionado na introdução, as RCNNs generalizam a rede de Hopfield. Dessa forma, antes de generalizar as RCNNs para vetores com valores quaterniônicos, fizemos uma revisão das principais generalizações da rede de Hopfield usando quatérnios.
Primeiramente, observamos que generalizações da rede de Hopfield usando quatérnios foram extensivamente investigadas nos últimos anos [16, 17, 15, 18, 29]. Uma revisão ampla de diver-sas generalizações das redes de Hopfield quaterniônicas (QHNN, quaternionic Hopfield neural network) pode ser encontrada em [19]. Resumidamente, a principal diferença entre as muitas QHNNs encontra-se na função de ativação. Por exemplo, a QHNN binária é definida aplicando a função real sgn em cada componente do quatérnio que representa o potencial de ativação de um neurônio [16, 17, 15]. Outra QHNN introduzida por Isokawa e colaboradores, chamada QHNN multivalores (MV-QHNN, multi-valued QHNN), generaliza a CV-DNN de Jankowski et al. [19, 20, 23]. Em termos gerais, a função de ativação da MV-QHNN retorna um quatérnio de uma seção da hiperesfera de todos os quatérnios unitários. Na prática, a implementação de tal função de ativação é trabalhosa pois o potencial de ativação de um neurônio deve ser escrito usando a representação ângulo-fase de um quatérnio [2, 19]. Além disso, a convergência para um estado estacionário é garantida somente se as componentes da representação ângulo-fase não são todas atualizadas simultaneamente.
Motivados pelo trabalho de Aizenberg et al. [1] e a efetiva aplicação da função de ativação contínua dada em (3) nas CV-RCNNs, introduzimos no artigo “A Novel Continuous-Valued Quaternionic Hopfield Neural Network”, que será apresentado em Outubro no Brazilian Confer-ence on Intelligent Systems(BRACIS), uma QHNN cuja saída dos neurônios é determinada nor-malizando o potencial de ativação [39]. A nova QHNN, referida como QHNN com valores con-tínuos (CV-QHNN, continuous-valued QHNN), corresponde ao limite da MV-QHNN quando o número de seções da hiperesfera quaterniônica tende ao infinito. Especificamente, considere um conjunto de memórias fundamentais U = {u1, . . . , up}, em que uξ = [uξ
1, . . . , uξn]T é um
vetor coluna quaterniônico com componentes uξi = uξi 0+ uξi 1i + uξi 2j + uξi 3k e |uξi| = 1. Dado um vetor de entrada x(0) = [x1, . . . , xn], a CV-QHNNs define recursivamente a sequência de
vetores x(0), x(1), x(2), . . . através da seguinte equação para todo j = 1, . . . , n:
xj(t + 1) = xj(t), vj(t) = 0, vj(t)/|vj(t)|, caso contrário, (8)
em que vj(t) = n X k=1 wjkxk(t), (9)
é o potencial de ativação do j-ésimo neurônio na iteração t. Similar aos modelos binários e com-plexos, os pesos sinápticos podem ser determinados usando o armazenamento por correlação ou projeção [19].
Tal como o modelo original de Hopfield e muitas de suas generalizações, a CV-QHNN sempre converge para um estado estacionário sob condições fracas sobre os pesos sinápticos. Precisamente, demonstramos que a sequência produzida por (8), com uma única componente atualizada a cada iteração t, é convergente independentemente do estado inicial x(0) se a matriz dos pesos sinápticos satisfaz wjk = ¯wkj e wjj > 0 para qualquer j, k ∈ {1, . . . , n}. Esse
resultado mostra que a CV-QHNN pode ser usada para implementar uma AM para vetores com valores no conjunto dos quatérnios.
Experimentos computacionais preliminares mostraram quem, tal como no modelo linear baseado no armazenamento por correlação, a CV-QHNN sintetizada usando o aprendizado de Hebb está sujeito ao cross-talk entre as memórias fundamentais. Agora, a CV-QHNN com o armazenamento com projeção apresenta ótima capacidade absoluta de armazenamento, ou seja, os vetores originais são recuperados corretamente após a apresentação de uma memória fundamental sem ruído. Sobretudo, experimentos computacionais revelaram que esse modelo apresenta uma excelente tolerância a ruído.
Concluindo, a CV-QHNN pode ser usada como uma alternativa para a MV-QHNN de Isokawa et al. [19], com a vantagem de ser implementada e analisada de forma mais fácil. Além disso, a CV-QHNN tem uma propriedade que não é compartilhada com a MV-QHNN: todas as componentes do ith neurônio podem ser atualizadas simultaneamente. No entanto, por conta da função de ativação, a CV-QHNN pode exibir mais memórias espúrias que a MV-QHNN.
2.4.2 Memórias Associativas de Projeção em Subespaço
No artigo “A Robust Subspace Projection Autoassociative Memory Based on the M-Estimation Method”, publicado na IEEE Trans. on Neural Networks and Learning Systems, introduzimos a classe das memórias associativas de projeção em subespaço (SPAMs, subspace projection au-toassociative memories). Essa classe de memórias associativas é parcialmente motivada pelo fato de muitos grupos importantes de transformações são considerados se o padrão recordado pela memória associativa é uma combinação linear de vetores bases. Por exemplo, em apli-cações de processamento de imagem, uma SPAM é invariante a transformações lineares nas intensidades de um vetor original se 1 = [1, 1, . . . , 1]T pertence ao conjunto das memórias
fun-damentais. De fato, a imagem αxξ + β1, obtida multiplicando as intensidades de xξ por α e
somando β, pertence ao subespaço gerado por x1, . . . , xp e 1.
Primeiramente, observamos que a OLAM projeta um vetor de entrada ortogonalmente no subespaço gerado pelas memórias fundamentais [21, 11]. Logo, essa famosa memória asso-ciativa pertence a classe das SPAMs. Sobretudo, o padrão recordado pela OLAM pode ser
escrito usando a solução de quadrados mínimos ordinário do problema de regressão multilinear Xα ≈ x, em que x ∈ Rné o vetor de entrada e X = [x1, . . . , xp] ⊆ Rn×pé a matriz cujas
col-unas são as memórias fundamentais. Em vista dessa última observação, introduzimos a SPAM robusta baseada no estimador-M de Huber [14, 25, 8]. Ao contrário da OLAM e muitos outros modelos de memórias associativas, os pesos sinápticos da SPAM robusta baseada no estimador-M são ajustados iterativamente durante a fase de recordação. Experimentos computacionais com respeito à reconstrução de imagens em tons de cinza mostraram que a nova SPAM apre-senta uma excelente tolerância com respeito a ruído sal-e-pimenta. Os novos modelos também apresentam uma excelente tolerância com respeito a imagens corrompidas com ruído Gaussiano e imagens desfocadas.
2.4.3 Memórias Autoassociativas Morfológicas de Projeção Max+
Atendendo o convite dos organizadores da sessão especial sobre “Lattice Computing” do 2014 IEEE World Congress on Computational Intelligence, Vassilis Kaburlasos, Manuel Graña e Yang Xu, introduzimos no artigo “An Introduction to the Max-plus Projection Autoassocia-tive Morphological Memory and Some of Its Variations” as chamadas memórias morfológi-cas autoassociativas de projeção max+ (max+ PAMM, max-plus projection autoassociativas morphological memory). Especificamente, nesse artigo primeiro revisamos as memórias mor-fológicas autoassociativas (AMMs, autoassociative morphological memories) originais intro-duzidas por Ritter e Sussner nos anos 1990s [31, 32]. Em termos gerais, as AMMs são obtidas substituindo respectivamente as operações usuais de soma e multiplicação pelas operações de máximo/mínimo e adição. Do ponto de vista matemático, relembramos que o vetor recordado pela AMM MXX corresponde à maior combinação minimax das memórias fundamentais que
é menor ou igual ao vetor de entrada, isto é, MXX(x) = _ {z ∈ S(X ) : z ≤ x}, (10) em que S(X ) = ( z ∈ Rn : z = n ^ j=1 k _ ξ=1 (aξj+ xξ), aξj ∈ R ) , (11)
é o conjunto de todas as combinações minimax de X = {x1, . . . , xp}.
Parcialmente motivados pelo modelo descrito na Subseção 2.4.2, introduzimos a max+ PAMM substituindo o conjunto de todas as combinações minimax pelo conjunto de todas as combinações max+ das memórias fundamentais, ou seja, substituímos S(X ) por
V(X ) = ( y ∈ Rn: y = k _ ξ=1 (αξ+ xξ), αξj ∈ R ) . (12)
Observe que V(X ) é o análogo da noção de espaço vetorial na teoria dos reticulados algébri-cos (lattice theory). Formalmente, a max+ PMAM, denotada por VXX, é definida através da
equação
VXX(x) =
_
{y ∈ V(X ) : y ≤ x}. (13)
Tal como a AMM MXX, VXX é idempotente e anti-extensiva, ou seja,
VXX VXX(x) = VXX(x) e VXX(x) ≤ x, ∀ x ∈ Rn. (14)
Além disso, qualquer memória fundamental é um ponto fixo de VXX, ou seja, VXX(xξ) = xξ.
Uma vantagem da max+ PAMM VXX é que ela possui menos memórias espúrias que MXX.
Consequentemente, ela é mais robusta a ruídos dilativos que a segunda.
Por fim, mostramos que a fase de recordação de VXX pode ser descrita através da seguinte
equação VXX(x) = k _ ξ=1 αξ+ xξ, ∀ x ∈ Rn, (15)
em que os coeficientes αξ’s são dados por
αξ = A(xξ, x) = n
^
j=1
(xj − xξj), ∀ξ = 1, . . . , p. (16)
Não é difícil mostrar que αξ ≥ 0 se e somente se x ≥ xξ. Logo, num certo sentido, αξ mede
a veracidade da inequação xξ ≤ x. Neste ponto, gostaríamos de apontar uma relação entre a max+ PAMM com a FERNN apresentada na Subseção 2.3. Desprezando o índice t de iteração e substituindo em (6) a soma pela operação de máximo e a multiplicação pela soma, obtemos (15) com αξ = wξt. Portanto, num certo sentido, as max+ PAMM estão relacionadas a uma
versão da FERNN em reticulados algébricos. Esperamos explorar mais essas relação no futuro.
3
Descrição e Avaliação do Apoio Institucional
As pesquisas foram conduzidas no Departamento de Matemática Aplicada (DMA) do Insti-tuto de Matemática, Estatística e Computação Científica (IMECC) da Universidade Estadual de Campinas (UNICAMP) com os equipamentos adquiridos com recursos provenientes do pro-jeto de pesquisa. Especificamente, o departamento disponibilizou para o beneficiário gabinete (sala 112) particular, mobiliado, com ar-condicionado e uma impressora laser. Um dos com-putadores adquiridos com os recursos do projeto, juntamente com o ultrabook, foram alocados nesse gabinete. Os demais computadores foram alocados no MiLab – Mathematical Imaging and Computational Intelligence Laboratory do IMECC/UNICAMP, fundado pelo Dr. Alvaro R. De Pierro e liderado atualmente pelo Dr. Peter Sussner, no qual o pesquisador responsável é um dos membros. Em termos gerais, o MiLab é usado pelos alunos de pós-graduação bem como para a realização de reuniões e seminários do grupo de pesquisa em processamento de imagens e inteligência computacional. A instituição também disponibiliza toda infra-estrutura de suporte a pesquisa encaminhada junto ao pedido de bolsa, incluindo diversos laboratórios de
uso comum e uma central de processamento. Concluindo, acreditamos que o apoio institucional é suficiente para a realização do projeto.
4
Plano de Atividades para o Próximo Período
Relembrando, no projeto de pesquisa propomos estudar melhor as propriedades teóricas e com-putacionais das CV-RCNNs e também desenvolver outras generalizações das RCNNs. Em par-ticular, propomos no primeiro ano efetuar uma revisão bibliográfica e investigar as propriedades teóricas e computacionais das CV-RCNNs. Acreditamos que essas duas atividades foram con-cluídas com sucesso uma vez que já temos publicado um artigo de revista [37] e um artigo de congresso [40]. Além disso, na Atividade 3 do projeto de pesquisa, a ser realizada entre Out/2014 a Set/2015, propomos desenvolver generalizações das RCNNs. Neste sentido, apre-sentamos em [41] uma generalização das RCNNs usando a teoria dos conjuntos fuzzy.
Primeiramente, conforme observado por Danilo Mandic durante o WCCI 2014, a primeira camada das CV-RCNNs produz saídas com valores reais. Em vista disso, nesse próximo ano pretendemos investigar generalizações das RCNNs totalmente complexas, ou seja, quando a saída da primeira camada também possui valores complexos.
Seguindo o cronograma proposto inicialmente, nesse próximo ano continuaremos investi-gando generalizações das RCNNs. Especificamente, pretendemos generalizar as CV-RCNNs usando quatérnios. Nesse ponto, observamos que essa generalização terá como base os resulta-dos apresentaresulta-dos em [39], no qual apresentamos uma versão quaterniônica da rede de Hopfield. Pretendemos também estudar melhor as propriedades da rede recorrente exponencial fuzzy introduzida em [41]. Em particular, consideraremos diferentes medidas de comparação de con-juntos fuzzy, focando, principalmente em medidas de similaridade. Nesse ponto, observamos que envolvemos a aluna de mestrado, Aline Cristina de Souza, que deverá defender sua disser-tação em 2015.
Por fim, pretende-se divulgar os resultados obtidos em eventos científicos da área bem como envolver alunos de graduação e pós-graduação nessa área de pesquisa. Também serão redigi-dos artigos científicos que serão submetiredigi-dos para revistas conceituadas, preferencialmente de circulação internacional.
5
Aplicação dos Recursos
Os recursos da Reserva Técnica e Benefícios Complementares foram aplicados da seguinte forma:
• Aquisição de livros técnicos . . . R$ 1.020,00 Foram adquiridos os seguintes livros sobre redes neurais complexas e hiper-complexas que julgamos relevantes para o desenvolvimento do projeto:
– Tohru Nitta, Complex-valued Neural Networks: Utilizing High-dimensional Param-eters, Information Science Reference, 2009.
– Igor Aizenberg, Complex-Valued Neural Networks with Multi-Valued Neurons, Springer, 2011.
– Akira Hirose, Complex-Valued Neural Networks, Springer, 2012.
• Seguro para o notebook adquirido com recursos do projeto . . . R$ 356,47 Conforme item 4.6.1 e) do Anexo V – Normas para utilização dos recursos da reserva técnica concedidos pela FAPESP.
• Passagens aéreas para participação do WCCI 2014 . . . R$ 4.160,98 Passagens aéreas São Paulo – Pequim, com saída em 02/07 e retorno 11/07.
• Diárias internacionais para participação do WCCI 2014 . . . R$ 3.550,26 04 diárias internacionais em Pequim no valor US 400,00, totalizando US 1600,00 com cambio de 23/06/2014 no qual US 1,00 = R$ 2,2189, para cobrir as despesas de estadia e alimentação para participação do WCCI 2014.
Total dos recursos aplicados: . . . R$ 9.087,71
6
Lista das Publicações Resultantes do Auxílio
• Artigos em revistas científicas indexadas:
1. M.E. Valle: Complex-Valued Recurrent Correlation Neural Networks, IEEE Trans-actions on Neural Networks and Learning Systems, Volume 25, Issue 09, September 2014. Page(s): 1600 - 1612.
2. M.E. Valle: A Robust Subspace Projection Autoassociative Memory Based on the M-Estimation Method, IEEE Transactions on Neural Networks and Learning Sys-tems, Volume 25, Issue 07, July 2014. Page(s): 1372 - 1377.
3. E.L. Esmi and M.E. Valle: Uma Visão Geral de Algumas Abordagens para Proces-samento de Dados, Biomatemática, Volume 24, Issue 1, 2014. Page(s): 91 - 108. • Trabalhos apresentados em conferências internacionais:
1. M.E. Valle: An Introduction to the Max-plus Projection Autoassociative Morpho-logical Memory and Some of Its Variations. In: Proceedings of IEEE International Conference on Fuzzy Systems 2014 (FUZZ-IEEE 2014). Page(s): 53 - 60, Beijing, China, July 2014.
2. M.E. Valle: An Introduction to Complex-Valued Recurrent Correlation Neural Net-works. In: Proceedings of IEEE International Joint Conference on Neural Networks 2014 (IJCNN 2014). Page(s): 3387 - 3394, Beijing, China, July 2014.
3. M.E. Valle: A Novel Continuous-Valued Quaternionic Hopfield Neural Network. Aceito em: Proceedings of 2014 Brazilian Conference on Intelligent Systems (BRACIS 2014). São Carlos, Brazil, October 2014.
• Trabalhos apresentados em conferências nacionais:
1. M.E. Valle: Fuzzy Exponential Recurrent Neural Networks for Gray-scale Image Retrieval. In: Proceedings of Third Brazilian Congress on Fuzzy Systems (III CBSF). João Pessoa, Brazil, August 2014.
Referências
[1] AIZENBERG, I., MORAGA, C., AND PALIY, D. A Feedforward Neural Network based
on Multi-Valued Neurons. In Computational Intelligence, Theory and Applications, B. Reusch, Ed., vol. 33 of Advances in Soft Computing. Springer Berlin Heidelberg, 2005, pp. 599–612.
[2] BÜLOW, T. Hypercomplex Spectral Signal Representations for Image Processing and Analysis. Tech. Rep. NR 9903, Kiel University, Aug. 1999.
[3] CHIUEH, T., AND GOODMAN, R. Recurrent Correlation Associative Memories. IEEE Trans. on Neural Networks 2(Feb. 1991), 275–284.
[4] CHIUEH, T.,ANDGOODMAN, R. Recurrent Correlation Associative Memories and their
VLSI Implementation. In Hassoun [9], 1993, ch. 16, pp. 276–287.
[5] CHIUEH, T.-D.,AND TSAI, H.-K. Multivalued associative memories based on recurrent
networks. IEEE Transactions on Neural Networks 4, 2 (March 1993), 364–366.
[6] DEMBO, A.,ANDZEITOUNI, O. General Potential Surfaces and Neural Networks. Phys-ical Review A 37, 6 (1988), 2134–2143.
[7] ESMI, E. L., SUSSNER, P., VALLE, M. E., SAKURAY, F., AND BARROS, L. Fuzzy Associative Memories Based on Subsethood and Similarity Measures with Applications to Speaker Identification. In Lecture Notes in Computer Science: International Conference on Hybrid Artificial Intelligence Systems (HAIS 2012). Springer-Verlag Berlin Heidelberg, Berlin, Germany, 2012, pp. 479–490.
[8] FOX, J., AND WEISBERG, S. Robust Regression: Appendix to An R Companion to
Applied Regression, 2010.
[9] HASSOUN, M. H., Ed. Associative Neural Memories: Theory and Implementation. Ox-ford University Press, OxOx-ford, U.K., 1993.
[10] HASSOUN, M. H. Fundamentals of Artificial Neural Networks. MIT Press, Cambridge, MA, 1995.
[11] HAYKIN, S. Neural Networks and Learning Machines, 3rd edition ed. Prentice-Hall, Upper Saddle River, NJ, 2009.
[12] HOPFIELD, J.,ANDTANK, D. Neural computation of decisions in optimization problems. Biological Cybernetics 52(1985), 141–152.
[13] HOPFIELD, J. J. Neural Networks and Physical Systems with Emergent Collective
Com-putational Abilities. Proceedings of the National Academy of Sciences 79 (Apr. 1982), 2554–2558.
[14] HUBER, P. Robust Statistics. John Wiley and Sons, Hoboken, New Jersey, USA, 1981.
[15] ISOKAWA, T., HISHIMURA, H., KAMIURA, N.,ANDMATSUI, N. Associative Memory
in Quaternionic Hopfield Neural Network. International Journal of Neural Systems 18, 02 (2008), 135–145.
[16] ISOKAWA, T., NISHIMURA, H., KAMIURA, N.,ANDMATSUI, N. Fundamental Proper-ties of Quaternionic Hopfield Neural Network. In Proceedings of the International Joint Conference on Neural Networks (IJCNN)(Vancouver, Canada, 2006), pp. 218–223. [17] ISOKAWA, T., NISHIMURA, H., KAMIURA, N.,ANDMATSUI, N. Dynamics of
Discrete-Time Quaternionic Hopfield Neural Networks. In Artificial Neural Networks – ICANN 2007, J. M. Sá, L. A. Alexandre, W. Duch, and D. Mandic, Eds., vol. 4668 of Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2007, pp. 848–857.
[18] ISOKAWA, T., NISHIMURA, H.,ANDMATSUI, N. On the fundamental properties of fully
quaternionic hopfield network. In Proceedings of the International Joint Conference on Neural Networks (IJCNN)(Brisbane, Australia, June 2012), pp. 1–4.
[19] ISOKAWA, T., NISHIMURA, H., AND MATSUI, N. Quaternionic Neural Networks for Associative Memories. In Complex-Valued Neural Networks, A. Hirose, Ed. Wiley-IEEE Press, 2013, pp. 103–131.
[20] JANKOWSKI, S., LOZOWSKI, A., ANDZURADA, J. Complex-Valued Multi-State Neural Associative Memory. IEEE Transactions on Neural Networks 7 (1996), 1491–1496. [21] KOHONEN, T. Self-organization and associative memory, 2rd edition ed. Springer-Verlag
New York, Inc., New York, NY, USA, 1987.
[22] KUROE, Y., ANDTANIGUCHI, Y. Models of self-correlation type complex-valued asso-ciative memories and their dynamics. In Artificial Neural Networks: Biological Inspira-tions – ICANN 2005, W. Duch, J. Kacprzyk, E. Oja, and S. Zadrozny, Eds., vol. 3696 of Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2005, pp. 185–192. [23] LEE, D.-L. Improvements of complex-valued Hopfield associative memory by using
generalized projection rules. IEEE Transactions on Neural Networks 17, 5 (September 2006), 1341–1347.
[24] LIU, Q.,ANDWANG, J. A One-Layer Recurrent Neural Network for Constrained Nons-mooth Optimization. IEEE Transactions on Systems, Man, and Cybernetics, Part B 41, 5 (Oct. 2011), 1323–1333.
[25] MARONNA, R. A., MARTIN, R. D., AND YOHAI, V. J. Robust Statistics: Theory and
Methods. Wiley Series in Probability and Statistics. John Wiley and Sons, Hoboken, New Jersey, USA, 2006.
[26] MCELIECE, R. J., POSNER, E. C., RODEMICH, E. R., AND VENKATESH, S. The
capacity of the Hopfield associative memory. IEEE Transactions on Information Theory 1(1987), 33–45.
[27] MÜEZZINO ˇGLU, M., GÜZELI ¸S, C., AND ZURADA, J. A New Design Method for the Complex-Valued Multistate Hopfield Associative Memory. IEEE Transactions on Neural Networks 14, 4 (July 2003), 891–899.
[28] OH, C., AND ZAK, S. H. Image recall using a large scale generalized Brain-State-in-a-Box neural network. International Journal of Applied Mathematics and Computer Science 15, 1 (Mar. 2005), 99–114.
[29] OSANA, Y. Chaotic Quaternionic Associative Memory. In Proceedings of the
Interna-tional Joint Conference on Neural Networks (IJCNN) (Brisbane, Australia, June 2012), pp. 1–8.
[30] PEDRYCZ, W., AND GOMIDE, F. Fuzzy Systems Engineering: Toward Human-Centric
Computing. Wiley-IEEE Press, New York, 2007.
[31] RITTER, G. X., ANDSUSSNER, P. An Introduction to Morphological Neural Networks. In Proceedings of the 13th International Conference on Pattern Recognition (Vienna, Aus-tria, 1996), pp. 709–717.
[32] RITTER, G. X., SUSSNER, P., AND DE LEON, J. L. D. Morphological Associative Memories. IEEE Transactions on Neural Networks 9, 2 (1998), 281–293.
[33] SMITH, K., PALANISWAMI, M., AND KRISHNAMOORTHY, M. Neural Techniques for
Combinatorial Optimization with Applications. IEEE Transactions on Neural Networks 9, 6 (Nov. 1998), 1301–1318.
[34] SUZUKI, Y., KITAHARA, M., AND KOBAYASHI, M. Dynamic complex-valued asso-ciative memory with strong bias terms. In Neural Information Processing, B.-L. Lu, L. Zhang, and J. Kwok, Eds., vol. 7062 of Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2011, pp. 509–518.
[35] TANAKA, G., ANDAIHARA, K. Complex-Valued Multistate Associative Memory With Nonlinear Multilevel Functions for Gray-Level Image Reconstruction. IEEE Transactions on Neural Networks 20, 9 (Sept. 2009), 1463–1473.
[36] TURKSEN, I., AND ZHAO, Z. An approximate analogical reasoning approach based on similarity measures. IEEE Transactions on Systems Man and Cybernetics 18, 6 (Nov. 1988), 1049–1056.
[37] VALLE, M. Complex-valued recurrent correlation neural networks. IEEE Transactions
on Neural Networks and Learning Systems 25, 9 (September 2014), 1600–1612.
[38] VALLE, M. A robust subspace projection autoassociative memory based on the
M-estimation method. IEEE Transactions on Neural Networks and Learning Systems 25, 7 (July 2014), 1372–1377.
[39] VALLE, M. E. A Novel Continuous-Valued Quaternionic Hopfield Neural Network. In Proceedings of the Brazilian Conference on Intelligent Systems 2014 (BRACIS 2014)(São Carlos, Brazil, October 2014).
[40] VALLE, M. E. An Introduction to Complex-Valued Recurrent Correlation Neural
Net-works. In Proceedings of the IEEE International Joint Conference on Neural Networks 2014 (IJCNN 2014)(Beijing, China, July 2014), pp. 3387 – 3394.
[41] VALLE, M. E. Fuzzy Exponential Recurrent Neural Networks for Gray-scale Image Re-trieval. In Proceedings of the Third Brazilian Conference on Fuzzy Systems (III CBSF) (João Pessoa, Brazil, August 2014).
[42] WILSON, R. C.,ANDHANCOCK, E. R. Storage Capacity of the Exponential Correlation Associative Memory. Neural Processing Letters 13, 1 (Feb. 2001), 71–80.
[43] WILSON, R. C., AND HANCOCK, E. R. A study of pattern recovery in recurrent
corre-lation associative memories. IEEE Transactions on Neural Networks 14, 3 (May 2003), 506–519.
[44] YAGER, R. R., AND FILEV, D. P. Summarizing data using a similarity based mountain method. Information Sciences 178, 3 (February 2008), 816–826.
[45] ZHANG, B.-L., ZHANG, H., AND GE, S. S. Face Recognition by Applying Wavelet Subband Representation and Kernel Associative Memory. IEEE Transactions on Neural Networks 15, 1 (Jan. 2004), 166–177.
[46] ZURADA, J., CLOETE, I., AND VAN DER POEL, E. Generalized Hopfield Networks
for Associative Memories with Multi-Valued Stable States. Neurocomputing 13 (1996), 135–149.
[47] ZWICK, R., CARISTEIN, E., AND BUDESCU, D. V. Measures of Similarity Among Fuzzy Concepts: A Comparative Analysis. International Journal of Approximate Reason-ing 1, 2 (Apr. 1987), 221–242.
