Fundamentos e Aplicações de Memórias Associativas Morfológicas Nebulosas

Fundamentos e Aplicações de Memórias

Associativas Morfológicas Nebulosas

Orientando: Marcos Eduardo R. Valle Mesquita Orientador: Peter Sussner

Departamento de Matemática Aplicada

Instituto de Matemática, Estatística e Computação Científica Universidade Estadual de Campinas

Trabalhos publicados, aceitos ou submetidos

Periódicos Internacionais:

1 _{Sussner, P.; Valle, M.E.: Gray-Scale Morphological}

Associative Memories, IEEE Trans. on Neural Networks, Volume 17, Issue 3, May 2006. Page(s): 559 - 570.

2 P. Sussner and M.E. Valle: Implicative Fuzzy Associative Memories, IEEE Transactions on Fuzzy Systems, Volume 14, Issue 6, Dec. 2006. Page(s): 793 - 807 3 _{Sussner, P.; Valle, M.E.: Classification of Fuzzy}

Mathematical Morphologies Based on Concepts of Inclusion Measure and Duality, Submetido em Pattern

Trabalhos publicados, aceitos ou submetidos

Capítulo de Livro:

1 _{P.Sussner and M.E. Valle: Fuzzy Associative Memories} and Their Relationship to Mathematical Morphology.

Handbook of Granular Computing. Eds. W. Pedrycz, A. Skowron, and V. Kreinovich, John Wiley and Sons, April

2007.

2 _{P. Sussner and M.E. Valle: Morphological and Certain} Fuzzy Morphological Associative Memories for

Classification and Prediction. Computational

Intelligence Based on Lattice Theory. Eds V.G.

Kaburlasos and G.X. Ritter, Springer-Verlag, Heidelberg,

Trabalhos publicados, aceitos ou submetidos

Proceedings de Conferências Nacionais e Internacionais:

1 IEEE International Joint Conference on Fuzzy Systems,

FUZZ-IEEE 2007, London, England, July 2007.

2 _{IEEE World Congress on Computational Intelligence,}

WCCI 2006, Vancouver, Canada, July 2006.

3 _{Brazilian Symposium on Computer Graphics and Image} Processing, SIBGRAPI 2005, Natal, Brazil, October 2005. 4 _{Congresso Brasileiro de Redes Neurais, CBRN 2005,}

Natal, Brazil, October 2005.

5 _{IEEE International Joint Conference on Neural Networks,}

Organização da Apresentação

1 Morfologia Matemática;

2 _{Teoria dos Conjuntos Nebulosos;}

3 _{Memórias Associativas Morfológicas Nebulosas;} 4 _{Memórias Associativas Nebulosas Implicativas;} 5 _{Aplicações em Problemas de Predição;}

Morfologia Matemática

em reticulados completos.

Morfologia Matemática

Uma teoria para processamento e análise de objetos

(imagens) baseada em conceitos topológicos e geométricos. Os reticulados completos representam o contexto mais geral onde a morfologia matemática pode ser conduzida.

Reticulado Completo

Conjunto parcialmente ordenadoLonde todo subconjunto (finito ou infinito) possui supremo e ínfimo emL.

Operadores Elementares da Morfologia Matemática:

Resultado de Banon e Barrera:

Qualquer operador entre reticulados completos pode ser decomposto em supremos e ínfimos de operadores elementares da morfologia matemática.

Dualidade com Respeito à Adjunção

Adjunção

(ε, δ)forma umaadjuncãose e somente se δ(x) ≤y ⇔x ≤ ε(y) .

Se(ε, δ)é umaadjunção, entãoδé umadilataçãoeεé umaerosão.

Dado umaerosãoε,existe uma única dilataçãoδ tal que (ε, δ)forma uma adjunção, e vice-versa.

Dualidade com Respeito à Negação

Negação:

Bijeção involutivaν_L que reverte a ordem parcial deL. Negação deΨ : L → Mcom respeito àν_Leν_M:

Ψν(x) = ν_M(Ψ (ν_L(x))) .

Negação e Adjunção

O par(ε, δ)formaadjunçãose e somente se(δν, εν)é uma adjunção. Relações de Dualidade: Dilataçãoδ oo Adjunção // OO Negação  Erosão_OO ε Negação 

Relação entre os Operadores Elementares

Decomposição de Anti-dilatações e Anti-erosões

¯

δ : L → Mé umaanti-dilataçãose e somente se

¯

δ = ν_M◦ δ e δ = ε ◦ ν¯ _L,

ondeδ = ν_M◦ ¯δé umadilataçãoeε = ¯δ ◦ ν_L é umaerosão. Resultadoanálogoparaanti-erosões!

Conjunção Nebulosa e t-norma

Aplicação crescente C: [0,1] × [0,1] → [0,1]que satisfaz C(0,0) =C(0,1) =C(1,0) =0 e C(1,1) =1.

t-norma

Conjunção nebulosa T : [0,1] × [0,1] → [0,1]comutativa e associativaque satisfazT(x,1) =x.

Exemplos de t-normas

Mínimo: CM(x,y) =x∧y,

Produto: CP(x,y) =xy,

Disjunção Nebulosa e s-norma

Aplicação crescente D: [0,1] × [0,1] → [0,1]que satisfaz D(0,0) =0 e D(0,1) =D(1,0) =D(1,1) =1.

s-norma

Disjunção nebulosa S: [0,1] × [0,1] → [0,1]comutativa e associativaque satisfazS(0,x) =x.

Exemplos de S-normas

Máximo: DM(x,y) =x∨y,

Soma Probabilistica: DP(x,y) =x +y −xy,

Implicação Nebulosa

Operador I: [0,1] × [0,1] → [0,1]: Decrescente no primeiro argumento, Crescente no segundo argumento, Estende a implicação clássica. Exemplos de Implicação Nebulosa:

Implicação de Gödel:IM(x,y) =  1, x ≤y y, x >y , Implicação de Goguen: IP(x,y) =  1, x ≤y y/x, x >y , Implicação de Lukasiewicz:IL(x,y) =1∧ (y −x +1).

Relações entre Conjunção, Disjunção e Implicação

Conjunção x Disjunção:

Conjunções e disjunções nebulosaspodem estar associadas por meio da relação de dualidade com respeito ànegação. Negação Nebulosa

É uma negação em[0,1].

C e D são duais com respeito a negação N

D(x,y) =N(C(N(x),N(y))). Exemplos de pares duais com respeito à N_S: (CM,DM),(CP,DP)e(CL,DL).

Relações entre Conjunção, Disjunção, Implicação

Disjunção x Implicação e Implicação x Conjunção:

Disjunções e implicaçõespodem estar associadas por meio da seguinte equação:

I(x,y) =D(y,N(x)) .

Conjunções e implicações nebulosaspodem estar associadas por meio da relação de dualidade com respeito àadjunção. Os operadores I e C formam uma adjunção se

I(x, ·)eC(x, ·)formam umaadjunção. Exemplos de pares adjuntos:

Relações entre Conjunção, Disjunção e Implicação

Conjunção + Disjunção + Implicação:

R-implicação

DadoT contínua,(IT,T)forma umaadjunçãose e somente se IT(x,y) = _ {z ∈ [0,1] :T(x,z) ≤y} . Conjunção nebulosa C oo Adjunção // OO Negação N  Implicação nebulosa I_OO Negação N 

Disjunção nebulosa Dvv oo Adjunção//

I(x,y)=_m D(y,N(x)) m m m m m m 66m m m m m m m

Implicação Nebulosa Dual

J é tal que(D,J)forma uma adjunção:

J(x,y) =^{z∈ [0,1] :D(x,y) ≥y}. J e I são duais com respeito a negação N:

J(x,y) =N(I(N(x),N(y))). Exemplos de Implicação Nebulosa Dual:

Implicação dual de Gödel: JM(x,y) = 

0, x ≥y y, x <y ,

Memórias Associativas (AMs)

Memória Associativa

Armazenar associações;

Recordar um padrão mesmo quando a entrada é incompleta ou ruidosa;

Formulação Matemática

Memórias Fundamentais: xξ,yξ
: ξ =1, . . . ,k , Determinar G tal que G(xξ) =yξ para todoξ =1, . . . ,k . Tolerância a ruído

Memórias Associativas Morfológicas Nebulosas

Memória Associativa Neural G é descrito por uma rede neural!

Memória Associativa (Neural) Nebulosa (FAM)

G é uma rede neural nebulosa e xξe yξsão conjuntos nebulosos!

Memória Associativa (Neural) Morfológica Nebulosa (FMAM) G é descrito por uma rede neural morfológica nebulosa e xξe

Rede Neural Artificial (RNA)

Modelo inspirado no cérebro humano. Rede Neural Nebulosa (RNN) Híbridas

Entrada, saída e/ou pesos sinápticos nebulosos. Combina entradas e conexões sinápticas nebulosas usando operações da lógica nebulosa.

As redes híbridas podem representar sistemas de regras nebulosas Se-Então.

Redes Neurais Morfológicas (RNM)

Neurônios realizam operações elementares da MM. Redes Neurais Morfológicas Nebulosas

Neurônios Max-C e o Produto Max-C

Modelos mais usados em FAMs:

y =   n _ j=1 C wj,xj
 ∨ θ = (wT ◦x) ∨ θ . Produto Max-C: C=A◦B é definido como: cij = p _ k=1 C(aik,bkj) .

Max-C FMAMs e Exemplos

C(w, ·)dilatação⇔o neurônio Max-C é uma dilatação. Neste caso, uma FAM com neurônios Max-C é uma FMAM!

Exemplos:

FAMs de Kosko - max-CM ou max-CP (FMAMs);

FAM de Junbo e FAM de Liu - max-CM (FMAMs);

FAM Generalizada de Chung e Lee - max-T (FMAMs se T é contínua);

Neurônios Min-D e o Produto Min-D

D(m, ·)erosão⇔o neurônio Min-D é uma erosão. Neurônios min-D aprecem nas IFAMs duais.

Neurônios Min-I e o Produto Min-I

Neurônio Min-I pela Esquerda:

y =   n ^ j=1 I wj,xj
 ∧ ϑ = (xT ~w) ∧ ϑ = (xT •N(w)) ∧ ϑ .

Representa uma erosão se e somente se I(w, ·)for uma erosão. Empregados nas IFAMs adjuntas.

Neurônio Min-I pela Direita: y =   n ^ j=1 I xj,mj
 ∧ ϑ = (mT ~x) ∧ ϑ = (mT •N(x)) ∧ ϑ .

Representa uma anti-dilatação se e somente se I(·,m)for uma anti-dilatação.

Teorema:

Se(IT,T)for uma adjunção, então IT(·,m)é uma

anti-dilatação.

Memórias Associativas Nebulosas Implicativas

Rede neural nebulosa híbrida de camada única com neurônios max-T , onde T é uma t-norma contínua.

y= (W ◦T x) ∨ θ .

t-norma contínua⇒neurônios das IFAMs realizam dilatações. Aprendizado R-implicativo W =Y _~T XT, θ = k ^ ξ=1 yξ.

onde(IT,T)forma uma adjunção,

Teorema do Aprendizado Nebuloso R-implicativo

Teorema Principal do Aprendizado R-implicativo W eθ do aprendizado nebuloso R-implicativo satisfaz:

[W, θ] =_{[A, β] : (A◦T xξ) ∨ β ≤yξ, ∀ξ =1, . . . ,k}.

Corolário

Se A eβsão tais que yξ_{= (A◦}

T xξ) ∨ β, ∀ ξ =1, . . . ,k , então A≤W =Y ~T XT e β ≤ θ = k ^ ξ=1 yξ yξ= (W ◦T xξ) ∨ θ ∀ξ =1, . . . ,k.

Memórias Nebulosas Implicativas Autoassociativas

Memórias Nebulosas Implicativas Autoassociativas (AFIMs) Caso autoassociativo{(xξ,xξ) : ξ =1, . . . ,k}: W =X _~T XT e θ = k ^ ξ=1 xξ. Ponto Fixo x é um ponto fixo de W se x=W ◦_T x.

Teorema dos Pontos Fixos

Teorema dos Pontos Fixos das AFIMs

Dado{x1, . . . ,xk}. SeW =X~T XT eθ =Vkξ=1xξ (aprendizado R-implicativo) então:

Para todo x∈ [0,1]n, a saída(W ◦_T x) ∨ θda AFIM é o

supremo de xno conjunto depontos fixos de W maiores queθ.

Em outras palavras,(W ◦_T x) ∨ θé omenor ponto fixoy

deW tal quey≥x e y≥ θ. Se y é um vetor constante ou y= k _ l=1 ^ ξ∈Ll xξ.

Propriedades da AFIMs

Consequências do Teorema dos Pontos Fixos:

AFIMs possuem um grande número de pontos fixos que incluem os padrões originais;

AFIMs possuem capacidade de armazenamento ilimitada; AFIMs possuem muitos padrões espúrios;

A bacia de atração de um padrão xξ_{consiste apenas de}

padrões x tais que x≤xξ_.

Modelo Dinâmico

Podemos converter uma AFIM num modelo dinâmico introduzindo a saída(W ◦_T x) ∨ θnovamente na memória. Convergência com uma única iteração!

Exemplo

Exemplo

Padrões de Entrada

Exemplo

Padrões de Entrada

Exemplo

Padrões de Entrada

Exemplo

Padrões de Entrada

IFAM Dual

com Respeito a Negação Usual

IFAM (Dilatação)

W(x) = (W ◦_T x) ∨ θ.

IFAM DualM

Negação deW com respeito a negação usual (erosão). Teorema

IFAM dual é descrita por

y= M(x) = (M•_Sx) ∧ ϑ.

IFAM Adjunta

IFAM (Dilatação)

W : [0,1]n→ {y∈ [0,1]m: θ ≤y}.

IFAM AdjuntaA

Erosão adjunta deW: (A, W)forma uma adjunção! Teorema

IFAM Adjunta é descrita por:

xT = A(y) =yT ~T W =yT •N(W),

Previsão da Mão-de-obra em Indústrias Metalúrgicas

Definimos:

Cinco variáveis linguísticas representado conceitos como: “a mão-de-obra requerida é grande”.

Regras como:“Se a mão-de-obra do ano n é grande, então a do ano n+1 é muito grande”.

As regras são obtidas dos valores passados.

Convertemos estas regras num conjunto deentrada-saída (xξ_,yξ_{)que éarmazenado numa FMAM.}

A estimativa da mão-de-obra requerida é obtida “defuzzificando” a resposta da FMAM.

Previsão de mão-de-obra estimada

IFAM dual adjunta de Lukasiewicz IFAM adjunta de Lukasiewicz IFAM de Godel, FAM de Junbo e Max−min FAM com limiar IFAM dual de Lukasiewicz e

FLBAMs de Lukasiewicz, Godel e Goguen FAMs max−min e max−prod e GFAM de Lukasiewicz IFAM de Lukasiewicz Valor Real

Erro médio na previsão de mão-de-obra

Método EPMN Método EPMN

FAM max-min 2.67 FLBAM de Lukasiewicz 2.56 FAM max-prod 2.67 FLBAM de Godel 2.56 GFAM de Lukasiewicz 2.67 FLBAM de Goguen 2.56

FAM de Junbo 2.73 Max-min FAM com limiar 2.73

IFAM Lukasiewicz 2.29 IFAM dual de Lukasiewicz 2.56 IFAM de Godel 2.73 IFAM dual de Godel 8.08 IFAM de Goguen 2.99 IFAM dual de Goguen 8.08

IFAM adjunta de Lukasiewicz 4.74 IFAM dual adjunta de Lukasiewicz 5.64 IFAM adjunta de Godel 6.89 IFAM dual adjunta de Godel 7.26 IFAM adjunta de Goguen 6.89 IFAM dual adjunta de Goguen 7.26

Previsão da Vazão de uma Usina Hidroelétrica

Prever a vazão mensal média da usina hidroelétrica de Furnas. São fornecidos dados históricos de 1931 a 1998.

Treinamento: Dados de 1931 a 1990 (60 anos); Teste:Dados de 1991 a 1998 (8 anos);

Idéia

Criar associações(xξ,yξ)- Informação de 1931 a 1990. Dado xq - “Vazão” dos últimos meses.

Padrão recordado yq e valor estimado:

sq =defuzz(yq).

Previsão da Vazão de uma Usina Hidroelétrica

Armazenamento Implícito e Fase de Recordação Se xq _{= [1,0,0, . . . ,0]}T_{, então y}q _{= [y}q 1, . . . ,y q m]T: y_iq =1∧   k ^ ξ=1 (1−x₁ξ+y_iξ)  .

Padrões que Serão Fuzzificados Definir pγ _{= [s}

γ−h, . . . ,sγ−1]T;

h = número de termos p/ estimar sγ(h=3).

Fuzzificar pξ_{e s}

ξusando função de pertinência

Definido as Memórias Fundamentais

[C,d] =subclust(S,r).

S = dados de 1931 a 1990 onde S(i, :) = [pγ,sγ].

r = 0.5 é a influência de um centro de grupo. Tome[cξ_x,c_yξ] =C(ξ, :). x₁ξ =exp   1 2 h X l=1 (pq₎ l− (cξx)l σl !2  e y ξ i =exp   1 2 vi−cyξ σh+1 !2 .

onde v1, . . . ,vmsão pontos igualmente espaçados (m=100) e

σ_l2= 1 2dl

Previsão usando a IFAM de Lukasiewicz

Erro Produzidos pelos Modelos de Predição

Erro Produzidos por Diferentes Modelos de Predição

Método EQM (×105_{) EAM (m}3_{/s) EPM (%)}

Lukasiewicz IFAM 1.42 226 22

PARMA 1.85 280 28

MLP 1.82 271 30

NFN 1.73 234 20

FPM-PRP 1.20 200 18

EQM - Erro Quadrático Médio; EAM - Erro Absoluto Médio; EPM - Erro Percentual Médio;

O que foi feito na tese...

MNNs e FMAMs:

Discutidos os neurônios morfológicos max-C, min-D e min-I.

Observou-se que os neurônios min-I podem ser descritos em termos de neurônios min-D;

Observado que os principais modelos de FAMs estão baseados em neurônios morfológicos max-T ;

Observado também que as FLBAMs estão baseadas em neurônios min-I ou min-D, onde D é uma disjunção nebulosa (não necessariamente uma t-norma).

O que foi feito na tese...

Memórias Associativas Nebulosas Implicativas:

Introduzidas as IFAMs, o aprendizado R-implicativo nebuloso (Teorema Principal);

Para o caso autoassociativo:

1 _{Convergência numa única iteração;}

2 _{Capacidade absoluta de armazenamento ilimitada;} 3 _{Tolerância com respeito a padrões x≤x}ξ_;

4 _{O padrão recordado por uma AFIM é o supremo no}

conjunto dos pontos fixos do modelo;

5 _{O conjunto dos pontos fixos inclue os polinômios}

reticulados do conjunto de memórias fundamentais;

Introduzidas as IFAMs duais. Introduzidas as IFAMs adjuntas.

Discutida a relação das IFAMs com outros modelos de AMs.

O que foi feito na tese:

Aplicações

As FMAMs foram aplicadas no problema da previsão da mão-de-obra em industrias metalúrgicas;

IFAM de Lukasiewicz produziu os melhores resultados; A IFAM de Lukasiewicz foi aplicada com sucesso no problema de previsão da vazão média mensal da usina hidrelétrica de Furnas.

Trabalhos Futuros...

Caracterizar completamente o conjunto dos pontos fixos das FMAMs autoassociativas tendo como base os

resultados desenvolvidos para as MAMs e para as IFAMs; Estender o resultado do item anterior para o caso

heteroassociativo. Em particular, caracterizadar a fase de recordação das IFAMs heteroassociativas.

Aplicações:

Aperfeiçoar as estratégias de “fuzzificação” e

“defuzzificação” empregadas nos problemas de previsão; Analisar o desempenho das FMAMs em problemas de classificação, controle e previsão.