Duas abordagens para casamento de padrões de pontos baseadas em relações espaciais e casamento entre grafos

Duas abordagens para casamento de padr˜

oes de

pontos baseadas em rela¸c˜

oes espaciais e

casamento entre grafos

Exame de Doutorado

Aluno: Alexandre Noma,

Orientador: Prof Dr Roberto M. Cesar-Jr

Instituto de Matem´

atica e Estat´ıstica

Universidade de S˜

ao Paulo

Motiva¸c˜

ao

I

Casamento entre padr˜

oes de pontos.

Motiva¸c˜

ao

I

Casamento entre padr˜

oes de pontos.

Representa¸c˜

ao por grafos

I

Cada ponto ´

e representado por um v´

ertice.

I

Cada rela¸

c˜

ao ´

e representada por uma aresta.

I

Problema de casamento entre dois grafos:

I

Grafo modelo G

m

:

v´

ertices do modelo representam classes ou r´

otulos.

Grafo de entrada G

i

:

v´

ertices da entrada representam os pontos a serem

classificados.

Desafio

I

Como superar ‘incompatibilidade topol´

ogica’ ao comparar dois

grafos?

Desafio

I

Como superar ‘incompatibilidade topol´

ogica’ ao comparar dois

grafos?

Solu¸c˜

oes

I

Algoritmos sofisticados de casamento entre grafos.

Literatura

(Busca)

W. H. Tsai, K. S. Fu:

Error-correcting isomorphisms of attributed relational graphs

for pattern analysis.

IEEE Trans. on Systems, Man, and Cybernetics, Vol. 9, No.

12 (1979).

(Otim)

M. A. Fischler, R. A. Elschlager:

The representation and matching of pictorial structures.

IEEE Trans. Computers, Vol. 22, No. 1 (1973).

(Espectr)

S. Umeyama:

Contribui¸c˜

oes: duas abordagens

I

deformed graphs (DG)

I

Evitar a compara¸c˜

ao direta entre os dois grafos usando uma

estrutura auxiliar.

I

belief propagation (BP)

I

Compara¸c˜

ao direta usando informa¸c˜

oes de contexto fornecido

pela ‘vizinhan¸

ca’ (Markov ).

T´

opicos

I

Algoritmo DG.

I

Algoritmo BP.

I

Aplica¸

c˜

oes.

Nota¸c˜

oes e defini¸c˜

oes preliminares

I

attributed relational graph (ARG) G = (V , E , µ

V

, ν

E

).

µ

V

: atributos de v´

ertices (

aparˆ

encia

).

ν

E

: atributos de arestas (

estrutura

).

I

mapeamento f : V

i

→ V

m

I

Quadratic Assignment:

Atributos de v´

ertices (µ

V

)

I

Dependente de cada aplica¸

c˜

ao.

Atributos de arestas (ν

E

)

I

Explorar posi¸c˜

ao relativa entre os pontos:

distˆ

ancia e orienta¸

c˜

ao.

Geometric penalties

I

c

vec

( ~

v

1

, ~

v

2

) = λ

2

c

ang

( ~

v

1

, ~

v

2

) + (1 − λ

2

)c

mod

( ~

v

1

, ~

v

2

)

I

‘Orienta¸

c˜

ao’:

c

ang

( ~

v

1

, ~

v

2

) =

|cosθ−1|

₂

I

‘Distˆ

ancia’:

c

mod

( ~

v

1

, ~

v

2

) =

| ~

v

|−| ~

v

|

d

I

λ

2

= 0.5

Casamento

I

mapeamento f : V

i

→ V

m

I

rela¸

c˜

ao N × 1: Homomorfismo

1a. contribui¸c˜

ao: Deformed graphs (DGs)

I

Para cada par (

v

i

,

v

m

), temos seu respectivo DG, G

d

(v

i

, v

m

).

I

Representa uma deforma¸

c˜

ao ‘local’ em rela¸

c˜

ao ao modelo

original.

Deformed graphs (DGs)

I

Objetivo: avaliar as deforma¸

c˜

oes n˜

ao-r´ıgidas.

I

Evita a compara¸

c˜

ao direta entre G

i

e G

m

.

I

N˜

ao usa informa¸c˜

ao de adjacˆ

encia em G

i

.

I

Cada par (

v

i

,

v

m

) ´

e analisado de maneira independente.

E (v

i

, v

m

) = λ

1

d

A

(v

i

, v

m

) + (1 − λ

1

)

d

S

(v

i

, v

m

)

Custo E (v

i

, v

m

)

I

Aparˆ

encia

: avaliar diretamente µ(v

i

) e µ(v

m

)

I

Estrutura

: avaliar a m´

edia das deforma¸

c˜

oes locais.

d

S

(v

i

, v

m

) =

d

S

(v

d

, v

m

) =

|E (v

1

)|

P

e

∈E (v

)

c

vec

ν(e

d

), ν(e

m

)

Algoritmo: Deformed Graph (DG)

I

Input: G

i

e G

m

I

Output: Conjunto P de pares (v

i

, v

m

) representando um

homomorfismo entre G

i

e G

m

.

calcHomomorfismo(G

i

, G

m

)

1

P ← ∅

2

Para cada

v

i

, atribua um

v

m

associado ao custo mais baixo

e inclua este par em P.

3

Devolva P

Algoritmo: Deformed Graph (DG)

I

Convers˜

ao para rela¸

c˜

ao 1 × 1

(maximum common subgraph, MCS).

calcMCS(G

i

, G

m

)

1

P ← calcHomomorfismo(G

i

, G

m

)

2

P´

os-processamento:

para cada v

m

, manter um par (v

i

, v

m

) de menor custo.

Algoritmo: Deformed Graph (DG)

I

Alterna 2 passos:

transforma¸

c˜

ao

e

correspondˆ

encia

(Iterative Closest Point, ICP [Besl e McKay 1992]).

calcMCSICP(G

i

, G

m

)

1

Inicialize d

_x

0

e d

_y

0

2

Repita

3

Atualize as coordenadas em G

m

usando d

x

t−1

e d

y

t−1

.

4

P

t

← calcMCS(G

i

, G

m

)

.

5

Estimar valores d

_x

t

e d

_y

t

usando P

t

.

6

At´

e convergir ou atingir m´

ax itera¸

c˜

oes

7

Devolva P

t

2a. contribui¸c˜

ao: Markov Random Fields (MRF)

I

Conjunto de vari´

aveis aleat´

orias.

I

Conjunto de r´

otulos L.

I

Sistema de vizinhan¸ca N .

I

Assumimos duas propriedades:

Markoviana e Positividade.

MRF

I

Definimos campo aleat´

orio em G

i

.

I

p ∈ V

i

, F

p

´

e uma vari´

avel aleat´

oria.

I

R´

otulos L = V

m

.

Nota¸c˜

oes

I

p ∈ V

i

I

f

p

∈ V

m

´

e um ‘r´

otulo’

I

F

p

´

e uma vari´

avel aleat´

oria

I

P(F

p

= f

p

) = P(f

p

)

I

P(F

p

= f

p

, F

p

= f

p

, . . .) = P(F = f ) = P(f )

I

f = {f

p

: p ∈ V

i

} ´e uma ‘configura¸c˜

ao’

I

Prop. Markoviana:

Markov Random Fields (MRF)

I

Propriedade Markoviana

Markov Random Fields (MRF)

I

Propriedade Positiva

‘Permite aplicar o teorema de Hammersley-Clifford 1971, que

estabelece a equivalˆ

encia entre MRFs e GRFs (Gibbs)’.

I

Distribui¸

c˜

ao de Gibbs (restrito a ‘cliques’ de tamanho dois):

P(f ) = Z

−1

.exp(−

P

Maximum A Posteriori (MAP)

I

Distribui¸

c˜

ao a posteriori (D: dados de ‘aparˆ

encia’):

p(f |D) =

p(D|f ).p(f )

_p(D)

I

MAP estimate: queremos encontrar

f

∗

= arg max p(D|f ).p(f )

I

Teorema (Hammersley-Clifford 1971):

E (f ) =

P

Fun¸c˜

ao custo

I

E (f ) =

P

p∈V

D(f

p

)

+ λ

1

P

(p,q)∈E

M(f

p

, f

q

)

I

Aparˆ

encia

: D(f

p

)

I

Estrutura

:

M(f

p

, f

q

) =



c

vec

ν

i

(p, q), ν

m

(f

p

, f

q

)

, se (f

p

, f

q

) ∈ E

m

cte,

se (f

p

, f

q

) /

∈ E

m

e f

p

6= f

q

Algoritmo: Belief Propagation (BP)

[IJCV2006] Pedro Felzenszwalb, Daniel Huttenlocher:

Efficient Belief Propagation for Early Vision.

IJCV Vol. 70, No. 1 (2006).

(exploram suavidade / smoothness)

I

(Extens˜

ao) Informa¸

c˜

oes estruturais explorando 3 itens:

adjacˆ

encia, distˆ

ancia e orienta¸

c˜

ao.

Algoritmo: Belief Propagation (BP)

I

m

_pq

t

(f

q

) = min

f

M(f

p

, f

q

)

+

D

p

(f

p

)

+

P

s∈N

\{q}

m

t−1

sp

(f

p

)

!

I

After T iterations, for each input vertex, a belief vector is

computed, representing the costs for each possible label:

b

q

(f

q

) = D

q

(f

q

) +

P

p∈N

m

T

pq

(f

q

)

Algoritmo: Belief Propagation (BP)

Messages can be rewritten as a min-convolution [IJCV2006]:

1.

m

_pq

t

(f

q

) = min

f

M(f

p

, f

q

) +

D

p

(f

p

) +

P

s∈N

\{q}

m

t−1

sp

(f

p

)

!

2.

m

_pq

t

(f

q

) =

min

f

M(f

p

, f

q

)

+

h(f

p

)

!

Algoritmo: Belief Propagation (BP)

I

Potts [IJCV2006]:

m

_pq

t

(f

q

) = min

h(f

q

), min

f

h(f

p

) + d

!

I

We efficiently computed the messages by assuming:

m

_pq

t

(f

q

) = min

H(f

q

)

, min

f

h(f

p

) +

d

!

H(f

q

)

= min

f

∈N

∪{f

}

h(f

p

) + M(f

p

, f

q

)

Aplica¸c˜

ao: correspondˆ

encia 2DE

I

Coopera¸c˜

ao com prof. Alvaro Pardo.

I

Eletroforese 2D em gel ´

e um processo de separa¸

c˜

ao de

prote´ınas.

Dificuldades

I

Deforma¸c˜

oes n˜

ao-r´ıgidas entre pontos correspondentes.

Aparˆ

encia: shape context

I

S. Belongie and J. Malik and J. Puzicha.

Shape Matching and Object Recognition Using Shape

Contexts. IEEE PAMI, Vol. 24, No. 4, 2002.

Resultados: correspondˆ

encia 2DE

I

2D gel Datasets:

Resultados: correspondˆ

encia 2DE

I

Compara¸c˜

ao com m´

etodo hungaro

(Bipartite Graph Matching, BGM),

com e sem estima¸

c˜

ao de transforma¸

c˜

ao

(Thin-Plate Splines, TPS),

e Graduated Assignment (GA).

0.2 0.4 0.6 0.8 1 Error

Error mean and std when removing points BGM BGM+TPS GA DG 0.2 0.4 0.6 0.8 1 Error

Error mean and std for gaussian noise BGM BGM+TPS GA DG

Aplica¸c˜

ao: segmenta¸c˜

ao interativa de imagens

I

Coopera¸c˜

ao com Luis Augusto Consularo, Ana B. V.

Aplica¸c˜

ao: segmenta¸c˜

ao de imagens

I

watershed

I

cada regi˜

ao ´

e representada pelo seu centr´

oide

I

grafo de entrada inclui todos os pontos

Atributos

I

Aparˆ

encia: n´ıvel m´

edio de cinza

P´

os-processamento

P´

os-processamento

P´

os-processamento

P´

os-processamento

Compara¸c˜

ao qualitativa

[I3ETIP2010] K. McGuinness, N. E. O’Connor:

A comparative evaluation of interactive segmentation

algorithms.

(SRG)

seeded region growing [PAMI1994]

(SIOX)

simple interactive object extraction [Friedland et al. 2005]

(IGC)

interactive graph cuts [Boykov-Jolly 2001]

Compara¸c˜

ao quantitativa

[ECCV2004] A. Blake, C. Rother, M. Brown, P. Torr:

Interactive image segmentation using an adaptive GMMRF

model.

Compara¸c˜

ao quantitativa

Method

Error rate

GMMRF [ECCV2004]

7.9%

IGC [Boykov-Jolly 2001]

6.7%

Random walker [Grady 2006]

5.4%

DG+P1+P2 (λ

1

= 0.5)

5.4%

Geodesic GC [CVPR2010]

4.8%

DG+P1+P2 (best λ

1

)

4.2%

Aplica¸c˜

ao: Shape Matching

I

pontos amostrados na borda

I

aparˆ

encia

: shape context

I

estrutura

: arestas ligando pontos na borda

(aproxima¸

c˜

ao poligonal do contorno do objeto)

Shape Matching:

I

Shape metric:

P

p∈V

:f

6=

b

p

(f

p

) +

P

p∈V

:f

=

Λ

p

(f

p

)

Λ

p

(f

p

) = max

p∈V

:f

6=

{b

p

(f

p

)}

Shape Matching: silhouettes

Shape Matching: COIL

I

Columbia University Image Library

I

20 objetos

I

Cada objeto foi colocado em uma plataforma rotacion´

avel e

fotografado a cada 5

◦

(70 vis˜

oes).

Shape Matching: COIL

I

8 vis˜

oes igualmente espa¸

cadas: erro = 5.81%

Shape Matching: MNIST

I

60000 treinamento, 10000 teste

I

600 milh˜

oes de casamentos poss´ıveis

Aplica¸c˜

ao: coloriza¸c˜

ao cartoon

Resultados: coloriza¸c˜

ao

Conclus˜

ao

I

Duas contribui¸

c˜

oes baseadas em casamento entre padr˜

oes de

pontos, usando grafos relacionais com atributos para

aplica¸

c˜

oes espec´ıficas.

Electrophoresis

Segmentation

Shape Matching

Coloriz

DG

Good

Good

Bad

?

Contribui¸c˜

oes concretas

I

Publica¸c˜

oes: Sibgrapi, CIARP e PRL.

I

Implementa¸

c˜

ao Java:

Trabalhos futuros

I

Pesquisar m´

etodos de aprendizagem para casamento entre

grafos [Caetano el al., PAMI2009].

I

Pesquisar t´

ecnicas mais sofisticadas de propagacao de cren¸

cas

(ex. generalized BP) para melhorar os resultados para grafos

com v´

arios loops.

Agradecimentos