O problema de correspondência ou matching em Visão Computacional e Fotogrametria pode ser definido como sendo a busca de entidades (pontos, linhas, regiões, etc) correspondentes entre duas, ou mais imagens, de um conjunto de imagens. A partir da obtenção da correspondência uma série de aplicações em Visão Computacional e Fotogrametria podem ser realizadas. Por esta razão ela é considerada uma etapa fundamental, uma vez que o sucesso deste processo é determinante para diversas aplicações.
Dentre as aplicações, a mais comum é a reconstrução da geometria 3D dos objetos por múltiplas imagens, cujo princípio básico é a triangulação dos pontos. Para isso é essencial ter a posição e orientação relativa das câmaras no instante da aquisição das
imagens, os parâmetros intrínsecos das câmaras e a posição de pontos correspondentes sobre as imagens consideradas.
Uma outra aplicação freqüentemente realizada é o registro de imagens, que consiste na sobreposição de imagens contíguas, de modo que haja uma sobreposição dos elementos comuns às imagens consideradas. Este processo normalmente é realizado em quatro fases, como descrito por Fonseca & Manjunath (1996):
• Seleção das entidades (pontos, linhas, etc.) comuns às imagens de referência e a imagem a ser registrada;
• Estabelecimento da correspondência entre as entidades;
• Obtenção dos parâmetros de uma transformação que permite o mapeamento entre as imagens envolvidas;
• Aplicação dos parâmetros obtidos na fase anterior, permitindo o registro das imagens. Nesta etapa normalmente é necessário a reamostragem de uma das imagens.
Como pode-se ver, o estabelecimento da correspondência é uma etapa essencial uma vez que a determinação dos parâmetros da transformação depende da etapa de estabelecimento da correspondência.
De acordo com Fonseca & Manjunath (1996) não se deve esperar que os métodos e os algoritmos de correspondência produzam resultados satisfatórios em todas as aplicações. Embora o princípio seja único, deve-se considerar no desenvolvimento dos métodos fatores como a diversidade dos sensores disponíveis, a geometria do processo de aquisição das imagens e a natureza e as características dos objetos presentes na cena. Deste modo estes fatores acabam por influenciar e a caracterizar as diversas soluções, como discutido por Dhond & Aggarwal (1989).
Para ilustrar a influência destes fatores são apresentados alguns exemplos na Figura 2.1.
a)
b)
c) d)
Figura 2.1 - Quatro pares de imagens: (a) imagens aéreas utilizadas em Fotogrametria; (b) dois segmentos de imagens de satélites de recursos naturais adquiridas com o sensor TM (Thematic Mapper); (c) pares de imagens usadas em aplicações a curta distância e (d) um par de imagens com impressões digitas.
Observando estes exemplos de imagens pode-se notar que nos pares 2.1a e 2.1b, o efeito provocado pela mudança do ponto de vista não é tão visível quanto no par 2.1c. Designando a distância sensor-objeto por dSO, a altura dos objetos presentes na cena por h e a separação (ou base) entre os sensores por B, pode-se observar que para os pares 2.1a e 2.1b as razões h/dSO e B/dSO são pequenas, o que não acontece com o par 2.1c. Neste último, o efeito provocado pela mudança do ponto de vista e rotação é mais acentuado, podendo-se notar inclusive o problema de oclusão de algumas faces. No quarto par (2.1d) têm-se imagens na qual não ocorre oclusão provocada pela mudança do ponto de vista. No entanto, têm-se feições não rígidas, ou seja, sujeitas a deformação.
Portanto, por esses poucos exemplos, pode-se imaginar que a solução do problema de correspondência ou matching, para cada um dos casos, deve ser diferenciada. Assim, na solução da correspondência para o par 2.1d não seriam adequadas injunções epipolares, como nos pares 2.1a, 2.1b e 2.1c por exemplo. No caso do par 2.1c, tanto a mudança do ponto de vista quanto as rotações fazem com que o problema da perspectiva se acentue, o que dificulta a solução. É relevante notar que embora no par 2.1b não se tem diferenças provocadas pela modificação do ponto de vista, tem-se diferenças nítidas nas respostas dos alvos, provocadas por fatores temporais devido a aquisição das cenas em diferentes épocas.
Em função da diversidade de aspectos que podem ser considerados, e portanto de possíveis soluções, é importante a classificação dos métodos de correspondência. Por estas razões pode-se pensar em caracterizar os métodos levando em conta fatores tais como: tipo de primitiva utilizada; modelo geométrico utilizado no mapeamento das primitivas entre as imagens; métricas utilizadas na medida de similaridade e método de busca da solução ótima, como discutido em Heipke (1997), Jones (1997), e Mount et al. (1999).
A classificação encontrada com maior freqüência leva em conta o tipo de primitiva utilizada, sendo feita a divisão em duas grandes categorias. Nesta classificação normalmente se consideram:
• valores dos níveis de cinza (ou tons de cinza) dos pixels em sub-imagens das imagens utilizadas;
• características de entidades de interesse tais como pontos (quinas, alvos, centros de massa de alvos circulares), feições retas, contornos, polígonos, etc.
Como pode ser visto em Dhond & Aggarwal (1989); Zhang et al. (1994); Heipke (1996) e Do et al. (1998), as duas categorias de primitivas dão origem a duas categorias de algoritmos de correspondência:
• Correspondência baseada em áreas (area-based methods ou template matching) O princípio dos métodos baseados em áreas consiste na obtenção de pontos correspondentes a partir da análise da correlação entre os níveis de cinza de subimagens das imagens disponíveis. Para tanto podem ser utilizadas diversas funções de correlação no processamento. Em função deste princípio as denominações "matching por correlação" ou "correlação de imagens" são também empregadas.
• Correspondência baseada em características ou atributos (feature-based2
methods ou feature matching )
Os métodos baseados em características ou atributos constituem uma classe mais abrangente, no qual os valores de brilho não são utilizados diretamente e sim as primitivas obtidas a partir das imagens. Uma vez extraídas as primitivas pode-se associar atributos a cada uma delas e, além disso, pode- se obter relações entre primitivas. Definidos os atributos das primitivas, bem como as relações entre os atributos, a imagem pode ser representada na forma de um grafo, no qual as seguintes associações podem ser feitas:
Primitivas da imagem
⇔⇔
Nós eRelações entre primitivas
⇔⇔
Arcos.A Figura 2.2 ilustra a relação entre estes elementos.
2 É relevante ressaltar que embora tenha-se utilizado característica ou atributo como sinônimo para o termo inglês feature, pode-se encontrar em algumas referências a denominação feição ou entidade, o que não prejudica o entendimento do conceito.
Representação na forma de grafo Nós Imagem Real Primitivas Relações entre primitivas Arcos
Figura 2.2 - Relação entre as primitivas de uma imagem e de um grafo.
Deste modo, para resolver este problema, técnicas como busca em árvores, relaxação, etc, são normalmente utilizadas.
Esta segunda categoria de métodos de correspondência (baseada em características ou atributos) engloba uma gama maior de métodos e, em termos gerais, pode-se dizer que a imagem passa a ser representada por uma descrição relacional. Assim, termos como correspondência estrutural (WANG, 1996), correlação estrutural (DAL POZ, 1996), ou correspondência relacional (HEIPKE, 1996; DAL POZ et al., 1996) também são utilizados.