As disparidades estéreos podem ser determinadas por diversos métodos, em que todos eles tentam fazer a correspondência entre dois píxels em imagens diferentes [17].
Pode-se definir dois tipos de restrições: restrições locais, que englobam o píxel e a sua vi- zinhança (número reduzido de píxels) e restrições globais, que se referem a restrições da linha horizontal de pesquisa ou à imagem completa. Os métodos locais, segundo [17], podem ser muito eficientes, mas sensíveis a regiões ambíguas na imagem como regiões obstruídas ou re- giões com uma textura uniforme. Por outro lado, os métodos globais podem ser menos sensíveis ao problemas referidos acima dos métodos locais. Estes métodos ajudam à correspondência local.
Segundo [15], normalmente, os algoritmos de correspondência estéreo são associados a ja- nelas de custo. Nesta perspetiva, a janela é centrada no píxel escolhido calculando um custo. Assim, é possível procurar, na outra imagem, qual o píxel que tem o custo associado mais pró- ximo.
Na Tabela 2.3, estão apresentados alguns dos métodos, locais e globais, referidos por [17]. No entanto, é conveniente fazer uma descrição mais elaborada dos métodos, no que diz respeito a alguns aspetos de implementação e às suas vantagens e desvantagens.
2.5.1 Métodos de correspondência locais Correspondência por blocos
Como já descrito na Tabela 2.3, este método procura comparar pequenas vizinhanças em torno de um ponto, através de restrições, que, por exemplo, podem ser geométricas. Para além disso, é importante salientar as três classes de métricas usadas para a correspondência por blocos.
1. Correlação
Nesta classe, pode-se referir o método de correlação cruzada normalizada NCC (Normali- zed Cross Correlation). Este é um método estatístico para a determinação da similaridade entre as imagens. É executada uma normalização da média e da variância, fazendo com que a haja uma desvantagem no que diz respeito a ganhos relativos às intensidades nas imagens capturadas.
2. Diferença de intensidades
Neste âmbito podem ser referidas dois métodos derivados da correlação, referida na alínea acima: a soma da diferença dos quadrados SSD (Sum of Squared Differences) e a soma absoluta das diferenças SAD (Sum of Absolute Differences), que permitem a eliminação
2.5 Correspondência estéreo 21
Tabela 2.3: Métodos locais e globais de correspondência estéreo
Abordagem Descrição
Métodos Locais
Correspondência por blocos
O método procura estimar a disparidade num ponto da imagem, comparando uma região reduzida em torno desse ponto, com uma série de outras regiões reduzidas extraídas da outra imagem. Otimização baseada
gradiente
Procura determinar disparidades locais entre duas imagens, relacionando o movimento e o brilho da imagem, através de uma equação diferencial. Correspondências de características Limita as regiões através de características
relativamente viáveis como arestas ou curvas, Métodos Globais
Programação Dinâmica
Uma função custo global é calculada, através de restrições, mais especificamente no que diz respeito a restrições na geometria epipolar. Deste modo é calculado o caminho de custo mínimo na imagem de disparidades.
Curvas intrínsecas
É usada uma representação diferente da
linha de pesquisa, designada de curvas intrínsecas. Este mapeamento é invariante à translação, ou seja, à disparidade, resultando,
num caso ideal, à procura da correspondência na mesma curva. Grafos Uma aplicação da programação dinâmica,
mas que calcula o máximo fluxo do caminho.
dos ganhos nas intensidades, já mencionados. Para além da eliminação dos ganhos, a menor complexidade computacional também é uma vantagem.
3. Métricas de ordenação
Aqui a vizinhança é ordenada em relação ao píxel central. Os resultados traduzem não uma ordenação de intensidades, mas sim uma ordenação de intensidades relativa. Como a magnitude dos valores é comprimida, este tipo de métodos alcança uma menor sensibili- dade a outliers.
Métodos baseados em gradiente
Este método tem o intuito de relacionar movimento e brilho como referido na Tabela 2.3. Esta relação está descrita através de uma equação diferencial e assume-se que o brilho da ima-
gem num dado ponto da cena é constante nas duas imagens. Assim a translação horizontal desse ponto, de uma imagem para uma outra, é traduzido pela seguinte equação diferencial:
(5xE)v + Et = 0, (2.6)
onde 5xEtraduz a componente horizontal do gradiente da imagem e Et a derivada da com-
ponente temporal, ou seja, a diferença de intensidades entre as imagens estéreos. Para além disso, v corresponde à translação entre as duas imagens.
Com isto apenas o gradiente na direção da translação pode ser calculado de uma forma precisa. Por isso, e assumindo que a disparidade varia suavemente numa janela pequena de píxels, essa mesma disparidade pode ser estimada através do cálculo dos mínimos quadrados, em cada píxel numa janela de n píxels:
v = (ATA)−1ATb (2.7) em que A = 5Ex(p1) 5Ex(p2) .. . 5Ex(pnxn) e b = Et(p1) Et(p2) .. . Et(pnxn) (2.8)
Por outras palavras, procura-se minimizar as distâncias de correspondência, minimizando o gradiente numa dada direção de varrimento das imagens. Para isso, são calculados os mínimos quadrados na direção de varrimento v.
Correspondência de características (features) da imagem
Os métodos apresentados acima, segundo [17], são sensíveis a descontinuidades na pro- fundidade, já que a região usada para a correspondência, numa descontinuidade, pode conter pontos com diferentes profundidades. Para além disso, também são sensíveis a regiões de tex- tura uniforme em imagens. De forma a fazer face a estes problemas, a correspondência por características procura limitar as regiões através de características da cena, como arestas ou curvas, como já referido na Tabela 2.3. No entanto, existe também uma limitação neste método no que diz respeito aos pontos de densidade, para a estimação da profundidade.
Tendo este problema em conta, foram utilizadas dois tipos de abordagem: uma correspon- dência de características hierarquicamente e correspondência por segmentação. Na primeira abordagem, são exploradas quatro tipo de características de forma hierárquica:
2.5 Correspondência estéreo 23
2. Arestas; 3. Vértices; 4. Linhas.
Deste modo, é possível numa primeira fase construir relações entre as características ex- traídas, nomeadamente arestas: relações estruturais (interligações) e perceptuais (paralelismos, colinearidade e proximidade). Estas características são armazenadas num grafo relacional. As- sim é possível comparar os dois grafos das duas imagens estéreos. Para haver correspondência entre superfícies tem de haver correspondência entre as arestas da imagem e, sucessivamente, entre as linhas.
(a) Superfícies hipotéticas (b) Grafo hierárquico
Figura 2.11: Correspondência por características hierarquicamente segundo [17] Na segunda abordagem, é necessário haver uma segmentação das imagens e de seguida fazer correspondência entre as regiões segmentadas. Para além deste método ser sensível a descontinuidades de profundidade, há grande probabilidade dos planos segmentados estarem inclinados e não de frente e paralelos ao plano da câmara. Por isso, as relações entre segmentos das duas imagens são modelados por transformações afim como
" x2 y2 # = A " x1 y1 # + d (2.9) onde A= " 1 + dxx dxy dyx 1 + dyy # e d= " dx dy # (2.10) em que (x1, y1) e (x2, y2) são as coordenadas dos pontos correspondentes às imagens da
esquerda e da direita, respetivamente. O vetor d define a translação do segmento entre frames e a matriz A a rotação e as transformações ao nível da escala. A segmentação e os parâmetros afim são calculados iterativamente.
2.5.2 Métodos de correspondência globais
Os autores da Tabela 2.3 realçam três métodos [17]. O primeiro é a programação dinâmica. Este método matemático tem como característica reduzir a complexidade computacional do pro- cesso de correspondência através da decomposição em subproblemas mais pequenos e simples. Nesta abordagem é aplicada uma função custo à imagem como um todo, dando então um custo a cada caminho de disparidades possível. Desta maneira, é possível calcular recursivamente o custo ótimo através dos custos parciais dos caminhos. Estes caminhos são calculados numa ima- gem disparidade-espaço. Existem duas formas de construir esta imagem. A primeira é definir como eixos as linhas de pesquisa da imagem esquerda e da direita, em que o método calcula o custo mínimo entre o canto inferior esquerdo e o canto superior direito da imagem disparidade- espaço. Numa abordagem alternativa, tem-se que como eixos a linha de pesquisa da imagem da esquerda e a gama de disparidades. Com isto, o cálculo do custo mínimo é feito a partir da primeira coluna, até à última.
(a) Imagem disparidade-espaço com as linhas de pesquisa da direita e da esquerda nos eixos
(b) Imagem disparidade-espaço com a linha de pes- quisa da esquerda e a gama de disparidades
Figura 2.12: Imagens disparidade-espaço para programação dinâmica e cálculo dos caminhos mínimos
Um outro método descrito por [17] é o método das curvas intrínsecas que está referido e descrito na Tabela 2.3. Uma curva intrínseca é uma representação em vetor dos descritores de uma imagem definidos pela aplicação de operadores de arestas e/ou cantos às linhas de pesquisa da imagem. Pode-se então definir a curva intrínseca C como um conjunto de operadores de tamanho N, p1, p2, ..., pNno espaço ℜN