O Mapa de Similaridade para Registro de Imagens consiste na confecção de uma matriz de custo acumulado a partir da matriz de similaridade. Permitindo, deste modo, o estabelecimento de correspondências entre imagens em exames de um mesmo paciente, realizados em momentos distintos (pré e pós-operatório, por exemplo), possibilitando identificar de maneira semiautomática as correspondências entre as imagens dos dois exames.
Uma vez obtida a matriz de custo acumulado, um processo de busca dinâmica é empregado para o estabelecimento das correspondências entre as imagens dos exames.
Com isto, espera-se diminuir o tempo de identificação das imagens de uma mesma região, em exames distintos, auxiliando assim no acompanhamento da evolução das doenças coronarianas.
O processo de construção das matrizes de custo, de custo acumulado e o processo de busca dinâmica compreende uma técnica de programação dinâmica conhecida na literatura como Dynamic Time Warping [47] e [48].
A construção desse processo de busca dinâmica tem início com a confecção do mapa de similaridade a partir da extração dos descritores SIFT de cada uma das imagens de ambos os exames. O número de descritores SIFT pode ser controlado através de um parâmetro de sensibilidade do algoritmo, Figura 4.6.
Uma vez extraídos os descritores SIFT de cada uma das imagens, o algoritmo SIFT é empregado novamente na comparação das imagens duas a duas. O objetivo dessa etapa consiste em extrair duas informações: o número de descritores em comum que as imagens possuem e a localização destes descritores.
A Figura 4.6 relaciona os descritores SIFT em comum entre duas imagens, uma delas rotacionada em 45º no sentido anti-horário em relação à primeira. A Figura 4.6(a) apresenta um número 655 descritores em comum entre as imagens e em 4.6(b) temos 65 descritores em comum.
Figura 4.6: Correspondências entre os descritores SIFT entre uma imagem e sua cópia rotacionada em 45º no sentido anti-horário. (a) Maior número de descritores em comum, menor sensibilidade do algoritmo. (b) Menor número de descritores em
comum, maior sensibilidade do algoritmo.
A Figura 4.7 apresenta o resultado da extração e correspondência entre os descritores obtidos para uma imagem de IVUS. As Figuras 4.7(b) tem-se a imagem de referência, imagem esta que deve ser encontrada no segundo pullback. As Figuras 4.7(a) e (c) apresentam, respectivamente, as imagens determinada pelo algoritmo, pelo médico especialista.
Em 4.7(d) têm-se os pontos de correspondência entre a imagem de referência e a imagem determinada pelo algoritmo.
(b) (a)
Figura 4.7: (a) Imagem do algoritmo. (b) Imagem de referência. (c) Imagem do especialista. (d) Correspondências entre as imagens (a) e (b).
Na sequência, com os parâmetros extraídos pelo algoritmo SIFT – descritores, número de descritores em comum e localização dos descritores em comum – propomos a métrica definida pela equação (9), com o intuito de avaliar o custo ou a similaridade entre cada par (𝑖, 𝑗) de imagens, confeccionando assim a matriz de custos ou matriz de similaridade.
(𝑆𝑖𝑚𝑖𝑙𝑎𝑟𝑖𝑑𝑎𝑑𝑒)𝑖𝑗= 1 −𝑃1 𝐴𝑖𝑗+ 𝑃2(1 − 𝐵𝑖𝑗)
𝑃1+ 𝑃2 (9)
Na equação de similaridade o termo 𝐴𝑖𝑗 representa a razão entre o
número de descritores em comum e o número máximo de descritores que o par de
(a) (b) (c)
imagens (𝑖, 𝑗) pode ter em comum. O termo 𝐵𝑖𝑗, utiliza a métrica euclidiana para
avaliar a distância ou o desvio entre os descritores em comum para o par de imagens (𝑖, 𝑗) , este valor é ponderado pelo número máximo de descritores em comum que as imagens podem apresentar.
Ambas as parcelas, 𝐴𝑖𝑗 e 𝐵𝑖𝑗, na equação (9) apresentam valores entre 0 e 1, pois cada um dos descritores SIFT de cada imagem também representa valores nesse intervalo.
A equação de similaridade é ainda ponderada pelos pesos 𝑃1 e 𝑃2
empiricamente obtidos, de tal modo que cada elemento, na matriz de similaridade seja também um valor dentro do intervalo 0 e 1.
Dessa forma, cada elemento (𝑖, 𝑗) na matriz de similaridade, ou matriz de custo, representa a similaridade entre a imagem 𝑖 do primeiro exame com a imagem 𝑗 do segundo exame. Conforme a definição da equação (9), quanto mais próximo a zero for este valor, maior será a similaridade das imagens.
A literatura apresenta diferentes formas de se construir a matriz de custo acumulado, dependendo de uma direção preferencial à qual se queira seguir e/ou da própria característica dos resultados na matriz de similaridade [48].
A forma generalizada para se obter a matriz de custo acumulado pode ser dada pela equação, [48]:
𝐷(𝑛, 1) = ∑𝑛 𝑐(𝑥𝑘, 𝑦1) 𝑝𝑎𝑟𝑎 𝑛 ∈ [1, 𝑁] 𝑘=1 𝐷(1, 𝑚) = ∑𝑚𝑘=1𝑐(𝑥1, 𝑦𝑘) 𝑝𝑎𝑟𝑎 𝑚 ∈ [1, 𝑀] 𝐷(𝑛, 𝑚) = min { 𝐷(𝑛 − 1, 𝑚 − 1) + 𝑝𝑑 ∙ 𝑐(𝑥𝑛, 𝑦𝑚) 𝐷(𝑛 − 1, 𝑚) + 𝑝ℎ∙ 𝑐(𝑥𝑛, 𝑦𝑚) 𝐷(𝑛, 𝑚 − 1) + 𝑝𝑣 ∙ 𝑐(𝑥𝑛, 𝑦𝑚) (10)
na qual cada um de seus elementos é calculado a partir dos elementos 𝑐(𝑥𝑛, 𝑦𝑚) da
Os termos 𝑝𝑑, 𝑝ℎ e 𝑝𝑣 são respectivamente pesos associados às direções
diagonal, horizontal e vertical.
Na implementação clássica do DTW, estes pesos são todos iguais a 1. Assim não existe direção privilegiada.
Diferentes testes foram realizados utilizando a matriz de custo acumulado obtida pela equação (10) com pesos todos iguais a 1, pois em imagens de IVUS não se sabe a priori se existe ou não uma direção privilegiada.
Além da matriz de custo definida pela equação (10) , também foram realizados testes adotando-se a matriz de similaridade como matriz de custo acumulado.
Os melhores resultados foram obtidos com a própria matriz de similaridade, sendo, desta forma, ela definida como matriz de custo acumulado.
Após esta definição, uma técnica de programação dinâmica foi empregada para estabelecer a correspondência entre as imagens do primeiro
pullback com as imagens do segundo.
A correspondência entre imagens é determinada pela obtenção do caminho ótimo dentro da matriz de custo acumulado, no qual cada passo do caminho assinala uma correspondência entre o par de imagens (𝑖, 𝑗).
Na implementação clássica do algoritmo do DTW, o caminho ótimo para a correspondência entre os elementos na matriz de custo acumulado parte do pressuposto que o último elemento da matriz, posição (𝑛, 𝑚) , é a primeira correspondência, conhecida como condição de contorno, [48].
A partir dele, os próximos elementos de correspondência são determinados pela escolha entre o menor valor na matriz custo dentre os 3 vizinhos nas direções acima (𝑛 − 1, 𝑚) , diagonal noroeste (𝑛 − 1, 𝑚 − 1) e à esquerda (𝑛, 𝑚 − 1), respectivamente, 90º, 45º e 0º, conhecida como condição de passo.
Entretanto, essa abordagem rígida no DTW clássico não contempla o problema de registro de imagens médicas, uma vez que neste tipo de exame não existe a garantia de que as últimas imagens em exames distintos sejam iguais.
Além disso, o fato do cateter estar sujeito a movimentos associados ao ciclo cardíaco pode acarretar que imagens não necessariamente consecutivas sejam também uma correspondência.
Para contornar essas adversidades, utilizou-se uma abordagem semiautomática, na qual a primeira correspondência foi fornecida pelo usuário. A partir dela, o algoritmo de busca pelo caminho ótimo se encarrega de encontrar as outras correspondências, alterando assim a condição de contorno.
Para contornar a limitação na condição de passo e, com isso permitir inspecionar vizinhos não adjacentes na obtenção do caminho ótimo, foi proposta uma implementação alternativa no algoritmo de busca.
Esta implementação permite saltos no estabelecimento das correspondências ao referenciar o caminho pela busca nas direções 23º (𝑛 − 1, 𝑚 − 2), 45º (𝑛 − 1, 𝑚 − 1) e 67º (𝑛 − 2, 𝑚 − 1).