Super-Resolução de Imagens Aplicada à Área Médica

(1)

Super-Resolução de Imagens Aplicada à ´

Area M´edica

Ana Carolina Correia R´ezio

1

William Robson Schwartz

2

H´elio Pedrini

1 1

_{Instituto de Computac¸˜ao - Universidade Estadual de Campinas}

Campinas, SP, Brasil, 13084-971

2

_{Departmento de Ciência da Computação - Universidade Federal de Minas Gerais}

Belo Horizonte, MG, Brasil, 31270-010

Resumo

Várias aplicações requerem o uso de imagens em n´ıveis cada vez mais altos de resolução, de modo a favorecer as tarefas de interpretação e visualização dos dados presentes nas imagens. Devido ao elevado custo dos sensores empre-gados na captura de imagens de alta resolução, torna-se importante melhorar a qualidade e aumentar a resolução das imagens geradas pelos dispositivos de aquisição. Este trabalho apresenta e analisa algumas técnicas de super-resolução aplicadas a imagens médicas. Medidas quanti-tativas e qualiquanti-tativas são utilizadas na comparação dos re-sultados obtidos com as técnicas de super-resolução consi-deradas nos experimentos.

Abstract

Several applications demand the use of images in incre-asingly higher levels of resolution, in order to benefit the tasks of interpretation and visualization of data present in the images. Due to the high cost of sensors used to capture high resolution images, it is important to improve quality and increase the resolution of images generated by acquisi-tion devices. This paper presents and analyzes some super-resolution techniques applied to medical images. Quantita-tive and qualitaQuantita-tive measures are used to compare the re-sults obtained with the super-resolution techniques consi-dered in the experiments.

1. Introduc¸˜ao

Em diversas aplicações, tais como medicina, biologia, automação industrial, vigilância, sensoriamento remoto, há uma grande demanda de imagens com alta resolução espa-cial [5, 23, 3, 19, 25]. Essas imagens possibilitam a análise e a visualização mais precisas dos detalhes presentes nos da-dos.

Em virtude de fatores associados ao custo e às limitações dos dispositivos de aquisição, uma alternativa é aumentar a resolução e melhora da qualidade psicovisual das imagens por meio da aplicação de técnicas conhecidas como super-resolução (SR).

Técnicas de SR têm recebido crescente interesse nos últimos anos [1], cujo objetivo principal é aumentar a resolução espacial das imagens, favorecendo a precisão na análise e interpretação das imagens, melhorando a quali-dade da visualização e preservando as informações origi-nais sem a adição de artefatos às imagens resultantes [12, 4, 21, 13].

Técnicas de SR podem ser aplicadas tanto em uma única imagem quanto em uma sequência de imagens ou v´ıdeos [20]. Métodos de super-resolução em uma única imagem visam aumentar à resolução da imagem a par-tir do realce de suas informações mais relevantes, sem a introdução de borramento. Métodos de super-resolução em múltiplas imagens procuram criar uma imagem com mais alta resolução (HR) a partir da fusão de informações pre-sentes nas imagens de baixa resolução (LR).

Em [18] é apresentado um algoritmo de super-resolução baseado em amostras de treinamento para estimar detalhes em altas frequências nas imagens reamostradas. O algo-ritmo opera apenas na componente de luminância Y do es-paco de cores YUV, a fim de estimar as altas frequências perdidas no processo de reamostragem das imagens. Os re-sultados apresentaram mais vantagem devido à redução da dimensionalidade das amostras, ou seja, o algoritmo é com-putacionalmente mais rápido.

O método utilizado em [22, 23] é baseado no método das projeções em conjuntos convexos (POCS, do inglês convex set projection method), modificado para utilizar um inter-polador sinc, ao invés dos interinter-poladores tradicionalmente utilizados, tais como vizinho mais próximo ou bilinear. A interpolação sinc é aplicada para produzir a grade de alta resolução inicial do algoritmo POCS. Informações das ima-gens são preservadas nas imaima-gens obtidas com a

(2)

super-resoluc¸˜ao.

Em [15] foram propostas melhorias nos métodos de reconstrução por super-resolução baseado no método POCS. Primeiro, a discretização do modelo de formação de imagens cont´ınuas é melhorada para permitir o uso de métodos de interpolação de alta ordem. Segundo, os con-juntos de restrição são modificados para reduzir a quan-tidade de bordas presentes na imagem de alta resolução estimada.

O método proposto em [2] recupera em alta resolução a imagem de baixa resolução fornecida utilizando um con-junto de modelos de treinamento. Este método foi inspirado no LLE (do inglês Locally Linear Embedding). Os experi-mentos reportam bons resultados emp´ıricos.

Destobbeleire [6] propõe um método de super-resolução dividido em dois passos: preparação do conjunto de treina-mento e a construção da banda de alta frequência que falta na imagem de entrada. Destobbeleire aplicou o algoritmo de único passo proposto em [7]. A técnica gerou bons re-sultados, principalmente no que se refere à textura. No en-tanto, em alguns casos, artefatos foram produzidos e ampli-ados quando se aumenta a imagem por um fator 4.

Neste trabalho, algumas técnicas de super-resolução aplicadas a imagens médicas são apresentadas e analisa-das. Uma comparação dos resultados é realizada com base em medidas quantitativas e qualitativas.

O texto está organizado da seguinte forma. A seção 2 descreve brevemente os métodos de super-resolução utiliza-dos nos experimentos. Os resultautiliza-dos experimentais obtiutiliza-dos a partir da aplicação dos métodos em imagens médicas são apresentados e analisados na seção 3. Finalmente, a seção 4 conclui o trabalho e indica propostas para trabalhos futu-ros.

2. M´etodos

de

Reamostragem

e

Super-Resoluc¸˜ao

Esta seção descreve alguns métodos de interpolação e super-resolução utilizados para aumentar a resolução espa-cial de imagens.

2.1. M´etodos de Reamostragem

Na interpolação da imagem, os novos pixels são atribu´ıdos a partir dos dados dos pixels já existen-tes. Há vários métodos de interpolação existentes na li-teratura [14]. Dentre os mais comumente utilizados, destacam-se a interpolação por vizinho mais próximo, a bi-linear e a bicúbica [8, 16].

O interpolador por vizinho mais próximo é um método simples que apresenta baixo custo computacional. Um bom desempenho é obtido quanto à preservação do contraste, além de assegurar que o valor reamostrado seja um dos

valores originais. Suas desvantagens consistem em gerar distorções em detalhes finos e a apresentar bordas serrilha-das. Na imagem reamostrada, o valor original do pixel é atribu´ıdo ao pixel p0(x0, y0) mais próximo da posição (x, y). O interpolador bilinear calcula a intensidade do va-lor de cada pixel p0(x0, y0) por meio da média ponderada de distância dos quatro pixels vizinhos mais próximos. A imagem resultante apresenta uma suavização nas bordas e distorção de fase (efeito de borramento).

A interpolação bicúbica para obter uma estimativa su-ave do n´ıvel de cinza em cada pixel p0(x0, y0) apresenta um número maior de pontos vizinhos. Na imagem resul-tante, os detalhes finos são preservados, bordas são suaviza-das e as distorções são minimizasuaviza-das. Ela possui uma melhor preservação das bordas entre os métodos de interpolação apresentados anteriormente.

2.2. Iterative Back-Projection

A técnica de super-resolução Iterative Back-Projection (IBP), criada a partir de variações da técnica de back-projectionoriginalmente proposta para reconstrução de vis-tas tomográficas de imagens médicas, utiliza um procedi-mento iterativo para minimização do erro entre os dados ori-ginais e a sa´ıda do modelo [25, 9], conforme equação

HRn+1_k = HR_kn+

L

X

j=1

H_k,jBP(LRj− Cj,kHRnk) (1)

em que HRn+1_k é uma imagem de alta resolução no instante k, Hk,jBP é o operador de back-projection, n é a iteração

cor-rente, L é o número de imagens de baixa resolução, essas re-presentadas por LR, Cj,k é a matriz de transformação

con-junta de movimento e aquisic¸˜ao.

Este método é similar aos métodos iterativos para solução de m´ınimos quadrados. Uma de suas vanta-gens é a velocidade de convergência, a qual está associada ao operador back-projection [9].

2.3. Gradient Profile Prior

O método de super-resolução Gradient Profile Prior (GPP) é uma distribuição paramétrica que descreve a forma e a nitidez dos perfis de gradiente na imagem natural. Uma das observações apresentadas em [10, 11] é que a forma estat´ıstica desses perfis é estável e invariante na resolução da imagem. A partir dessa informação, pode-se aprender a relação estat´ıstica de nitidez do perfil de gradiente entre a imagem HR e a imagem LR.

Utilizando-se relacionamento e o perfil de gradiente aprendido, é poss´ıvel fornecer uma restrição sobre o gradi-ente de campo da imagem HR. Combinando com a restrição

(3)

de reconstrução pode-se então recuperar uma imagem de HR de alta qualidade.

As vantagens do GPP citadas em [11, 10] incluem: a) o perfil de gradiente não é uma restrição de suavidade. Assim, tanto em pequena escala quanto em grande escala, as bor-das podem ser bem recuperabor-das na imagem HR; (b) os arte-fatos comuns em super-resolução, tais como serrilhamento de bordas, podem ser evitados com o trabalho no dom´ınio do gradiente.

A imagem de alta resolução na técnica GPP pode ser ob-tida da seguinte equação

HRt+1= HRt− τ∂E(HR)

∂HR (2)

em que ∂E(HR)

∂HR = ((HR ∗ G) ↓ −LR) ↑ ∗G − β(∇2HR−∇2HRT), ∇2HRT(x) = r(d(x, x0))∇2LRu,

G representa o filtro espacial Gaussiano, ∗ é o operador de convolução, ↓ é o operador down-sampling ∇2HRT repre-senta o gradiente de campo transformado da imagem HR, ∇2_LRu_{representa o gradiente de campo da imagem LR e}

↑ ´e o operador up-sampling.

O termo ∇2_HRT _{transforma o gradiente de campo}

ob-servado para o gradiente de campo alvo por meio do mape-amento da forma e da nitidez do perfil de gradiente obser-vado.

3. Resultados Experimentais

O processo de avaliação da qualidade da imagem de super-resolução (SR) obtida em relação à imagem de re-ferência (LR) não é uma tarefa simples, uma vez que essas imagens possuem resoluções diferentes.

As técnicas apresentadas na seção 2 foram utilizadas na avaliação dos resultados da super-resolução por meio de uma métrica quantitativa e uma métrica qualitativa, a raiz do erro médio quadrático e ´ındice de similaridade estrutu-ral, respetivamente, definidos a seguir.

3.1. Raiz do Erro M´edio Quadr´atico

A raiz do erro médio quadrático (RMSE, do inglês Root Mean Square Error) corresponde à soma da raiz quadrada da soma do quadrado das diferenças de cada ponto das ima-gens LR e HR. Essa medida indica o grau de similaridade entre as imagens LR e HR, tendo valor igual a zero quando as duas imagens são idênticas. A medida é dada por

RMSE = v u u t 1 M N M −1 X x=0 N −1 X y=0 [LR(x, y) − HR(x, y)]2 ₍₃₎

em que M e N s˜ao as dimens˜oes das imagens.

3.2. ´Indice de Similaridade Estrutural

O ´ındice de similaridade estrutural (SSIM, do inglês Structural SIMilarity) foi proposto em [24]. Este ´ındice também é utilizado para mensurar a similaridade entre duas imagens. A qualidade é medida comparando-se as correlações locais em luminância, contraste e estrutura en-tre a imagem de referência e a imagem a ser avaliada [19]. O SSIM é dado por

SSIM (x, y) = (2µxµy+ C1)(2σxy + C2) (µ2

x+ µ2y+ C1)(σx2σy2+ C2)

(4)

em que as constantes C1 e C2 s˜ao utilizadas para

estabi-lizar a equação quando (µ2x+ µ2y) e (σx2σy2) são próximos

de zero. Como sugerido por [24], utilizou-se C1 = 0.01 e

C2= 0.03.

3.3. Amostras de Dados e Avaliac¸˜ao

A tabela 1 apresenta algumas amostras de imagens, ex-tra´ıdas de [17], utilizadas nos experimentos. Essas imagens foram subamostradas pelo método de interpolação bicúbica em duas, quatro e em oito vezes, resultando, para cada amostra, em outras três imagens em baixa resolução (LR).

Imagens Tamanho (pixels) Tipo

Amostra 1 352x352 N´ıveis de Cinza Amostra 2 464x464 N´ıveis de Cinza Amostra 3 480x480 Colorida Amostra 4 480x480 Colorida

Tabela 1. Amostras de imagens utilizadas nos experimentos.

A partir das imagens LR reamostradas foram aplicados os métodos de interpolação e super-resolução. Alguns resul-tados são ilustrados na figura 1. Cada linha da figura refere-se a uma das amostras indicadas na tabela 1. A Amostra 1 foi reduzida em duas vezes, a Amostra 2 em quatro vezes e as Amostras 3 e 4 foram reduzidas em oito vezes.

Para realizar a avaliação de carácter objetivo a partir das medidas estat´ısticas RMSE e SSMI, apresentadas nas subseções 3.1 e 3.2, as imagens resultantes foram compara-das com as imagens originais antes de serem reamostracompara-das. Os resultados podem ser observados na tabela 2. A análise quantitativa demonstra que, em geral, os métodos bilinear e GPP apresentam melhor eficácia. Com base na avaliação vi-sual dos resultados obtidos, pode-se também observar que o método GPP apresenta melhor nitidez e realce de bordas.

(4)

(a) (b) (c) (d) (e) (f)

Figura 1. Alguns resultados obtidos a partir das t écnicas avaliadas. (a) imagens de baixa resoluç ão; (b) imagens originais; (c) interpolaç ão por vizinho mais pr óximo; (d) interpolaç ão bilinear; (e) super-resoluç ão por iterative back-projection; (f) super-super-resoluç ão por GPP.

4. Conclus˜oes e Trabalhos Futuros

Técnicas de interpolação e super-resolução têm como objetivo aumentar a resolução espacial de uma imagem ou uma sequência de imagens.

Este artigo apresentou uma análise comparativa entre diferentes métodos de super-resolução e de reamostragem aplicados a imagens médicas. Os métodos de interpolação utilizados foram o vizinho mais próximo e o bilinear, en-quanto para os métodos de super-resolução foram utiliza-dos o método IBP e o método GPP.

Propostas para trabalhos futuros incluem uma avaliação minuciosa, com a participação de especialistas médicos, dos métodos de super-resolução aplicados em imagens de ma-mografia, bem como o uso dos métodos em v´ıdeos na área de telemedicina.

5. Agradecimentos

Os autores são gratos à FAPESP, à FAPEMIG, ao CNPq, à CAPES e ao Instituto Nacional de Ciência e Tecnolo-gia - Medicina Assistida por Computação Cient´ıfica (INCT-MACC), pelo apoio financeiro (Processo 573710/2008-2 Edital MCT/CNPq No_015/2008).

Referˆencias

[1] N. A. V. Beça. Construção de uma Câmara de Alta Sensi-bilidade e Baixa Resolução para Super Resolução. Master’s thesis, Faculdade de Ciências e Tecnologia de Coimbra, De-partamento de F´ısica, 2008.

[2] H. Chang, D.-Y. Yeung, and Y. Xiong. Super-Resolution th-rough Neighbor Embedding. In Proceedings IEEE Confe-rence on Computer Vision and Pattern Recognition, pages 275–282, Washington, DC, Estados Unidos, 2004.

(5)

Imagem Fator Medidas Vizinho Bilinear IBP GPP mais pr´oximo 2x RMSE 6,7955 5,1357 7,7817 9,9761 SSIM 0,9972 0,9984 0,9963 0,9942 Amostra 1 4x RMSE 12,3795 9,9176 13,9198 11,4269 SSIM 0,9908 0,9940 0,9884 0,9924 8x RMSE 20,5289 17,0383 22,2713 16,4572 SSIM 0,9743 0,9819 0,9701 0,9841 2x RMSE 10,2151 8,9726 12,1381 11,4159 SSIM 0,9834 0,9869 0,9771 0,9805 Amostra 2 4x RMSE 17,5912 16,0587 19,4717 15,9530 SSIM 0,9494 0,9565 0,9400 0,9608 8x RMSE 24,4657 23,0415 25,9859 22,2199 SSIM 0,8975 0,9052 0,8893 0,9213 2x RMSE 8,7286 7,5044 9,6854 12,1199 SSIM 0,9962 0,9973 0,9956 0,9927 Amostra 3 4x RMSE 15,1120 12,9284 16,4588 13,8747 SSIM 0,9881 0,9917 0,9871 0,9905 8x RMSE 22,5180 20,3343 23,8973 19,7325 SSIM 0,9714 0,9776 0,9713 0,9809 2x RMSE 6,0729 4,9881 6,3095 8,7532 SSIM 0,9917 0,9938 0,9872 0,9859 Amostra 4 4x RMSE 11,2067 10,1063 11,5649 11,1130 SSIM 0,9743 0,9784 0,9643 0,9755 8x RMSE 16,1196 14,9929 16,6266 15,2664 SSIM 0,9491 0,9567 0,9364 0,9577

Tabela 2. Resultados da avaliaç ão das amostras obtidas com as t écnicas de interpolaç ão e super-resoluç ão.

[3] S. Chaudhuri. Super-Resolution Imaging. Kluwer Academic Publishers, Boston, MA, Estados Unidos, 2001.

[4] F. B. da Silva. Super-Resolução Utilizando Quadros Chaves em Sequências de V´ıdeo de Resolução Mista. Master’s the-sis, Universidade de Bras´ılia, Faculdade de Tecnologia, De-partamento de Engenharia Elétrica, 2009.

[5] L. L. de Almeida and A. M. G. Tommaselli. Melhoramento da Resolução a partir de Sequências de Imagens. Boletim de Ciências Geodésicas, 9(2):163–178, Julho-Dezembro 2003. [6] R. Destobbeleire. Super-Resolution. Technical report, Ins-tituto de Matemática Pura e Aplicada, Rio de Janeiro-RJ, 2002.

[7] W. T. Freeman, T. R. Jones, and E. C. Pasztor. Example-based Super-Resolution. IEEE Computer Graphics and Ap-pications, 22(2):56–65, Marc¸o 2002.

[8] R. C. Gonzalez and R. E. Woods. Processamento de Ima-gens Digitais. Edgard Blucher Ltda, S˜ao Paulo, SP, Brasil, 2000.

[9] M. Irani and S. Peleg. Improving Resolution by Image Registration. Graphical Models and Image Processing, 53(3):231–239, Maio 1991.

[10] Z. X. Jian Sun, Jian Sun and H.-Y. Shum. Image Super-Resolution using Gradient Profile Prior. IEEE Conference on Computer Vision and Pattern Recognition, 2008. [11] Z. X. Jian Sun, Jian Sun and H.-Y. Shum. Gradient

Pro-file Prior and Its Applications in Image Super-Resolution and Enhancement. IEEE Transactions on Image Processing, 2010.

[12] X. Liu, D. Song, C. Dong, and H. Li. MAP-Based Image Super-Resolution Reconstruction. Proceedings of World Academy of Science, Engineering and Tecnology, 37:208– 211, 2008.

[13] W. Lucien. Definitions and Terms of Reference in Data Fu-sion. IEEE Transactions on Geosciences and Remote Sen-sing, 37(3):1190–1193, 1999.

[14] W. Lucien, T. Ranchin, and M. Mangolini. Fusion of Satel-lite Images of Different Spatial Resolutions: Assessing the

(6)

Quality of Resulting Images. Photogrammetric Engineering & Remote Sensing, 63:691–699, 1997.

[15] A. J. Patti and Y. Altunbasak. Artifact Reduction for Set Theoretic Super Resolution Image Reconstruction with Edge Adaptive Constraints and Higher-Order Interpolants. IEEE Transactions on Image Processing, 10(1):179–186, Janeiro 2001.

[16] H. Pedrini and W. Schwartz. Análise de Imagens Digitais - Princ´ıpios, Algoritmos e Aplicações. Pioneira Thomson, 2007.

[17] RadPath. Radiology/Pathology Correlation Module (Rad-Path), 2011. http://brighamrad.harvard.edu/ Cases/bwh/hcache/group0-index.html. [18] C. Rubert, L. Fonseca, and L. Velho. Super-Resoluc¸˜ao

de Imagens de Sensores Remotos Usando a Transformada de Cor YUV para Estimação das Altas Frequências. In IV Workshop dos Cursos de Computação Aplicada. INPE, 2004.

[19] A. Rézio and H. Pedrini. Avaliação de Interpoladores para Super-Resolução de V´ıdeos. In VI Workshop de Visão Computacional (WVC’2010), pages 126–131, Presi-dente PruPresi-dente-SP, Julho 2010.

[20] R. R. Schultz and R. L. Stevenson. Extraction of High-Resolution Frames from Video Sequences. IEEE Transac-tions on Image Processing, 5(6):996–1011, Junho 1996. [21] M. A. B. G. Telles Jr. Fus˜ao de Imagens de Sensoriamento

Remoto Utilizando a Transformada Wavelet. Master’s the-sis, Universidade de Bras´ılia, 2003.

[22] M. A. B. G. Telles Junior. Super-Resoluc¸˜ao de Imagens de Sensoriamento Remoto. PhD thesis, Universidade de Bras´ılia, 2008.

[23] M. A. B. G. Telles Junior and A. Santa Rosa. Super-Resolução de Imagens CBERS 2. In XIII Simpósio Brasileiro de Sensoriamento Remoto, pages 1197–1204, Florianópolis, SC, Brasil, Abril 2007.

[24] H. S. Z. Wang, A. Bovik and E. Simoncelli. Image Qua-lity Assessment: From Error VisibiQua-lity to Structural Simila-rity. IEEE Transactions on Image Processing, 13(4):600– 612, Abril 2004.

[25] M. V. W. Zibetti. Super-Resolução Simultânea para Sequência de Imagens. PhD thesis, Universidade Federal de Santa Catarina, Departamento de Engenharia Elétrica, 2007.