Método Adaptativo de Super-resolução de Frame Único com Wavelets Redundantes

(1)

Método Adaptativo de Super-resolução de Frame Único com Wavelets

Redundantes

Aylton Pagamisse Leila M. G. Fonseca

Universidade Estadual Paulista – UNESP Instituto Nacional de Pesquisas Espaciais

Faculdade de Ciências e Tecnologia Departamento de Processamento de Imagens

aylton@fct.unesp.br leila@dpi.inpe.br

Abstract

We propose an image super-resolution algorithm based on adaptive edge and interpolation on wavelet domain. The algorithm simulates a sub-pixel motion on a single frame image to obtain super-resolution. The wavelet expansion is based on Mallat discrete shift-invariant wavelet which is redundant and non-decimated. Experimental results demonstrate the good performance of the proposed algorithm, especially its robustness against jaggies.

1. Introdução

A reamostragem da imagem em uma grade mais fina (ampliação) é uma operação bastante utilizada em várias aplicações da área de sensoriamento remoto. Neste processo pixels novos são criados usando técnicas de interpolação. Estas técnicas, geralmente, provocam o borramento da imagem devido à perda de detalhes. Tendo em vista que os detalhes estão relacionados com o conteúdo em freqüências altas do sinal, a melhoria da qualidade da imagem no processo de interpolação consistiria em reduzir a perda de detalhes.

Técnicas conhecidas por super-resolução utilizam abordagens estatísticas e aprendizagem de máquina (machine learning) [9] para estimar as altas freqüências que seriam perdidas na imagem reamostrada. Alguns destes algoritmos capturam informação de detalhes em amostras de uma imagem (arestas, bordas, texturas) para sintetizar uma imagem de melhor resolução [8]. Outros, usam informação do processo de formação da imagem para projetar filtros de restauração [9].

Outros métodos utilizam algoritmos para fazer a compensação do movimento da câmera e a fusão dos diferentes frames para sintetizar uma única cena com melhor resolução [1].

O algoritmo proposto neste trabalho usa um frame único para sintetizar uma imagem em uma grade mais fina do que a imagem de entrada reduzindo assim a perda de informação de detalhes.

O algoritmo usa uma expansão wavelet para realizar uma interpolação juntamente com um método de cálculo de pixels, simulando um deslocamento sub-pixel na diagonal da imagem, baseado no cálculo de bordas locais em regiões 2x2 para obter informações adicionais da imagem. Experimentos mostram que a imagem ampliada por uma razão de 4:1 usando o método proposto apresenta qualidade visual superior à imagem ampliada pelo interpolador de convolução bicúbica.

2. Transformada Wavelet

A transformada wavelet decompõe um sinal ou função no domínio das wavelets. Da mesma forma como a transformada de Fourier, dos cossenos, de Gabor, essa decomposição obtém informações dos sinais que não estão aparentes em seu domínio original. A transformada wavelet mais utilizada é aquela que decompõe o sinal em componentes decimadas. Essa implementação é bastante útil em várias aplicações, principalmente em compressão de sinais, pois descorrelaciona o sinal nas várias escalas, reduzindo a sua redundância. Nesse trabalho, utilizamos uma implementação que não usa dão processo de decimação, conhecida por transformada wavelet diádica discreta, desenvolvida por Mallat et all [2,3]. Esta transformada é redundante, visto que a decomposição triplica a quantidade de dados em cada nível.

2.1. Transformada Wavelet Diádica Discreta

Da mesma forma que na implementação discreta com decimação, na transformada wavelet discreta diádica [2,3], o fator de escala usado é 2 e utiliza filtros passa-baixas h(n) e passa-altas g(n) correspondentes a uma função suavizante ĳ(t) e à wavelet mãe ȥ(t). Dado um sinal f, os filtros H = { hk }, G = { gk} e os filtros Hp e Gp , obtidos inserindo 2p-1 zeros entre cada coeficiente dos filtros H e G, a decomposição diádica discreta de um sinal bidimensional f é dada por:

(2)

j 1 j 1 j 2 2

W f

+

=

S f*( G .I )

j 1 j 2 j 2 2

W f

+

=

S f*( I.G )

j 1 j 1 j j 2 2

S f

+

=

S f*( H .H )

onde I é o filtro de Dirac, cuja resposta a impulso é igual a 1 na posição zero e zero nas demais posições, e (*) significa convolução. Essa decomposição é apresentada esquematicamente na figura 1.

Nesse modelo, Si e Wi são, respectivamente, as versões suavizadas e detalhes (direções vertical e horizontal) do sinal decomposto.

A reconstrução do sinal em cada nível é obtida utilizando as imagens de detalhes e o sinal suavizado do nível posterior.

)LJXUD )LJXUD )LJXUD

)LJXUD ±±±± ''''HFRPSRVLomRHFRPSRVLomRHFRPSRVLomRHFRPSRVLomR GR VLQDOGR VLQDOGR VLQDO ELGLPGR VLQDOELGLPELGLPELGLPHQVLRQDOHQVLRQDOHQVLRQDOHQVLRQDO XVDQGRD

XVDQGRDXVDQGRD

XVDQGRDWUDQVIRUPDGDZDYHOHWGLiGLFDWUDQVIRUPDGDZDYHOHWGLiGLFDWUDQVIRUPDGDZDYHOHWGLiGLFDWUDQVIRUPDGDZDYHOHWGLiGLFD

3. Super-resolução de Frame Único

Tendo como ponto de partida uma imagem de dimensões MxN, o objetivo é sintetizar uma imagem de dimensões 2Mx2N a partir da imagem de entrada. A figura 2 mostra a posição dos pixels da imagem original (círculos pretos) e dos pixels a serem gerados (círculos brancos).

Ɣ Ɣ Ɣ Ɣ Ɣ

Ɣ ż Ɣ ż Ɣ ż Ɣ ż Ɣ

Ɣ Ɣ Ɣ Ɣ Ɣ

ż ż ż ż ż ż ż ż ż

Ɣ Ɣ Ɣ Ɣ Ɣ

Ɣ ż Ɣ ż Ɣ ż Ɣ ż Ɣ

Ɣ Ɣ Ɣ Ɣ Ɣ

ż ż ż ż ż ż ż ż ż

Ɣ Ɣ Ɣ Ɣ Ɣ

Ɣ ż Ɣ ż Ɣ ż Ɣ ż Ɣ

ż ż ż ż ż ż ż ż ż

Ɣ ż Ɣ ż Ɣ ż Ɣ ż Ɣ

ż ż ż ż ż ż ż ż ż

Ɣ ż Ɣ ż Ɣ ż Ɣ ż Ɣ

)LJXUD )LJXUD)LJXUD

)LJXUD3L[HOV3L[HOV3L[HOVQD3L[HOVQDQDVQDVVVLPDJHLPDJHQVLPDJHLPDJHQVQVQVRULJLQDORULJLQDORULJLQDORULJLQDOHHHHH[SDQGLGDH[SDQGLGDH[SDQGLGDH[SDQGLGD Uma das formas de obter informações adicionais para sintetizar uma imagem de super-resolução a partir de um

único frame é usar a informação de detalhes das bordas da imagem.

Em cada região 2x2 da imagem expandida temos a situação ilustrada na figura 3. No nosso método, o valor do pixel ``X´´ é calculado levando-se em conta o valor dos pixels vizinhos (a, b, c, d) e fazem parte da imagem original, conforme mostrado na figura 4.

Os pontos da nova imagem designados pelo símbolo ``O´´ são os pontos originais da imagem, os pontos designados por ``X´´ são os pontos estimados pelas bordas e os pontos designados por ``ǻ´´ são os pontos que serão obtidos pela interpolação no domínio das wavelets.

O ǻ O ǻ O ǻ X ǻ X ǻ O ǻ O ǻ O ǻ X ǻ X ǻ O ǻ O ǻ O )LJXUD )LJXUD )LJXUD

)LJXUD 'LVSRVLomR GRV SL[HOV RULJLQDLV'LVSRVLomR GRV SL[HOV RULJLQDLV'LVSRVLomR GRV SL[HOV RULJLQDLV'LVSRVLomR GRV SL[HOV RULJLQDLV CC2 CC2 CC2 CC2 GRV SL[HOV D VHUHP HVWLPDGRV SHODV ERUGDV GRV SL[HOV D VHUHP HVWLPDGRV SHODV ERUGDVGRV SL[HOV D VHUHP HVWLPDGRV SHODV ERUGDV GRV SL[HOV D VHUHP HVWLPDGRV SHODV ERUGDV CC; CC; CC; CC; H

HH

HRVHVWLPDGRVRVHVWLPDGRVRVHVWLPDGRVRVHVWLPDGRVSHODSHODSHODWUDQVIRUPDGDSHODWUDQVIRUPDGDZDYHOHWWUDQVIRUPDGDWUDQVIRUPDGDZDYHOHWZDYHOHWCCZDYHOHWCCCCCCƩ

a b

X

c d

)LJXUD 3RQWRV XWLOL]DGRV SDUDRFiOFXORGRYDORU 3RQWRV XWLOL]DGRV SDUDRFiOFXORGRYDORU 3RQWRV XWLOL]DGRV SDUDRFiOFXORGRYDORU 3RQWRV XWLOL]DGRV SDUDRFiOFXORGRYDORU GH;

GH;GH; GH;

O cálculo dos pontos X, necessários para gerar as informações adicionais, leva em consideração as bordas nas regiões 2x2 da imagem como mostra a figura 4. Dados três valores, T1, T2 e r, para cada pixel nas posições (2p, 2q), 1<= p<= 2m e 1<= q<= 2n, o valor do pixel X é calculado conforme as seguintes restrições :

i)uniformidade: se max {a, b, c, d} – min {a, b,c, d} < T1, então X = (a+b+c+d)/4;

ii) bordas na direção SW-NE: se | a – d | > T2 e | a – d | – | b – c | > r, então X = (b + c)/2;

iii)- bordas na direção NW-SE: se | b – c | > T2 e | b – c | – | a – d | > r, então X = (a+b)/2;

iv) bordas na direção NS: se | a – d | > T1, | b – c | > T1 e (a – d) * (b – c) > 0, então, se (a+c) > (b+d), então X = (b+d)/2, senão, X = (a+c)/2;

v) bordas na direção EW: se | a – d | > T1, | b – c | > T1 e (a – d) * (b – c) < 0, então, se (a+b) > (c+d), X = (c+d)/2, senão, X = (a+b)/2; 1 1

W

2 1

W

1

S

f

W

12 2

S

2 2

W

(3)

vi) complementação: se nenhuma das alternativas anteriores ocorrer, X = (a+b+c+d)/4.

As condições iv, v e vi diferem daquelas encontradas em [4] pois estamos calculando apenas os pontos X.

4. Aplicação da Transformada Wavelet

A transformada wavelet bidimensional é obtida aplicando-se filtros unidimensionais nas linhas e colunas da imagem. Devido à posição dos pixels da imagem original e dos pixels obtidos utilizando as bordas da imagem, a forma de obtenção da transformada 2D por linhas e colunas não é eficaz pois a informação contida nos pixels ``0´´ não se relaciona com a informação contida nos pixels ``X´´. Para contornar essa situação, realizamos uma rotação de 450_{e uma reamostragem por um fator de 2} para criar o espaço necessário para os pixels que estão faltando, conforme pode ser visto na figura 5(b). Os pixels denotados por ``A´´ são os pixels originais, ``X´´ são os pixels obtidos pelas bordas e ``W´´ são os pixels que serão obtidos por interpolação no espaço das wavelets. Esse modo de aplicar a transformada wavelet foi adaptado de [5].

Com a imagem expandida, rotacionada e expandida novamente, conforme mostrado na figura 5(c), a próxima etapa consiste em aplicar a transformada wavelet, obtendo duas imagens de detalhes e uma versão suavizada. Para isso, os coeficientes dos filtros também foram expandidos por um fator de 2, o que corresponde aos filtros do nível 2 da transformada.

No espaço das wavelets os coeficientes W são calculados como a média do conjunto de três pontos que tenha a menor variância entre os quatro pontos ao seu redor, conforme a figura 6, da seguinte forma:

sejam

{

}

{

}

{

}

1 1 2 3 2 1 2 4 3 1 3 4 4 2 3 4 , , , , , , , , , { , , } S P P P S P P P S P P P S P P P = = = =

e _{arg min {var ( )}}

j j

k= S , então definimos,

W=média ( )Pj .

Após o cálculo dos pontos nas três bandas, a transformada wavelet inversa é realizada com os filtros reamostrados, obtendo uma única imagem. Em seguida, realiza-se a reamostragem e a rotação contrária àquelas da figura 5, obtendo então a imagem com o dobro da resolução da imagem original, conforme apresentado na figura 7. A 0 A 0 0 X 0 X A 0 A 0 0 X 0 X (a) (b) A W W A X A W W W W X A X W W X (c) )LJXUD )LJXUD )LJXUD

)LJXUD ( ( ( (WDSDV SDUDWDSDV SDUDWDSDV SDUDWDSDV SDUD DSOLFDomR GD WUDQVIRUPDGDDSOLFDomR GD WUDQVIRUPDGDDSOLFDomR GD WUDQVIRUPDGDDSOLFDomR GD WUDQVIRUPDGD ZDYHOHW' ZDYHOHW'ZDYHOHW' ZDYHOHW'

P

1

P

2

W

P

3

P

4 )LJXUD )LJXUD )LJXUD

)LJXUD 'LVSRVLomR GRV FRHILFLHQWHV ZDYHOHWV 'LVSRVLomR GRV FRHILFLHQWHV ZDYHOHWV 'LVSRVLomR GRV FRHILFLHQWHV ZDYHOHWV 'LVSRVLomR GRV FRHILFLHQWHV ZDYHOHWV SDUDFiOFXORGRYDORUGH: SDUDFiOFXORGRYDORUGH:SDUDFiOFXORGRYDORUGH: SDUDFiOFXORGRYDORUGH: A W W A W A W A X A W A W A W W W W A W A W X A X W A W A W W X )LJXUD )LJXUD )LJXUD

)LJXUD5RWDomRLQYHUVD5RWDomRLQYHUVD5RWDomRLQYHUVD5RWDomRLQYHUVD

A imagem obtida pela transformada inversa apresenta, devido à interpolação no espaço de wavelets, alguns pixels com valores abaixo e acima do range [0 255] e um simples truncamento é a ação mais eficaz para corrigi-los.

A

X

(4)

5. Imagens Coloridas

O algoritmo desenvolvido acima para imagens monocromáticas pode ser generalizado para imagens coloridas com baixo custo computacional. Ao invés de aplicá-lo separadamente em cada componente RGB, podemos utilizar o modelo de cores YUV no qual a luminância Y tem um papel fundamental. Basta converter a imagem colorida RGB para YUV, aplicar o algoritmo de expansão na componente Y, enquanto que nas componentes U e V, fazer uma expansão com uma técnica simples, como por exemplo, replicação de pixels e refazer a imagem no modelo RGB. Os resultados assim obtidos são muito similares àqueles que são obtidos ao aplicar a expansão nas três componentes RGB separadamente, e bem mais rápidos em termos computacionais. A figura 13 apresenta o resultado para uma figura colorida.

6. Análise dos Resultados.

Para avaliar o método proposto, foram utilizadas várias imagens. Nesse trabalho apresentamos duas imagens, a primeira, “copo”, figura 8, e a segunda imagem, Lena, as quais foram reamostradas por um fator de 4 utilizando a média dos pixels. Desse modo, a cada 16 pixels da imagem original obteve-se um único pixel consistindo da média, o que causa a perda de muitas informações. Além das imagens obtidas pelo método adaptativo, as figuras 11 e 12 mostram o resultado da aplicação da interpolação bicúbica, para efeito de comparação, a qual é considerada de boa qualidade e pode ser encontrada em inúmeros softwares comerciais, além disso, conforme Chaudhuri e Manjunath [8], não podemos comparar os métodos de frame único com os métodos baseados em movimento, pois o processo de geração de dados adicionais é muito diferente.

6.1. Medidas de Qualidade

A avaliação da qualidade dos resultados da super-resolução tem por objetivo mensurar por intermédio de indicadores o desempenho dos algoritmos utilizados. Infelizmente não há um protocolo padronizado para referência [6], coexistido diversos indicadores que nem sempre são adequados às diversas situações.

A avaliação da qualidade das imagens obtidas por super-resolução em relação às imagens de baixa resolução também não é simples. Nesse trabalho, como a super-resolução é obtida sobre imagens reamostradas, usamos como referência as imagens originais de alta resolução. Desse modo, nos índices abaixo, são comparadas a imagem original e a imagem obtida pelo método.

Coeficiente de Correlação: Avalia a relação de

dependência estatística entre duas variáveis quantitativas. Os valores assumidos por esse coeficiente situam-se no intervalo [-1 1], sendo que o valor ideal é 1. É definido por: k l k l k l C ρ σ σ =

onde, C é a covariância entre as imagens v_{k l} k e vl e σ é o i desvio padrão da imagem vi.

Bias: Corresponde à diferença entre as médias das

imagens. O valor ideal é zero. É definido como:

x y x bias µ µ µ − =

Índice de Qualidade Universal (IQI): Proposto por

Wang & Bovik [7], obtém bons resultados com imagens visualmente ruins nas quais os erros MSE, SNR e PSNR falham. É definido como:

2 2 2 2 4 . . ( )[( ) ( ) ] x y x y x y x y IQI σ µ µ σ σ µ µ = + + , onde x

µ e µy são as médias das obtida por

super-resolução e a imagem original, 2_e 2

x y

σ σ são as variâncias e x y

σ é a covariância entre as imagens.

Erro Médio Quadrático (MSE): 2 1 ( ij ij) i j MSE x y MN =

¦ ¦

−

Máximo da Razão Sinal Ruído (PSNR): 10 max( ) 20 log I PSNR MSE =

6.2. Resultados Obtidos

Podemos notar pela tabela 1 dos valores dos erros que nosso método e a interpolação bicúbica apresentam, quantitativamente falando, resultados muito similares, quer seja pela correlação cruzada, quer sejam por outra medida. Desse modo, medidas de natureza numérica nem sempre são capazes de por si só, avaliar a qualidade de uma imagem resultante pois, ao se proceder a uma inspeção visual, pode-se notar que as imagens das figuras 10 e 11, obtidas pelo nosso método, tem uma definição de bordas bem melhor que aquelas obtidas pela interpolação bicúbica mostradas nas figuras 12 e 13, visto que nestas a presença de jaggies é muito maior, em especial na borda superior da imagem copo e no chapéu da imagem Lena, mostrando a qualidade visual dos resultados obtidos pelo nosso método. Foi testado também o método de

(5)

interpolação bilinear e os resultados visuais apresentam jaggies com maior intensidade do que na interpolação bicúbica, o que não se reflete de modo tão acentuado nos resultados expressos na tabela 1 e obtidos para as imagens em tons de cinza.

Copo IQI MSE BIAS PSNR CC

Adaptat 0,9645 235,72 0,0022 0,0008 0,966 Bicúbica 0,9697 204,07 0,0028 0,0009 0,971 Bilinear 0,9666 223,03 0,0028 0,0008 0,968 Lena Adaptat 0,9743 113,02 0,0015 0,0020 0,975 Bicúbica 0,9808 84,77 0,0020 0,0025 0,981 Bilinear 0,9763 102,82 0,0020 0,0020 0,978 7DEHOD9DORUHVGDVPHGLGDVGHHUUR 7DEHOD9DORUHVGDVPHGLGDVGHHUUR 7DEHOD9DORUHVGDVPHGLGDVGHHUUR 7DEHOD9DORUHVGDVPHGLGDVGHHUUR

8. Discussão e Conclusões

Os resultados obtidos, em especial a pouca quantidade de jaggies na imagem, vem acompanhados de uma suavização nas imagens. Nesse sentido, a aplicação do método em imagens com grande conteúdo de altas freqüências não é tão eficiente. Desse modo, seria interessante buscar-se uma combinação deste com algum outro método que suprisse localmente essa dificuldade.

7. Referências

[1] Tsai, R.Y., Huang, T.S. “Multiframe image restoration and registration”. Advances in Computer Vision and Image Processing. pp. 317-339, JAI Press Inc., 1984.

[2] Mallat, S., and Zhong, S. “Characterization of Signals from Multiscale Edges” IEEE Trans. on PAMI, vol. 14, no. 7, 1992 [3] Mallat, S., and Zhong, S. “Wavelet Maxima Representation”, in “Wavelets and Applications”- Proceedings of Int. Conf., Marseille, France, May 1989. Yves Meyer Ed., Masson, 1992.

[4] S. Battiato and G. Gallo and F. Stanco, “A Locally-Adaptive Zooming Algorithm for Digital Images”. Image Vision and Computing Journal, Vol. 20, 11, pp. 805-812, 2002

[5] Ward, D. L., “Redundant Discrete Wavelet Transform Based Super-resolution Using Sub-Pixel Image Registration” Msc Thesis, Air Force Institute of Technology, 2003

[6] Wald, L. “Definitions and Terms of Reference in Data Fusion”, International Archives of Photogrammetry and Remote Sensing. 32, 1999.

[7] Wang, Z. and Bovik, A. C., “Universal Image Quality Index”, IEEE Signal Processing Letters, 9(3), pp. 81-84, 2002. [8] Chaudhuri, S. and Manjunath, J. “Motion-Free Super-Resolution”, Springer, 2005

[9] Park, S. C., Park, K., Kang, M. G., “Super-resolution Image Reconstrution: A Technical Overview”, IEEE Signal Processing Magazine, 2003.

)LJXUD,PDJHP )LJXUD,PDJHP )LJXUD,PDJHP

)LJXUD,PDJHPFRSRFRSRFRSRFRSRRULJLQDOFRORULGDRULJLQDOFRORULGDRULJLQDOFRORULGDRULJLQDOFRORULGD

)LJXUD,P )LJXUD,P)LJXUD,P

(6)

)LJXUD )LJXUD)LJXUD

)LJXUD ,PDJHP REWLGD SHOR PpWRGR GH ,PDJHP REWLGD SHOR PpWRGR GH ,PDJHP REWLGD SHOR PpWRGR GH VXSHU ,PDJHP REWLGD SHOR PpWRGR GH VXSHU VXSHU VXSHU UHVROXomR

UHVROXomRUHVROXomR UHVROXomR

)LJXUD 'HWDOKH GD LPDJHP /HQD'HWDOKH GD LPDJHP /HQD'HWDOKH GD LPDJHP /HQD'HWDOKH GD LPDJHP /HQD RRRREWLGD SHODEWLGD SHODEWLGD SHODEWLGD SHOD VXSHU

VXSHUVXSHU

VXSHUUHVROXomRUHVROXomRUHVROXomRUHVROXomR

)LJXUD ,PDJHP )LJXUD ,PDJHP)LJXUD ,PDJHP

)LJXUD ,PDJHP REWLGD SHOD LQWHUSRODoREWLGD SHOD LQWHUSRODoREWLGD SHOD LQWHUSRODoREWLGD SHOD LQWHUSRODomRmRmRmR ELF~ELFD

ELF~ELFDELF~ELFD ELF~ELFD

)LJXUD 'HWDOKH GD L'HWDOKH GD L'HWDOKH GD L'HWDOKH GD LPDJHPPDJHPPDJHPPDJHP /HQD/HQD/HQD/HQD REWLGD SHODREWLGD SHODREWLGD SHODREWLGD SHOD LQWHUSRODomRELF~ELFD

LQWHUSRODomRELF~ELFDLQWHUSRODomRELF~ELFD LQWHUSRODomRELF~ELFD