Super-Resolução e focagem cega de imagens

Super-Resolução e focagem cega de imagens

Diogo Quirino Rosa Guerreiro

Dissertação para obtenção do grau de Mestre em

Engenharia Electrotécnica e de Computadores

Orientadores: Prof. Dr. Mário Alexandre Teles de Figueiredo

Dr.ª. Mariana Sá Correia Leite de Almeida

Júri

Presidente: Prof. Dr. Fernando Duarte Nunes

Orientadora: Dr.ª. Mariana Sá Correia Leite de Almeida

Vogal: Prof. Dr. José Manuel Bioucas Dias

1

“Se as palavras descrevem os acontecimentos, a imagem resume todas elas e muitas vezes o

2

Agradecimentos

Quero expressar a minha gratidão a todos os meus professores que me proporcionaram todo o conhecimento que adquiri ao longo do meu percurso académico e na realização deste trabalho. Agradeço também a toda a minha família, amigos e à Madalena, que sempre me apoiaram e me incentivaram na concretização do meu projeto pessoal e profissional. Agradeço também a colaboração do Sandro Neto na implementação do método BID.

Por fim, quero salientar que este trabalho não poderia ter sido feito sem a ajuda dos meus orientadores, em particular da Doutora Mariana S.C. Almeida, que partilhou comigo todo o seu conhecimento e competência.

3

Resumo

A focagem cega de imagens (é dita "cega" porque se desconhece, ou conhece, apenas parcialmente, o filtro de desfocagem) é um problema de grande interesse científico e com aplicações nas mais diversas áreas (fotografia, biomedicina, vigilância, astronomia, etc). É um tema que tem sido abordado em muitos artigos mas, devido à sua natureza complexa, as soluções com resultados promissores são ainda muito escassas.

Nesta tese, implementa-se o método ADMM (Alternating direction method of multipliers), com o objetivo de estender o método de focagem cega, para alcançar, simultaneamente, a focagem cega com a super-resolução. Pretende-se ainda obter a possibilidade de fazer focagem num cenário multi-frame. O método final vai possibilitar combinar a múltipla informação existente em diferentes imagens desfocadas e de baixa resolução, permitindo estimar uma única imagem, que seja simultaneamente focada e de resolução superior.

Palavras-chave

Focagem cega de imagem, Alternating Direction Method of Multipliers, multi-frame, super-resolução.

4

Abstract

Blind image deblurring (known as “blind” for not knowing, or partially knowing the deblurring filter) is a problem with great scientific interest, and with diverse applications (such as photography, biomedicine, surveillance, astronomy, etc.). It is a topic that has been discussed in many articles but, due to its complex nature, the solutions with promising results are still very scarce.

In this thesis, ADMM (Alternating direction method of multipliers) is implemented, in order to extend a blind image deblurring method, to simultaneously achieve the blind image deblurring with the super-resolution. Another objective is to obtain the possibility to make blind image deblurring in a scenario multi-frame. The final method allows combining multiple existing information in different blurred and low-resolution images, allowing estimation of a single image, which is both focused and of higher-resolution.

Keywords

5

Índice

Agradecimentos ... 2 Resumo ... 3 Palavras-chave ... 3 Abstract ... 4 Keywords ... 4 Índice ... 5

Lista dos Acrónimos ... 6

Lista de Figuras ... 6

Lista de Tabelas ... 7

1. Introdução ... 8

1.1 Motivação ... 9

1.2 Formulação do Problema e Estado de Arte... 9

1.3 Objetivos ... 11

1.4 Organização da Tese ... 11

2. Super-Resolução e focagem cega de imagens ... 12

2.1 Método BID ... 13

2.2 Método ADMM [5] ... 16

2.2.1 Estimação da imagem x com o ADMM ... 17

2.2.2 Estimação do filtro h com o ADMM ... 20

2.2.3 Medida de Qualidade ... 21

2.3 Método de focagem cega com Super-resolução ... 22

3. Resultados ... 25

Resultados ... 26

3.1 Método ADMM[5] ... 27

3.2 Método de focagem cega no cenário Multi-Frame ... 30

3.3 Método de focagem cega com Super-resolução ... 32

Conclusões ... 39

6

Lista dos Acrónimos

BID - Focagem cega de imagem (Blind Image Deconvolution)

ISNR - Relação sinal-ruído melhorado (Improvement in Signal to Noise Ratio)

TV – Variação total (Total Variation)

SNR - Relação sinal-ruído ( Signal to Noise Ratio)

PSF – Função densidade de probabilidade (Point Spread Function) BSNR – Blurred to signal-to-noise ratio

SR – Super-resolução (Super-resolution)

MF – Multi-frame

ADMM – Alternating direction method of multipliers

ID – Image Deblurring

FFT - Transformada rápida de Fourier ( Fast Fourier Transform )

Lista de Figuras

Figura 1 - Esquema para o método de focagem cega com super-resolução e exemplo de imagem desfocada (editado de [6])……….. 10 Figura 2 - Filtros de regularização para deteção de contornos: Horizontal, Diagonal Direita, Vertical e Diagonal Esquerda……… 14 Figura 3 - Função de regularização para q=0,5………... 15 Figura 4 - Cameraman, imagem de referência de resolução 256x256 pixéis………. 26 Figura 5 - Filtros usados na desfocagem da imagem. Da esquerda para a direita tem-se: filtro quadrado uniforme, filtro circular, filtro linear, filtro não linear………... 27 Figura 6 - Imagem estimada e filtro estimado para filtro de desfocagem quadrado para BSNR=∞. 28

7

Figura 7 - Imagem estimada e filtro estimado para filtro de desfocagem circular para BSNR=∞… 29 Figura 8 - Imagem estimada e filtro estimado para filtro de desfocagem linear para BSNR=∞…... 29 Figura 9 - Imagem estimada e filtro estimado para filtro de desfocagem não linear para BSNR=∞. 30 Figura 10 - Imagem desfocada e filtro de desfocagem uniforme 9x9 pixeis………... 31 Figura 11 - Imagem estimada e filtro estimado com BSNR = 20 para o cenário single-frame…….. 31 Figura 12 - Imagem estimada e um filtro estimado com BSNR = 20 para o cenário Multi-frame…. 32 Figura 13- Imagem desfocada de baixa resolução e filtro de desfocagem usado……….. 33 Figura 14 - Imagem estimada e filtro estimado para o método super-resolução com apenas uma imagem desfocada……… 33 Figura 15 - Imagens desfocadas com baixa resolução………... 34 Figura 16 – Esquema com filtros de desfocagem usado……… 35 Figura 17 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 3x3…………..…… 36 Figura 18 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 5x5………..……… 36 Figura 19 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 7x7………..……… 37 Figura 20 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 9x9……….…. 37

Lista de Tabelas

Tabela 1 - Demonstração dos resultados para Algoritmo 2 no Cameraman………. . 28 Tabela 2 - Demonstração dos resultados para o cenário Multi-Frame no cameraman em comparação com Single-frame (SNR (dB))………... 31 Tabela 3 – Demonstração do cálculo de SNR(dB) da imagem estimada para cada filtro usado….. 35

8

1

Introdução

Conteúdo

1.1 Motivação . . . . . . . . 9 1.2 Formulação do Problema e Estado de Arte. . .

. . . . 9 1.3 Objetivos . . . . . . . . 11 1.4 Organização da Tese . . . . . . . 11

9

Introdução

1.1 Motivação

Nos nossos dias, as imagens tornaram-se fundamentais no quotidiano de grande parte da população mundial.

As imagens têm variadíssimas origens, propósitos e transmitem inúmeras emoções. Têm ganho uma importância crucial na sociedade, sendo a sua difusão cada vez maior em várias áreas: artes plásticas, comunicação, publicidade, educação, investigação, etc.

A evolução da tecnologia com o aparecimento de diversos produtos destinados à comunicação (computadores, telemóveis, DVD’s, etc) fez com que a imagem passasse a ser divulgada continuamente, de modo a estar integrada quer no mundo do trabalho quer no entretenimento. O avanço da tecnologia e a otimização de custos de produção conduzem a que as pessoas guardem imagens em formato digital, tiradas por câmaras fotográficas, telemóveis ou através de downloads na internet. Hoje em dia, a evolução dos telemóveis permite o acesso a fotografar em qualquer momento e ainda existe a facilidade de armazenamento de imagens, quer no telemóvel ou por Cloud (pela internet).

As imagens fazem ainda parte do nosso dia-a-dia, através das redes sociais como o Facebook e o Twitter e também nas aplicações que facilitam o envio de imagens tais como WhatsApp,

Vyber e Skype.

1.2 Formulação do Problema e Estado de Arte

Tal como já foi referido, a imagem tem uma importância relevante no nosso dia-a-dia. Por vezes, ao tirar uma fotografia ela fica desfocada (são exemplos situações como um carro em movimento ou aquelas em que o zoom da máquina não alcança o pretendido, devido ao fator distância). Como recuperar uma fotografia desfocada? A solução é recorrer à focagem de imagem.

A focagem de imagem está inserida em muitas áreas e tem imensas aplicações, em que a mais comum é a de focagem automática de fotografias, de imagens que foram alvo de uma degradação no processo de fotografia, com o uso de máquinas fotográficas digitais [1], [2] e [3]. Os métodos de focagem de imagem podem ser divididos em dois grupos: focagem não cega e focagem cega. A focagem de imagem (Image Deblurring - ID), consiste na resolução de um problema inverso, cujo objetivo é recuperar uma imagem que sofreu uma desfocagem, a partir de um modelo de degradação com ruído aditivo, branco Gaussiano, onde o operador de degradação responsável pela desfocagem de uma ou mais imagens é conhecido. A focagem cega BID -Blind Image

10

focagem não cega que é conhecido, sendo a sua resposta a um impulso unitário chamada de point spread function (PSF).

A principal dificuldade d a focagem cega de imagem, deve-se ao problema ser mal colocado e indeterminado, já que se tem apenas acesso à imagem desfocada e existe um número infinito de pares de solução “imagem + filtro” que resultam como consequência do problema inverso ser mal colocado. O processo de degradação (desfocagem) em imagens reais, acontece no momento da obtenção da imagem ocorrer um movimento que provoca a desfocagem.

Na focagem cega de imagem existem também métodos com super-resolução, que consistem em recuperar uma imagem desfocada de baixa-resolução e estimar uma imagem de alta-resolução. A figura 1 representa o esquema do método de focagem cega de imagem com super-resolução, onde existem dois problemas: um direto e um inverso. O problema direto é facilmente resolvido usando um filtro de desfocagem sobre a imagem original e, em seguida, é feita uma amostragem na imagem desfocada, fazendo com que essa imagem de alta resolução passe para uma ou mais imagens desfocadas de baixa-resolução. O problema inverso consiste em usar uma ou várias imagens desfocadas de baixa resolução e recuperar uma imagem de alta-resolução sem estar desfocada, sem ter acesso tanto à imagem original como ao filtro de desfocagem usado.

Figura 1 - Esquema para o método de focagem cega com super-resolução e exemplo de imagem desfocada (editado de [6])

Existem vários artigos que abordam o tema de focagem cega com super-resolução. Em [7] aborda-se as focagens cegas e super-resolução para o problema de múltipla degradação de imagens de baixa resolução da imagem original. Não assume nenhuma informação prévia sobre o efeito de desfocagem. A proposta de abordagem consiste em construir uma função regularizada e minimizada com a imagem original e a imagem desfocada, onde a regularização é levada a cabo tanto no domínio da imagem como na desfocada. Em [8] é proposta uma abordagem usando uma minimização da norma L1 e a regularização robusta baseada num prior

11

bilateral para lidar com diferentes modelos de dados e ruído.

Para o método de focagem cega com super-resolução a vertente de vídeo é referida em [9] e [10]. Em [9] o método é baseado na regressão de kernel multidimensional, onde cada pixel numa sequência de vídeo é aproximada com um 3-D de séries local (Taylor), que captura o comportamento local da sua vizinhança espaço temporal. Os coeficientes desta série são estimados resolvendo um problema ponderado nos pesos dos mínimos quadrados local, em que os pesos são uma função orientada no espaço-tempo de 3-D para a vizinhança. A estrutura é baseada fundamentalmente na comparação de pixéis vizinhos no espaço e no tempo, que implicitamente contêm informações sobre o movimento local dos pixéis ao longo do tempo. Com este artigo e em [11] que ignora a necessidade de uma estimativa de movimento explícito, fez com que surgisse [10] mais simples e intuitivo, contando com super-resolution reconstruction que usa uma estimativa de movimento probabilístico e bruto, oferecendo várias extensões não abrangidas em [9], tais como tarefas de reamostragem gerais (por exemplo, de entrelaçamento).

1.3 Objetivos

Os objetivos desta tese são acresce ntar e este nder o m étodo BID a p r e s e n tado no artigo [4] e [12] de f orm a a ser aplicá ve l a prob lem as de super-resolução. Em particular, pretende-se:

 Implementar o método ADMM de focagem cega de imagem [5].

 Estender o método de forma a funcionar no cenário multi-frame e a realizar super-resolução.

 Efetuar testes que permitam ilustrar o funcionamento das abordagens descritos nos pontos anteriores.

1.4 Organização da Tese

Esta tese encontra-se organizada em quatro capítulos. O Capitulo 1 descreve o problema abordado, os objetivos e o estado de arte. O Capitulo 2 descreve o método proposto nesta tese. O Capitulo 3 apresenta e compara os resultados obtidos com os diferentes métodos implementados. Por último, no Capitulo 4 são apresentadas as conclusões do trabalho efetuado, fazendo-se referências ao trabalho a poder implementar no futuro.

12

2

Super-Resolução e focagem

cega de imagens

Conteúdo

2.1 Método BID[12] . . . . . . . 13 2.2 Método ADMM[5] . . . . 16 2.2.1 Estimação da imagem x com ADMM . . . . . .

. . .

17 2.2.2 Estimação do filtro h com ADMM . . . . . . . .

.

20 2.2.3 Medidas de qualidade . . . . . . . . . . . . .

.

21 2.3 Método de focagem cega com Super-resolução . . .

. . . .

13

Super-Resolução e focagem

cega de imagens

2.1

Método BID[5]

O método BID [5] é a extensão de um método base [4,7] em que a imagem e o filtro são estimados pelo método ADMM. A descrição abaixo mencionada, segue de perto o trabalho destas referentes [4,7,12].

Modelo de degradação

A desfocagem da imagem pode ser modelada como:

(2.1) em , e são vetores de coluna que representam, respetivamente, a imagem degradada, a imagem original e ruído aditivo, todos vetorizados lexicograficamente e a matriz _{corresponde à degradação de desfocagem. Numa degradação cíclica, em que e o}

operador é a matriz quadrada que corresponde ao operador linear de convolução cíclica com um filtro de desfocagem representado lexicograficamente no vetor . No entanto, deve-se assumir condições de fronteira desconhecidas, uma vez vez que as desfocagens reais não são cíclica e para originar uma imagem desfocada com √ √ pixéis, é necessário ter acesso a (√ ) (√ ) pixéis da imagem original e um filtro de desfocagem com suporte de (2l + 1) x (2l +1) pixéis. Neste caso, o operador de desfocagem (√ ) , que pode ser separado no produto de uma convolução cíclica realizada pela matriz (√ ) (√ ) com a matriz (√ ) _{que exclui as bordas dos pixéis onde a convolução cíclica é inválida:}

, (2.2) onde é o vetor que contém o filtro de desfocagem ordenado lexicograficamente e

_{é a matriz quadrada que corresponde à convolução cíclica com a imagem do vetor}

.

Função de custo

O método BID em [5] recupera (aproximadamente) a imagem original a partir da minimização de uma função de custo, que tem conta o modelo (2.2):

( ) ‖ ‖ ∑ [‖ ( ) _{‖ ] ( ) , (2.3)}

, se ,

, se . (2.4)

( )

com

14

A função ( ) apresenta uma restrição ao filtro , sendo uma função indicadora do conjunto de vetores com suporte limitado e com entradas não negativas. O termo de (2.4) ∑ [‖ ( ) ‖ ] representa o regularizador utilizado na estimação da imagem, cuja expoente q (parâmetro de esparsidade) é responsável pelo controlo da esparsidade do regulador, é o parâmetro de regularização e ( ) é uma matriz que calcula para cada pixel i a saída de quatro filtros direcionais (figura 2).

Figura 2 - Filtros de regularização para deteção de contornos: Horizontal, Diagonal Direita, Vertical e Diagonal Esquerda.

Detetor de contornos

O método usa um detetor de contornos que foi desenvolvido em [4] a fim de assumir uma densidade a priori da imagem (explicado no próximo tópico) diretamente sobre os contornos das imagens. O detetor de contornos utiliza um conjunto de filtros de deteção de contornos como indicado na figura 2. Para cada pixel , a saída dos quatros filtros direcionais é dada por:

( ) ‖ ( ) _{‖ (2.5)}

em que ( ) _{é a matriz que calcula a saída dos quatro filtros direcionais de regularização no}

pixel .

Densidade a priori (Prior) da imagem

O Prior da imagem que o método usa assume que as intensidades dos contornos de diferentes pixéis são independentes um do outro, assim sendo, a intensidade dos contornos de cada pixel é assumida seguir uma densidade a priori esparsa:

( ) ( )

_.

_(2.6)

A variável k é um fator de escala e a variável controla a esparsidade de ( ) . Assumindo o ruído branco Gaussiano, de média zero e variância , a probabilidade da imagem e do filtro dado a imagem desfocada é dada por:

15

( ) ‖ ‖ ∏ ( ) _{, (2.7)} onde i é um índice que atravessa todos os pixéis. Aplicando logaritmo a (3.8) têm-se:

( ) ‖ ‖ ∑ ( ) . (2.8) Maximizando (2.8) obtém-se uma minimização da função de custo, semelhante a (2.3):

( ) ‖ ‖ ∑ [‖ ( ) _{‖ ] , (2.9)}

em que , onde o erro do termo de ligação aos dados inclui erro no ruido aditivo e da estimação do filtro h. Nesta equação tem-se, o termo de ligação de dados ‖ ‖ , e o termo responsável pela regularização ∑ [‖ ( ) ‖ ] . A figura 3 mostra a função do termo de regularização para q=0,5.

Figura 3 - Função de regularização para q=0,5.

Algoritmo BID

Como mencionado acima, o método de BID [12] usa a seguinte função de custo, a qual vai ser minimizada em relação à imagem e ao filtro , da função de custo [13] e [14]:

( ) ‖ ‖ ∑ [‖ ( ) _{‖ ] ( ) , (2.10)}

O filtro de desfocagem h é restringido a um suporte limitado a ter entradas maiores ou iguais zero. O método encontra um mínimo local de (2.10) Algoritmo 1 em que as otimizações de x e h são realizadas em alternância.

( )

(

( ) )

16

Algoritmo 1 BID:

Inicialização:

1. Configurar h para o operador de identidade. 2. Configurar x igual a y.

3. Configurar qual o valor inicial do e o valor mínimo . Otimização do loop:

4. Obter nova estimativa de x: x=argminx C(x,h) , com h fixo 5. Obter nova estimativa de h: h=argminh C(x,h) , com x fixo 6. Configurar o novo valor de .

7. Se voltar a 4, caso contrário parar.

A recuperação da imagem é orientada para a solução desejada, iniciando com um máximo (parâmetro de regularização), que depois é reduzido progressivamente até atingir o mínimo local definido no Algoritmo 1. A progressão dos valores de é geométrica, dada por:

/ r , (2.11)

em que r representa uma constante escolhida para dar uma progressão geométrica.

No início da otimização, com o máximo, apenas as características principais da imagem sobrevivem à imagem estimada. À medida que a otimização avança, a estimativa do filtro de desfocagem torna-se melhor, as características menores e mais fracas podem ser progressivamente utilizadas para a estimação, levando o método para uma boa solução.

2.2 Método ADMM [5]

O algoritmo 2 ADMM é uma ferramenta eficiente para resolver vários problemas de otimização, nomeadamente em problemas de focagem de imagem e focagem cega de imagem [15] [16]. Considere-se o problema de minimização geral:

∑ ( )( ( ) ) , (2.12)

onde é o vetor a ser otimizado, ( ) _{são matrizes arbitrárias e} ( ) _.

O Algoritmo 2 resolve o problema de (2.12) através de uma variável de splitting (separação) que leva a um problema equivalente:

∑ ( )( ( )) (2.13)

17

As principais etapas do Algoritmo 2, são as linhas 4 e 5 cujo cálculo pode ser um desafio. A linha 4 consiste em encontrar uma solução de um sistema linear, enquanto a linha 5 consiste num operador de proximidade:

( ) ( ) arg ‖ ‖ ( ) , (2.15)

que é bem conhecido por ter uma forma fechada para várias funções f(x) [17].

Algoritmo 2 ADMM: 1. Inicializar , escolher ( ) ( ) ( ) 2. Repetir: 3. ∑ ( )( ( )) ( ( ) ( )) 4. [∑ ( )( ( )) ( )] 5. ( ) ( ) ( ) ⁄ ( ( ) ( )) 6. ( ) ( ) ( ( ) ( ) ) 7.

8. até um critério de paragem ser satisfeito.

2.2.1 Estimação da imagem x com o ADMM

A estimação da imagem na linha 4 do ciclo de otimização do método BID (algoritmo 1) pode ser escrita como se segue:

‖

( )

_‖

_{∑ [‖}

( )

_‖

_]

∑ ( ) ( ( ) ₎ ∑ ( ) ( ( )) , (2.16)

em que a equação (2.16) enquadra na formulação do ADMM (2.14) com ( ) e ( ) , com as variáveis de splitting ( )_e ( )_{. A matriz representa o operador linear de convolução circular}

com o filtro , a matriz representa uma máscara de pixéis que apresentada no modelo de degradação, com objetivo de excluir os pixéis dos quais a convolução não é válida. A função

18

( )_{( ) ‖} ( )_{‖ . (2.17)}

A função ( )₍ ( )_{) está relacionada com o termo de regularização:}

( )₍ ( )_{) ∑ [‖} ( )_{‖ ] , (2.18)}

onde indexa um pixel, é a matriz que contem o empilhamento por linhas de ( ) e

( )

é o vetor com a saída de quatro filtros direcionais no pixel i.

A imagem pode ser assim estimada a partir da linha 3 e 4 do método ADMM (Algoritmo 2):

( ( ) ( ) )

, (2.19)

em que [ ( ) ( ( ) ( )) ( ) ( ( ) ( ))] , (2.20)

com e obtidas a partir do conjugado da transformada rápida de Fourier (FFT) dos filtros de regularização e do filtro de desfocagem respetivamente, sendo a operação de inversão realizada no domínio da transformada.

A atualização da primeira variável de splitting ( ) linha 5 do algoritmo 2, pode ser expressa por:

( ) ( )( ( )) ( ) ‖ ( ) ( ) ( )_{‖ = (2.21)} = ‖ ( )_‖ ( )_‖ ( ) ( )_{‖ (2.22)} = ( ) ( ) ⁄ ( ) _{, (2.23)} onde ( ) ( ) ( ) _, ( ) _e ( ) _{. (2.24)}

Aplicando a primeira derivada a (2.22) e igualando a zero obtêm-se:

( ( )₎ ( )₍ ( ) ( )₎

( )

( ( )_{) [} ( )₍

( )) ], (2.25)

definindo-se assim a atualização da primeira variável de splitting, em que uma matriz binária que coloca a zero todos os pixéis que não devem ser observados, é a operação de uma versão estendida da matriz , com pixéis extra na região fronteira também iguais a zero, sendo ambas realizadas no domínio espacial e é a operação realizada no domínio da transformada.

19

A segunda variável de splitting ( ) é obtida usando o mesmo processo acima:

( ) ( )( ( )) ( ) ‖ ( ) ( ) ( )_{‖ (2.26)} (‖ ( )_{( )}‖) ‖ ( ) ( )_{‖ (2.27)}

em que a expressão (2.26 e 2.27) pode ser escrita como:

( ) ₍ ( )

( ) ) ( ( ) _{‖ ( )‖} ), (2.28) onde a função shrink é dada por:

( ( ) ₎

( ( )) ‖ ( ) ‖ . (2.29)

Para , a equação (2.26) tem uma solução em forma fechada e pode ser calculada a partir das raízes de um polinómio de terceiro grau, onde a raiz que minimiza (2.29) é posteriormente a escolhida:

( ( )) ( ( )_{) , (2.30)}

em que w é dado pela equação:

( ) ₍ ( )₎

( ( )₎

( ( )_{) . (2.31)}

Efetuando uma mudança de variável √ , a equação (3.31) pode ser escrita como:

( ( )_{) , (2.32)}

com .

As variáveis ( )_e ( ) _{atualizadas de acordo com (linha 6 do algoritmo 2):}

( ) ( ) ₍ ( ) ), (2.33) ( ) ( ) ₍ ( ) ), (2.34)

20

2.2.2 Estimação do filtro h com o ADMM

A estimação do filtro h a partir do algoritmo 2 é feita com o mesmo processo usado na estimação da imagem. A linha 2 do algoritmo 1 (método de BID) fica então:

‖ ( )‖ ( ( )) , (2.35)

em que a equação (2.35) enquadra na formulação do ADMM (2.14) com ( ) e ( ) , em que é o vetor que contém os pixéis do filtro lexicamente ordenado, é a matriz quadrada correspondente à degradação cíclica com a imagem em , ( ( )) é a função indicadora do conjunto , sendo o subespaço dos pixéis em que h existe e M é a matriz de observação (máscara que exclui o limite de pixéis em que a convolução cíclica é inválida) . As funções ( )₍ ( )_{) e} ( )₍ ( )_{) são definidas por:}

( )₍ ( )_{) ‖} ( )_{‖ , (2.36)}

( )₍ ( )_{) . (2.37)}

A estimação do filtro pode ser assim calculada a partir da linha 3 e 4 do Algoritmo 2:

( ( ) ( ) )

, (2.38)

[ ( ) ( ( ) ( )) ( ) ( ( ) ( ))] , (2.39)

em que é a matriz obtida a partir do conjugado da FFT da imagem e é a matriz identidade.

A atualização da primeira variável de splitting ( ) linha 5 do algoritmo 2, pode ser expressa como:

( ) ₍ ( )_{) [} ( )₍

( )) ] . (2.40)

A segunda variável de splitting ( ) é adaptada da seguinte forma:

( )

( ( )) , (2.41)

onde ( ) é a projeção dos pixéis no domínio , ou seja, igualando a zero todos os pixéis fora do suporte e cujos valores sejam negativos.

As variáveis ( )_e ( ) _{são atualizadas de acordo com:}

( ) ( ) ₍

21

( ) ( ) ₍

( ) ) , (2.43)

sendo a operação realizada no domínio da transformada.

2.2.3 Medida de Qualidade

A medida para avaliar a qualidade dos resultados dos testes de focagem cega é feita através do cálculo de ISNR (Relação sinal-ruído melhorado), como é geralmente feito em métodos de focagens não-cegas.

O cálculo de ISNR em dB é dado por:

( ) ∑ ( _{∑ (} )₎ , (2.44)

em que x0 é a imagem original, y é uma versão dessa imagem degradada e x é a imagem

22

2.3 Método de focagem cega com Super-resolução

Modelo de degradação e Função de custo

Para o método de focagem cega com super-resolução foi utilizado como base o método implementado de focagem acima descrito - Algoritmo 2, fez-se umas modificações para realizar super-resolução e funcionar no cenário de multi-frame.

O novo modelo de degradação pode ser formulado da seguinte forma:

, (2.45)

em que

é uma matriz diagonal na frequência correspondente à degradação da desfocagem da imagem com o filtro de desfocagem, , e são vetores de coluna, que representam, respetivamente, a imagem degradada, a imagem original e ruído aditivo, todos vetorizados lexicograficamente. f é um índice que representa o número de amostras e pode ser decomposto em:

, (2.46) _{é o filtro do sensor,}

_{é a desfocagem do processo,}

_{é o}

deslocamento espacial, e é a matriz de amostragem que faz a decimação de , sendo

a decimação o conjunto de operações para diminuir a resolução de um sinal.

A imagem original pode ser estimada (com um certo nível de qualidade) a partir da minimização da seguinte função de custo, adaptado ao modelo de degradação apresentado acima:

( ) ∑ (‖ ‖ ) ∑ [‖ ( ) ‖ ] ∑ ( ( )) , (2.47)

semelhante a (2.10).

Algoritmo BID com SR

Dependendo do número de imagens e do fator resolução usado, o método tem um comportamento diferente. O fator de resolução (r) decide a máscara a ser usada, ou seja, caso a resolução é igual a 1 usa-se a máscara anterior (sem decimação), caso a resolução é maior que 1 usa-se a máscara com decimação. Assim tem-se:

 para f=1 e resolução=1, este método é equivalente ao método BID[5] Algoritmo 2,

 para f>1 e resolução=1, é usado o Algoritmo 3 no cenário de multi-frame,

23

Algoritmo 3 Super-Resolução:

Inicialização:

1. Configurar para o operador de identidade.

2. Configurar qual o valor inicial do e o valor mínimo . 3. Escolher o valor para resolução.

Otimização do loop:

4. Obter nova estimativa de x: x=argminx CSR(x,

) , com fixo 5. Obter nova estimativa de : =argminhf CSR(x,

) , com x fixo 6. Configurar o novo valor de .

7. Se voltar a 4, caso contrário, parar.

Estimação da imagem e do filtro usando BID com SR

Na estimação da imagem x, é usado o método acima referido na secção 2.2.1 com as alterações:

‖ ( )‖ [‖ ( )‖ ] ∑ ( ) ( ( ) ₎ ∑ ( ) ( ( )) , (2.48)

em que a equação (2.48) enquadra na formulação do ADMM (2.14) com ( ) _e ( ) _{, com}

as variáveis de splitting ( )_e ( )_{. A função} ( )₍ ( )_{) está associada ao modelo de degradação:}

( )_{( ) ‖}

( )‖ . (2.49)

A função ( )₍ ( )_{) está relacionada com o termo de regularização, onde indexa um pixel :}

( )₍ ( )_{) ∑ [‖} ( )_{‖ ] , (2.50)}

em que ( ) _{é o vetor com a saída de quatro filtros direcionais no pixel i.}

A imagem pode ser assim estimada através do algoritmo 3 linha 4, tal como linha 3 e 4 do Algoritmo 2:

24

com e obtidas a partir do conjugado da transformada rápida de Fourier (FFT) dos filtros de regularização e do filtro de desfocagem respetivamente, sendo a operação de inversão realizada no domínio da transformada.

A atualização da primeira variável de splitting ( ) linha 5 do algoritmo 2, pode ser expressa por:

( ) ( )( ( )) ( ) ‖ ( ) ( ) ( )_{‖ = (2.52)} = ‖ ( )‖ ( ) ‖ ( ) ( )_{‖ (2.53)} = ( ) ( ) ⁄ ( ) _{, (2.54)} onde ( ) ( ) ( ) _, ( ) _e ( ) _{. (2.55)}

Aplicando a primeira derivada a (2.52) e igualando a zero obtêm-se em ordem a ( ): ( ( )) ( )( ( ) ( ))

( ) ( ( )

) ( )( ( )) . (2.56)

A estimação do filtro é usado o método acima referido na secção 2.2.2 em que é feito a estimação para cada filtro f.

Modelo de Qualidade

O método de qualidade usado foi o SNR em vez do ISNR, uma vez que a imagem estimada é de maior resolução do que a imagem original. Em super-resolução estima-se mais pixéis do que os da imagem observada e, por isso, não faz sentido usar ISNR que compara o erro da imagem estimada com o erro da observada. Na observada "faltam" pixéis para serem comparados com a imagem original que está numa resolução mais alta. SNR é definido como a relação de potência do sinal para potência do ruído de corrupção do sinal. A relação sinal-ruído (SNR) é o fator determinante quando se trata de qualidade de medição. Quanto maior o SNR, melhor será a qualidade da imagem estimada. O cálculo de SNR é dado por:

( ) ∑ ( ) , (2.57)

25

3

Resultados

Conteúdo

3.1 Método ADMM[5] . . . . . . . 26 3.2 Método de focagem cega em Multi-frame . . .

. . . .

30 3.3 Método de focagem cega com Super-resolução . . .

. . . .

26

Resultados

Neste capítulo são apresentados os resultados para as experiências realizadas em focagem cega de imagem. As experiências realizadas focam-se no método de BID [5], focagem cega no cenário multi-frame e focagem cega com super-resolução.

Para cada um destes métodos usa-se a imagem de referência do cameraman (figura 4), que será comparada com a imagem estimada por cada um dos métodos através do cálculo de ISNR (BID) ou SNR (DID com SR).

27

3.1 Método BID[5,12]

As experiências realizadas para o método BID [5,12] (algoritmo 2), são feitas com quatro filtros de desfocagem diferentes (figura 5), com ruído igual a 40 dB Blurred Signal-to-Noise Ratio (BSNR) e sem ruído (BSNR = ∞ dB), onde BSNR é definido por:

( ), (3.1)

sendo a variância do ruído e ( ) a variância da imagem degradada.

A experiência começa com a imagem original (figura 4) desfocada com um filtro pretendido (figura 5). Em seguida, a imagem desfocada é submetida a um ciclo com n iterações, onde nmax=40 é um critério de paragem. Para cada n obtém-se um parâmetro de regularização , em que e com (2.11). Para cada iteração n, é feita a estimação da imagem e do filtro,

alternadamente pelas funções que representam os cálculos de secções 2.2.2 e 2.2.3, ambas limitadas a um número máximo de iterações, 20 e 15 respetivamente.

No fim do ciclo são estimados n imagens estimadas e os seus n-1 filtros de desfocagem, dado que o filtro inicial é escolhido como operador de identidade, sendo escolhido a melhor imagem estimada com o seu filtro respetivo através do cálculo de ISNR.

A figura 4 foi desfocada por quatro filtros diferentes (figura 5) de tamanho 9x9 pixéis.

Figura 5 - Filtros usados na desfocagem da imagem. Da esquerda para a direita tem-se: filtro quadrado uniforme, filtro circular, filtro linear, filtro não linear.

A Tabela 1 contém os resultados do cálculo de ISNR(dB) da imagem estimada para cada filtro usado em função do BSNR introduzido e o seu respetivo tempo, usando o Algoritmo 2.

28

Filtro

BSNR=∞ BSNR=40

ISNR(dB) Tempo ISNR(dB) Tempo

Quadrado 13.34 (Figura 6) 1 min 51 s 10.05 1 min 37 s

Circular 9.38 (Figura 7) 1 min 43 s 8.88 1 min 35 s

Linear 9.05 (Figura 8) 1 min 17 s 8.22 1 min 22 s

Não linear 11.14 (Figura 9) 1 min 18 s 8.98 1 min 17 s

Tabela 1 - Demonstração dos resultados para Algoritmo 2 no Cameraman.

As Figuras 6 a 9 representam os resultados da imagem estimada e o filtro estimado para cada um dos filtros usados.

Figura 6 - Imagem estimada e filtro estimado para filtro de desfocagem quadrado para BSNR=∞

29

Figura 7 - Imagem estimada e filtro estimado para filtro de desfocagem circular para BSNR=∞

30

Figure 9 - Imagem estimada e filtro estimado para filtro de desfocagem não linear para BSNR=∞

Este método estimou com bom nível quer a imagem quer o filtro de desfocagem para diferentes níveis de ruído e diferentes filtros de desfocagem usados.

3.2 Método de focagem cega em cenário Multi-Frame

A experiência realizada foi feita com vista a comparar entre a estimação da imagem para o cenário single-frame e para o cenário multi-frame usando o Algoritmo 3. O método usa os mesmos parâmetros e regras falados em 3.1 BID [5], com adição de novos fatores.

A resolução vai ser colocada a 1 para não haver amostragem na imagem desfocada e este algoritmo permitir ter uma ou várias imagens desfocadas. No caso do cenário multi-frame estima um filtro para cada imagem desfocada e uma imagem estimada para cada ciclo.

O filtro de desfocagem é o mesmo, tanto para o cenário single-frame como para o cenário multi-frame e está representado na figura 10. No caso do cenário multi-multi-frame são usados nove imagens desfocadas todas diferentes. Foi realizada a experiência para diferentes valores de ruído. O nível de ruído escolhido foi de 40 e 20 dB Blurred Signal-to-Noise Ratio e foi aplicado à imagem cameraman de resolução 256x256 pixéis (figura 4). A métrica utilizada para avaliar a qualidade da imagem estimada foi o valor do SNR.

31

Figura 10 - Imagem desfocada e filtro de desfocagem uniforme 9x9 pixéis

A Tabela 2 contém os resultados do cálculo do SNR(dB) para o cenário single-frame (1 imagem desfocada) e para o cenário multi-frame ( 9 imagens desfocadas) em função de BSNR.

Cenário

BSNR=40 BSNR=20

SNR(dB) Tempo SNR(dB) Tempo

Single-Frame 19.09 _3min11s 18.55 _3min07s

Multi-frame 20.36 _9min40s 20.10 4min39s

Tabela 2 - Demonstração dos resultados para o cenário Multi-Frame no cameraman em comparação com Single-frame (SNR (dB))

As figuras 11 e 12 representam os resultados das imagens estimadas e os filtros estimados para os cenários single-frame e multi-frame com ruído.

32

Figura 12 - Imagem estimada e um filtro estimado com BSNR = 20 para o cenário Multi-frame.

O método proposto para o cenário multi-frame alcança melhores resultados do que para o cenário single-frame. Para o cenário multi-frame mostra que na estimação da imagem sofre pouco com a variação de ruído.

3.3 Método de focagem cega com Super-resolução

Foram realizadas duas experiências tendo em conta o método de focagem cega com super-resolução. Uma das experiências com apenas uma imagem desfocada de baixa resolução com filtro de desfocagem uniforme de tamanho 3x3 pixéis e a outra com nove imagens desfocadas e de baixa resolução. Ambas as experiências foram realizadas sem ruído aditivo.

Novamente o método usa os mesmos parâmetros e regras referidos em 3.1 ADMM [5] com adição de novos fatores. Usa-se a resolução=3 que fará uma amostragem na imagem desfocada (com decimação), ou seja, esta baixa de resolução, passando de 256x256 para 85x85 pixéis. Este algoritmo permite ter uma ou várias imagens desfocadas. O algoritmo usado é o 3 e para cada imagem desfocada terá um filtro de desfocagem associado. O método de focagem cega com super-resolução estima o filtro de desfocagem para cada imagem desfocada. A métrica utilizada para avaliar a qualidade da imagem estimada foi o valor do SNR.

A figura 13 apresenta para a primeira experiência em que se usa apenas uma imagem desfocada de baixa resolução e o seu filtro de desfocagem respetivo.

33

Figura 13- Imagem desfocada de baixa resolução e filtro de desfocagem usado

A figura 14 demonstra os resultados obtidos para a experiência proposta. Tendo a imagem estimada um SNR em dB de 16,08, a experiência demorou 3 minutos e 33 segundos.

Figura 14 - Imagem estimada e filtro estimado para o método super-resolução com apenas uma imagem desfocada.

34

Na segunda experiência, com nove imagens desfocadas de baixa-resolução, foram feitas quatro experiências diferentes para cada uma delas, usando um filtro uniforme de 22

desfocagem (3x3, 5x5, 7x7 e 9x9 pixéis).

A figura 15 demonstra um exemplo das nove imagens desfocadas de baixa resolução e a figura 16 representa o esquema do filtro de desfocagem usado na figura 15, numa relação direta ou seja y1 com h1. Como evidencia a figura 16, no filtro de desfocagem é feita uma deslocação de filtro para filtro, com o objetivo de verificar como reagiria este método na estimação de cada filtro.

35

Figura 16 – Esquema com filtros de desfocagem usado.

A Tabela 3 contém os resultados do cálculo do SNR(dB) com os diferentes tamanhos do filtro de desfocagem para a imagem estimada.

Filtros Uniforme ( tamanho ) SNR(dB) Tempo

3x3 20.17 (Figura 17) 6 min 09 s

5x5 17.11 (Figura 18) 6 min 04 s

7x7 16.75 (Figura 19) 7 min 51 s

9x9 15.89 (Figura 20) 7 min 50s

36

As figuras 17 a 20 apresentam os resultados para a imagem estimada e o filtro estimado (h1) para a primeira imagem desfocada (y1), para cada diferente filtro de desfocagem usado.

Figura 17 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 3x3

37

Figura 19 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 7x7

Figure 20 - Imagem estimada e filtro h1 estimado para o filtro de desfocagem 9x9

Na experiência com nove imagens desfocadas de baixa resolução por nove filtros quadrados uniformes de tamanhos diferentes, verifica-se que, à medida que se aumenta o tamanho do filtro, a imagem estimada obtém pior resultado.

38

4

39

Conclusões

O método BID [5] foi implementado com sucesso e os seus resultados experimentais estão de acordo com o esperado. Este método estimou com bom nível quer a imagem quer o filtro de desfocagem para diferentes níveis de ruído e diferentes filtros de desfocagem usados. Além disso, verificou-se que este método estima a imagem desfocada num tempo bastante satisfatório.

Foi também implementado com sucesso a extensão do método de focagem cega BID [5], de forma a alcançar a focagem cega com super-resolução e ainda a possibilidade de fazer focagem cega no cenário multi-frame.

Para o método de focagem cega no cenário multi-frame foi possível verificar-se que recupera melhor do que no cenário single-frame.

Para o método de focagem cega com super-resolução foi possível verificar-se melhores resultados quando houve acesso a um maior número de imagens desfocadas.

Na segunda experiência de focagem cega com super-resolução com nove imagens desfocadas de baixa-resolução, em que se varia o tamanho do filtro de desfocagem, seria esperado melhores resultados na estimação, tanto na imagem como no filtro, o que não aconteceu. No entanto, consegue estimar a imagem e os filtros.

Para trabalho futuro, seria interessante estender o método BID [5] para estimar imagens a cores e permitir também estender o método de focagem cega com super-resolução para incluir imagens a cores.

40

Bibliografia

[1] R.Fergus, B.Singh, A. Hertzmann, S. T. Roweis and W. T. Freeman, “Removing camera shake from a single photograph,” ACM Trans. Graph. (TOG), vol. 25, pp. 787–794, Jul. 2006.

[2] M. Bertero and P. Boccacci, “Introducing to inverse problems in imaging,” IOP Publishing, Bristol, UK, 1998.

[3] M.S.C. Almeida and L.B. Almeida, “Blind deblurring of natural images,” Proc. ICASSP, Las

Vegas, NV, pp. 1261–1264, Mar. 2008.

[4] M. S. Almeida e L. B. Almeida, “Blind and Semi-Blind Deblurring of Natural Images,” IEEE Trans. on

Image Processing, vol. 19, pp. 36-52, Jan. 2010.

[5] M. S. Almeida e M. Figueiredo, “Blind Deblurring of Natural Images Using the Alternating Direction Method of Multipliers,” (a ser submetido).

[6] M. S. C. Almeida, “Blind Separation and Blind Deblurring of Natural Images” Universidade Técnica

de Lisboa ,2010.

[7] Filip ˇSroubek, Gabriel Cristóbal, Senior Member, IEEE, and Jan Flusser, Senior Member, IEEE, ”A Unified Approach to Superresolution and Multichannel Blind Deconvolution”, IEEE Trans. Image

Process, vol. 16, no. 9, Set. 2007.

[8] Sina Farsiu, M. Dirk Robinson, “Fast and Robust Multiframe Super Resolution”, IEEE Trans. Image

Process, vol. 13, no. 10, Out. 2004.

[9] H. Takeda, P. Milanfar, M. Protter, and M. Elad, “Super-resolution without explicit subpixel motion estimation,” IEEE Trans. Image Process, to be published.

[10] M. Protter,M. Elad, H. Takeda, “Super ResolutionWith Probabilistic Motion Estimation” IEEE

Trans. Image Process, vol. 18, no. 8, Aug. 2009.

[11] M. Protter,M. Elad, H. Takeda, and P. Milanfar, “Generalizing the nonlocal-means to super-resolution reconstruction,” IEEE Trans. ImageProcess., vol. 18, no. 1, pp. 36–51, Jan. 2009.

[12] M. S. Almeida e M. A. Figueiredo, “Blind image deblurring with unknown boundaries using the alternating direction method of multipliers,” IEEE International Conference on Image Processing , 2013.

41

[13] T. Chan e C. Wong, “Total variation blind deconvolution,” IEEE Trans. Image Process., vol. 7, Mar. 1998.

[14] L. He, A. Marquina e S. Osher, “Blind deconvolution using TV regularization and Bregman iteration,” Int. J. Imag. Syst. Technol., vol. 15, pp. 74-83, 2005.

[15] M. Afonso, J. Bioucas-Dias e M. Figueiredo, “An augmented Lagrangian approach to the contrained optimization formulation of imaging inverse problems,” IEEE Trans. Image Proc, vol. 20, pp. 681-695, 2011.

[16] M. Afonso, J. Bioucas-Dias e M. Figueiredo, “Fast image recovery using variable splitting and contrained optimization,” IEEE Trans. Image Proc., vol. 19, pp. 2345-2356, 2010.

[17] P. L. Combettes and J.-C. Pesquet, Proximal Splitting Methodsin Signal Processing, chapter 10, in: Fixed-Point Algorithms for Inverse Problems in Science and Engineering (H. H. Bauschke, R. S. Burachik, P. L. Combettes, V. Elser, D. R. Luke and H.Wolkowicz, Editors), pp. 185–212, Springer, 2011.