DAVID MENOTTI GOMES Orientador: Arnaldo de Albuquerque Araújo
Co-orientador: Laurent Najman
REALCE DE CONTRASTE EM IMAGENS DIGITAIS
USANDO EQUALIZAÇÃO DE HISTOGRAMA
Belo Horizonte Abril de 2008
Livros Grátis
http://www.livrosgratis.com.br
Universidade Federal de Minas Gerais Instituto de Ciências Exatas
Programa de Pós-Graduação em Ciência da Computação
REALCE DE CONTRASTE EM IMAGENS DIGITAIS
USANDO EQUALIZAÇÃO DE HISTOGRAMA
Tese apresentada ao Curso de Pós-Graduação em Ciência da Computação da Universidade Federal de Minas Gerais como requisito parcial para a obtenção do grau de Doutor em Ciência da Computação.
DAVID MENOTTI GOMES
Belo Horizonte Abril de 2008
Federal University of Minas Gerais Instituto de Ciências Exatas
Graduate Program in Computer Science
CONTRAST ENHANCEMENT IN DIGITAL IMAGING
USING HISTOGRAM EQUALIZATION
Thesis presented to the Graduate Program in Computer Science of the Federal University of Minas Gerais in partial fulfillment of the re-quirements for the degree of Doctor in Com-puter Science.
DAVID MENOTTI GOMES
Belo Horizonte April 2008
UNIVERSIDADE FEDERAL DE MINAS GERAIS
FOLHA DE APROVAÇÃO
Realce de Contraste em Imagens Digitais
usando Equalização de Histograma
DAVID MENOTTI GOMES
Tese defendida e aprovada pela banca examinadora constituída por:
Dr. Arnaldo de Albuquerque Araújo – Orientador Universidade Federal de Minas Gerais
Dr. Laurent Najman – Co-orientador Université Paris-Est
Dr. Mario Fernando Montenegro Campos Universidade Federal de Minas Gerais
Dr. Alexei Manso Corrêa Machado Pontifícia Universidade Católica de Minas Gerais
Dr. Jacques Facon
Pontifícia Universidade Católica do Paraná
Dr. Ricardo da Silva Torres Universidade de Campinas
Resumo
Dispositivos para aquisição e processamento de imagens podem ser encontrados em sistemas complexos de monitoração de segurança ou simples aparelhos celulares. Em certas aplicações, o tempo necessário para processar uma imagem não é tão importante quanto a qualidade das imagens processadas (por exemplo, em imagens médicas), mas em alguns casos a qualidade da imagem pode ser sacrificada em favor do tempo. Essa tese se foca nesse último caso, e propõe duas metodologias eficientes para o realce de contraste de imagens. Os métodos propostos são baseados em equalização de histograma (EH), e focam em imagens em tons de cinza e em imagens coloridas.
Os métodos baseados em EH atualmente utilizados para processar imagens em tons de cinza tendem a mudar o brilho médio da imagem para o tom médio do intervalo de tons de cinza. Essa mudança não é desejavél em aplicações que visam melhorar o contraste em produtos eletrônicos utilizados pelo consumidor, onde preservar o brilho da imagem original é necessário para evitar o aparecimento de artefatos não exitentes na imagem de saída. Para corrigir esse problema, métodos de bi-equalização de histogramas para preservação do brilho e contraste de imagens foram propostos. Embora esses métodos preservem o brilho da imagem original na imagem processada com um realce significante do contraste, eles podem produzir imagens que não parecem naturais. Esse novo problema foi resolvido por uma nova técnica chamada de Multi-Equalização de histogramas, que decompõe a imagem original em várias sub-imagens, e aplica o método de EH clássico em cada uma delas. Essa metodologia realiza um realce de contraste menos intenso, de forma que a imagem processada parece mais “natural”. Essa tese propõe duas novas funções de discrepância para decomposição de imagens, originando dois novos métodos de Multi-EH. Além disso, uma função de custo é utilizada para determinar em quantas sub-imagens a imagem original será dividida. Através da comparação objetiva e quantitative usando uma medida de constrate, os experimentos mostraram que os métodos propostos são melhores que outros EH estudados, uma vez que eles preservam o brilho e produzem imagens com uma aparência mais natural.
Em relação aos métodos para realce de contraste em imagens coloridas, essa tese propõe um método genérico e eficiente de EH baseado no espaço de cores RGB que preserva o tom (a matiz), e implementa duas instâncias desse método genérico. A primeira instância utiliza os histogramas 1D R-red, G-green e B-blue para estimar um histograma 3D RGB, que é então
equalizado. A segunda instância, por sua vez, utiliza os histogramas 2D RG, RB, e GB. A EH é executada utilizando transformadas de deslocamento que preservam a tonalidade da cor, evitando o aparecimento de cores não reais. Os métodos propostos tem complexidade linear no espaço e no tempo em relação ao tamanho da imagem, e não usam nenhuma conversão de um espaço de cores para outro. As imagens produzidas foram avaliadas objetivamente, comparando os métodos propostos com outros estudados. A avaliação objetiva foi feita uti-lizando medidas de contraste e de qualidade da cor da imagem, onde a qualidade foi definida como uma função ponderada dos índices de naturalidade e cromicidade. Um conjunto de 300 imagens extraídas da base de dados da Universidade de Berkeley foram analisadas. Os exper-imentos mostraram que o valor do contraste das imagens produzidas pelos métodos propostos é, em médias, 50% maior que o valor do contraste na imagem original, e ao mesmo tempo a qualidade das imagens produzidas é próxima a qualidade da imagem original.
Abstract
Nowadays devices are able to capture and process images from complex surveillance monitoring systems or from simple mobile phones. In certain applications, the time necessary to process the image is not as important as the quality of the processed images (e.g., medical imaging), but in other cases the quality can be sacrificed in favour of time. This thesis focuses on the latter case, and proposes two methodologies for fast image contrast enhancement methods. The proposed methods are based on histogram equalization (HE), and some for handling gray-level images and others for handling color images.
As far as HE methods for gray-level images are concerned, current methods tend to change the mean brightness of the image to the middle level of the gray-level range. This is not desirable in the case of image contrast enhancement for consumer electronics products, where preserving the input brightness of the image is required to avoid the generation of non-existing artifacts in the output image. To overcome this drawback, Bi-histogram equalization methods for both preserving the brightness and contrast enhancement have been proposed. Although these methods preserve the input brightness on the output image with a significant contrast enhancement, they may produce images which do not look as natural as the ones which have been input. In order to overcome this drawback, we propose a technique called Multi-HE, which consists of decomposing the input image into several sub-images, and then applying the classical HE process to each one of them. This methodology performs a less intensive image contrast enhancement, in a way that the output image presented looks more natural. We propose two discrepancy functions for image decomposition which lead to two new Multi-HE methods. A cost function is also used for automatically deciding in how many sub-images the input image will be decomposed on. Experimental results show that our methods are better in preserving the brightness and producing more natural looking images than the other HE methods.
In order to deal with contrast enhancement in color images, we introduce a generic fast hue-preserving histogram equalization method based on the RGB color space, and two in-stances of the proposed generic method. The first instance uses R-red, G-green, and B-blue 1D histograms to estimate a RGB 3D histogram to be equalized, whereas the second instance uses RG, RB, and GB 2D histograms. Histogram equalization is performed using shift hue-preserving transformations, avoiding the appearance of unrealistic colors. Our methods have
linear time and space complexities with respect to the image dimension, and do not require conversions between color spaces in order to perform image contrast enhancement. Objective assessments comparing our methods and others are performed using a contrast measure and color image quality measures, where the quality is established as a weighed function of the naturalness and colorfulness indexes. This is the first work to evaluate histogram equaliza-tion methods with a well-known database of 300 images (one dataset from the University of Berkeley) by using measures such as naturalness and colorfulness. Experimental results show that the value of the image contrast produced by our methods is in average 50% greater than the original image value, and still keeping the quality of the output images close to the original.
Résumé
Aujourd’hui, des appareils capables de capter et de traiter les images peuvent être trouvés dans les systèmes complexes de surveillance ou de simples téléphones mobiles. Dans certaines applications, le temps nécessaire au traitement des images n’est pas aussi important que la qualité du traitement (par exemple, l’imagerie médicale). Par contre, dans d’autres cas, la qualité peut être sacrifiée au profit du facteur temps. Cette thèse se concentre sur ce dernier cas, et propose deux types de méthodes rapides pour l’amélioration du contraste d’image. Les méthodes proposées sont fondées sur l’égalisation d’histogramme (EH), et certaines s’adressent à des images en niveaux de gris, tandis que d’autres s’adressent à des images en couleur.
En ce qui concerne les méthodes EH pour des images en niveaux de gris, les méthodes actuelles tendent à changer la luminosité moyenne de l’image de départ pour le niveau moyen de l´interval de niveaux de gris. Ce n’est pas souhaitable dans le cas de l’amélioration du contraste d’image pour les produits de l’électronique grand-public, où la préservation de la luminosité de l’image de départ est nécessaire pour éviter la production de distortions dans l’image de sortie. Pour éviter cet inconvénient, des méthodes de Bi-égalisation d’histogrammes pour préserver la luminosité et l’amélioration du contraste ont été proposées. Bien que ces méthodes préservent la luminosité de l’image de départ tout en améliorant fortement le con-traste, elles peuvent produire des images qui ne donnent pas une impression visuelle aussi na-turelle que les images de départ. Afin de corriger ce problème, nous proposons une technique appelée multi-EH, qui consiste à décomposer l’image en plusieurs sous-images, et à appliquer le procédé classique de EH à chacune d’entre elles. Bien que produisant une amélioration du contraste moins marquée, cette méthode produit une image de sortie d’une apparence plus na-turelle. Nous proposons deux fonctions de décalage par découpage d’histogramme, permettant ainisi de concevoir deux nouvelle méthodes de multi-EH. Une fonction de coût est également utilisé pour déterminer automatiquement en combien de sous-images l’histogramme de l’image d’entrée sera décomposée. Les expériences montrent que nos méthodes sont meilleures pour la préservation de la luminosité et produisent des images plus naturelles que d´autres méthodes de EH.
Pour améliorer le contraste dans les images en couleur, nous introduisons une méthode générique et rapide, qui préserve la teinte. L’égalisation d’histogramme est fondée sur l’espace couleur RGB, et nous proposons deux instantiations de la méthode générique. La première
stantiation utilise des histogrammes 1D R-red, G-green, et B-bleu afin d’estimer l’histogramme 3D RGB qui doit être égalisé, alors que le deuxième instantiation utilise des histogrammes 2D
RG, RB, et GB. L’égalisation d’histogramme est effectué en utilisant des transformations de
décalage qui preservent la teinte, en évitant l’apparition de couleurs irréalistes. Nos méthodes ont des complexités de temps et d’espace linéaire, par rapport à la taille de l’image, et n’ont pas besoin de faire la conversion d’un espace couleur à l’autre afin de réaliser l’amélioration du contraste de l’image. Des évaluations objectives comparant nos méthodes et d’autres ont été effectuées au moyen d’une mesure de contraste et de couleur afin de mesurer la qualité de l’image, où la qualité est établie comme une fonction pondérée d’un indice de “naturalité” et d’un indice de couleur. Nous analysons 300 images extraites d’une base de données de l’Université de Berkeley. Les expériences ont montré que la valeur de contraste de l’image produite par nos méthodes est en moyenne de 50% supérieure à la valeur de contraste de l’image original, tout en conservant une qualité des images produites proche de celle des im-ages originales.
Risumo
Dispositivi per l’acquisizione e lo svolgimento di immagini si possono trovare nei complessi sistemi di monitoramento di sicurezza o nei semplici cellulari. In alcune applicazioni il tempo necessario per svolgere un’immagine non è cosi importante come la qualità delle immagini svolte (es. nelle immagini mediche), ma in alcuni casi la qualità dell’immagine potrà venire daneggiata a favore del tempo.
Questa tesi è basata su quest’ultimo caso e propone due metodi efficienti per evidenziare il contrasto di colore delle immagini. I metodi proposti vengono basate sull’equalizazzione d’istogramma (EI), mirati su delle immagini grigie e sulle immagini colorate.
I metodi basati sull’EI attualmente utilizzati per svolgere delle immagini grigie tendono a cambiare il brillo medio dell’immagine per il tono medio dell’intervallo grigio. Questo cambi-amento non è desiderato nelle applicazioni mirate al migliorcambi-amento del contrasto sui prodotti elettronici utilizzati dal consumatore, dove preservare il brillo dell’immagine originale è nec-essario per evitare la comparsa di artefatti inesistenti nell’immagine d’uscita. Sono stati proposti dei metodi di biequalizazzione di istogrammi per corregere questo problema della preservazione del brillo e del contrasto di colore delle immagini. Nonostante questi metodi preservino il brillo dell’immagine originale con significante rilievo del contrasto nell’immagine svolta, questi possono produrre delle immagini che non sembrino naturali. Questo nuovo problema è stato risolto con una nuova tecnica detta Multiequalizazzione di istogrammi, che decompone l’immagine originale in varie sottoimmagini, applicando su ognuna di queste il metodo EI classico. Questa metodologia realizza un contrasto di rilievo meno intenso in modo che l’immagine svolta sembri più “naturale”.
Questa tesi propone due nuove funzioni di discrepanza per la decomposizione delle immag-ini, originandone due nuovi metodi Multi-EI. Inoltre una funzione di costo viene utilizzata per determinare in quante sottoimmagini l’immagine originale verrà divisa. Attraverso paragone obiettivo e quantitativo, usando una misura di contrasto, gli esperimenti hanno convalidato che i metodi proposti sono migliori di quegli EI studiati perché quelli preservano il brillo e producono immagini con un’apparenza più naturale.
Con riferimento ai metodi utilizzati per rilevare il contrasto nelle immagini colorate questa tese propone un metodo generico ed efficiente di EI, in base negli spazi di colori RGB, che preserva il tono (la sfumatura) e implementa due istanze di questo metodo generico.
La prima istanza utilizza gli istogrammi 1D R-Red, G-green e B-blue per stimare un istogramma 3D RGB, che viene di seguito equalizzato. La seconda istanza invece utilizza gli istogrammi 2D RG, RB e GB. La EI viene eseguita utilizzando trasformate di trasloco che preservano il tono del colore, evitando così la comparsa di colori non reali. I metodi proposti hanno complessità lineare nello spazio e nel tempo rispetto alla grandezza dell’immagine e non usano nessuna conversione da un spazio di colore all’altro. Le immagini prodotte sono state valutate in modo obiettivo, paragonando i metodi proposti con gli altri studiati.
La valutazione obiettiva è stata fatta utilizzando delle misure di contrasto e qualità del colore dell’immagine, dove la qualità è stata definita come una funzione ponderata degli indici di naturalità e colorito. Si analisarano un insieme di 300 immagini tratte dalla base dei dati dell’Università di Berkeley. Gli sperimenti mostrarono che il valore del contrasto delle immagini prodotte daí metodi proposti è mediamente 50% maggiore del valore del contrasto nell’immagine originale e una volta ancora la qualità delle immagini prodotte è vicina alla qualità dell’immagine originale.
Resumo Estendido
Originalmente, o documento desta tese foi redigido na língua inglesa sob o título Contrast
Enhancement in Digital Imaging using Histogram Equalization. Com o objetivo de facilitar o
acesso ao texto aos leitores da língua portuguesa, e para atender às normas da Universidade Federal de Minas Gerais, este resumo faz uma expressiva descrição, em português, dos capítulos contidos na tese.
Introdução
Nos dias de hoje, os dispositivos mais usados para capturar imagens certamente são câmeras digitais. Elas estão presentes em todos os lugares tais como telefones portáteis (celulares), computadores de bolso (i.e., palmtops), robôs e sistemas de vigilância e de segurança de residências. Não há dúvida que a qualidade das imagens obtidas por câmeras digitais, sem levar em conta o contexto onde elas são usadas, melhorou muito desde o início da utilização de câmeras digitais. Parte destas melhorias são graças a alta capacidade de processamento dos sistemas que elas são construídas e também de disponibilidade de memória. No entanto, ainda há uma larga variedade de problemas que precisam ser tratados com relação a qualidade das imagens obtidas, entre eles:
1. defeitos de contraste;
2. aberrações cromáticas;
3. fontes de ruído;
4. vinhetagem (uma redução de brilho ou de saturação da imagem na periferia quando comparada com o centro da imagem);
5. distorções geométricas;
6. interpolação de cores (color demosaicing); e
7. defeitos de foco.
Entre os sete problemas citados acima, alguns deles são mais dependentes da qualidade dos dispositivos usados para a captura da imagem (como 2-7), enquanto que outros estão mais relacionados às condições na qual a imagem foi capturada (como 1). Focando-se nesse último problema, o tempo necessário para corrigir o contraste é muito importante. Isso porque os métodos desenvolvidos para corrigir esses problemas podem ser aplicados em uma imagem capturada por um telefone celular, que tem baixa capacidade de processamento, ou em um computador poderoso.
Além disso, em aplicações de tempo real a eficiência de tais métodos geralmente é preferida a qualidade das imagens obtidas. Imagens geradas com médio realce de contraste por métodos eficientes são mais importantes que imagens com excelente realce de contraste gerados por métodos lentos.
Com isso em mente, este trabalho propõe duas metodologias para realce de contraste1 em
imagens digitais usando equalização de histograma (EH). Embora exista muita pesquisa na área de realce de imagens há mais de 40 anos (Gonzalez and Woods, 2008), ainda pode-se melhorar muito a qualidade das imagens processadas e o tempo necessário para obtê-las.
EH é um processo de especificação de histograma (Coltuc et al., 2006) que consiste em gerar uma imagem de saída com um histograma uniforme (i.e., distribuição uniforme). Em processamento de imagens, equaliza-se um histograma para esticar e/ou redistribuir o his-tograma original usando toda a faixa de níveis discreto da imagem, de forma que um realce de contraste em imagem seja obtido. Normalmente, EH é usada para realce de contraste em imagens, pois, computacionalmente falando, EH é rápido e simples de implementar. Nossa maior motivação é preservar melhor as características que os métodos de EH tem, e introduzir algumas modificações que irão superar as desvantagens associadas a eles.
No caso de realce de contraste em imagens em níveis de cinza, métodos baseados em EH têm sido os mais usados. Apesar do seu sucesso para realçar o contraste em imagens, essa técnica tem um problema bem conhecido: ela não preserva o brilho2 da imagem de entrada
na imagem de saída.
Esse problema torna o uso de técnicas clássicas de EH (Gonzalez and Woods, 2008) não propício para o realce de contraste em imagens em produtos eletrônicos utilizados pelo con-sumidor, tais como sistemas de vídeo para vigilância, onde preservar o brilho da imagem de entrada na imagem de saída é essencial para evitar a geração de artefatos não existentes na imagem (Menotti et al., 2007c).
Com o objetivo de superar esse problema, variações da técnica clássica de EH, tais como Kim (1997); Wang et al. (1999); Chen and Ramli (2003b,a), foram propostos para decompor inicialmente a imagem de entrada em duas sub-imagens, e então aplicar indepen-dentemente a EH em cada uma das sub-imagens. Esses métodos são denominados de Bi-EH e 1Neste trabalho, o contraste é definido como o desvio padrão dos níveis de cinza ou da luminância da
imagem.
2Neste trabalho, o brilho é definido como a média dos níveis de cinza da imagem.
matematicamente mostraram que dividir a imagem em dois aumenta a expectativa de preservar o brilho. Embora os métodos de Bi-EH realizam com sucesso o realce de contraste em imagens e também preservam de certa forma o brilho da imagem de entrada na imagem de saída, eles podem gerar imagens que não preservam a aparência natural das imagens. Imagens não nat-urais são inaceitáveis para o uso em produtos eletrônicos utilizados pelo consumidor (Menotti et al., 2007c).
Portanto, com o objetivo de realçar o contraste, preservar o brilho e produzir imagens com aparência natural, nós propomos um método genérico de Multi-EH (MEH) que decompõe ini-cialmente a imagem de entrada em várias sub-imagens, e então aplica-se o processo clássico de EH (CEH) a cada uma delas. Nós apresentamos duas funções de discrepância para decompor a imagem, concebendo duas variantes desse método genérico de MEH para realce de contraste em imagem, i.e., Minimum Within-Class Variance MHE (MWCVMHE) e Minimum Middle
Level Squared Error MHE (MMLSEMHE). Além disso, uma função de custo, que leva em
conta tanto a discrepância entre a imagem de entrada e de saída quanto o número de sub-imagens decompostas, é usada para determinar automaticamente em quantas sub-sub-imagens a imagem de entrada será decomposta.
Com relação ao realce de contraste em imagens coloridas, os métodos clássicos tam-bém são baseados em EH. A extensão dos métodos de EH para imagens coloridas não é trivial, pois existem algumas propriedades particulares das imagens coloridas que precisam ser lidadas apropriadamente durante o realce de contraste em imagem. Estas propriedades incluem os atributos de luminância (L) (ou intensidade (I )), saturação (S ), e tom (ou hue em inglês) (H ) da cor.
A luminância representa a parte acromática da cor (e.g., ela pode ser definida como uma função ponderada dos canais coloridos R (red/vermelho), G (green/verde) e B (blue/azul)), enquanto que a saturação e o tom referem-se a parte cromática da imagem. A saturação pode ser vista como uma medida de quanto branco está presente na cor, e o tom é o atributo que decide sua “real cor”, e.g., vermelho ou verde. Para a finalidade de realçar imagens coloridas, o tom não deve ser modificado em nenhum dos pixels, evitando, assim, imagens processadas com aparência não natural.
Espaços de cor tais como HSV, HSI, CIELUV e CIELAB foram concebidos baseados neste três atributos. Entretanto, imagens coloridas adquiridas por dispositivos digitais, tais como celulares, câmeras portáteis e palmtops normalmente são transmitidas, apresentadas e armazenadas no espaço de cor RGB. Este espaço de cor não é o mais apropriado para tarefas de processamento de imagens, pois o significado dos atributos de cores não está explicitamente separado como estes atributos seriam em outros espaços de cor. A conversão entre o espaço de cor RGB para um espaço de cor baseado em Luminância-Tom-Saturação (LHS ) é trivial, mas pode não ser propício tanto para aplicações de tempo real quanto para os dispositivos digitais citados acima. Além disso, trabalhar em um espaço baseado em LHS exige a manipulação do
notório problema de gamut (Naik and Murthy, 2003).
A literatura de métodos de EH para realce de contraste em imagens coloridas apresenta trabalhos baseados nos espaços de cor RGB, LHS, CIELUV e outros. Nem os métodos basea-dos no espaço de cor RGB, nem os métobasea-dos baseabasea-dos em outros espaços apresentam todas as características necessárias para o uso em dispositivos portáteis: serem eficientes, melhorar o contraste na imagem e ainda preservar o tom. Métodos baseados no espaço de cor RGB não preservam o tom, enquanto que métodos baseados em outros espaços de cor são mais lentos devido as conversões exigidas entre os espaços de cor e podem também não preservar o tom. Com o objetivo de alcançar todas essas exigências, este trabalho apresenta um método genérico e eficiente de EH que preserva o tom baseado no espaço de cor RGB para o realce de contraste em imagem.
A partir do método genérico nós criamos duas variantes, que são caracterizadas pela di-mensão do histograma que elas usam, i.e., 1D ou 2D. A equalização é realizada através de transformações que preservam o tom diretamente no espaço de cor RGB, evitando assim o problema de gamut, mantendo o tom intacto, e a exigência de conversão entre espaços de cor. Além disso, nossos métodos melhoram o contraste na imagem (i.e., melhorar a variân-cia do atributo luminânvariân-cia) e, ao mesmo tempo, a saturação é modificada de acordo com a equalização do histograma RGB. Os métodos estimam o histograma 3D RGB a ser aplicado a equalização através de histogramas 1D R, G e B e histogramas 2D RG, RB e GB, respec-tivamente, produzindo algoritmos com complexidades linear de tempo e espaço com relação à dimensão da imagem. Estas características tornam estes métodos propícios à aplicações de tempo real.
A seguir, iremos apresentar os nossos métodos para realce de contraste em imagens em níveis de cinzas e coloridas, respectivamente. Depois, experimentos realizados para avaliar e comparar os métodos apresentados são sucintamente comentados, e finalmente uma breve conclusão é apresentada.
Métodos de Multi-Equalização de Histograma para Realce de
Contraste e Preservação de Brilho em Imagens em Níveis de
Cinza
Como mencionado anteriormente, o método clássico de EH consegue realçar muito o contraste em uma imagem mas não consegue preservar o brilho da imagem (que é deslocado ao meio da faixa de níveis de cinza da imagem). Como consequência, o método pode gerar objetos não naturais e não existentes na imagem processada. Ao contrário, métodos de Bi-EH (Kim, 1997; Wang et al., 1999; Chen and Ramli, 2003b,a) conseguem produzir um significante realce de contraste em imagem e ainda preservar o brilho da imagem de forma considerável. Todavia, as imagens geradas podem não ter uma aparência natural (Menotti et al., 2007c, Figura 1).
Para superar tais desvantagens, a idéia principal dos nossos métodos propostos é decompor a imagem em várias sub-imagens, de forma que o realce de contraste em imagem fornecido pela técnica de EH em cada sub-imagem seja menos intenso, levando a imagem de saída a ter uma aparência mais natural. A concepção desses métodos levanta duas questões.
A primeira questão é como decompor a imagem de entrada. Como a técnica de EH é o foco deste trabalho, o processo de decomposição de imagens é baseado no histograma da imagem. O histograma é divido em classes determinadas pelos limiares (níveis), onde cada classe de histograma representa uma sub-imagem. O processo de decomposição pode ser visto como um processo de segmentação de imagem realizada através da seleção de múltiplos limiares (Luessi et al., 2006). A segunda questão é em quantas sub-imagens a imagem de entrada deve ser decomposta. Este número está diretamente relacionado em como a imagem de entrada será decomposta.
Para responder essas perguntas, as próximas subseções apresentam duas funções para decompor uma imagem baseadas em limiares; e um critério para selecionar automaticamente o número de sub-imagens decompostas. Saliente-se que a tarefa de encontrar os limiares ótimos para dividir automaticamente a imagem em sub-imagens pode ser facilmente realizada por um algoritmo de programação dinâmica com complexidade de tempo O(kL2) (Luessi et al., 2006).
Os métodos descritos nesta seção estão publicados em Menotti et al. (2007c).
Decomposição em Múltiplos Histogramas
Muitos métodos de EH foram propostos (Kim, 1997; Wang et al., 1999; Chen and Ramli, 2003b,a) para decompor uma imagem em sub-imagens através do uso de alguma medida es-tatística baseada nos níveis de cinza da imagem. Esses métodos têm como objetivo otimizar a entropia ou preservar o brilho da imagem de entrada. Aqui, nós iremos voltar nossa atenção para a decomposição da imagem de forma que a imagem realçada tenha uma aparência natu-ral. Para atingir tal objetivo, nós propomos dividir o histograma da imagem em classes, onde cada classe corresponde a uma sub-imagem. Fazendo isso, nós estamos minimizando o deslo-camento de brilho produzido pelo processo de EH em cada sub-imagem. Minimizando esse deslocamento, nós esperamos preservar tanto o brilho quanto a aparência natural da imagem processada.
Do ponto de vista da literatura de seleção múltipla de limiares, o problema enunciado acima pode ser visto como o problema de minimização da variância intra-classe de histogramas (o famoso método de Otsu (1979)), onde a variância intra-classe é o erro quadrático total de cada classe de histograma com relação ao seu valor médio (i.e., o brilho). Isto é, o objetivo da decomposição é encontrar o conjunto de limiares ótimos Tk= {tk
1, ..., tkk−1} que minimizam
o erro de decomposição do histograma de uma imagem em k classes de histogramas, e assim decompor a imagem I[0, L − 1] em k sub-imagens, i.e., I[ls1,k, l1,kf ], ..., I[lk,ks , lk,kf ]. lj,ks e lfj,k
são os limites inferior e superior de cada sub-imagem j, respectivamente, onde a imagem é
decomposta em k sub-imagens, e são definidos como: lj,ks = tkj−1, se j > 1, e lsj,k = 0 em caso
contrário, e lfj,k = tk
j + 1, se j 6= k, e lfj,k = L − 1 em caso contrário. A função de discrepância
para decompor a imagem original em k sub-imagens de acordo com a minimização da variância intra-classe pode ser expressa como
Disc(k) = k X j=1 lj,kf X l=lj,ks (l − lm(I[lsj,k, lj,kf ]))2P I[0,L−1] l . (1)
O método criado com essa função de discrepância será chamado de método Minimum
Within-Class Variance MHE (MWCVMHE)3. Observe que o nível de cinza médio (i.e., o brilho) de
cada sub-imagem processada pelo método clássico de EH é teoricamente deslocado para o nível de cinza intermediário da sua faixa, i.e., lm(O[ls, lf]) = lmm(I[ls, lf]) = lmm(O[ls, lf]) =
(ls+ lf)/2. Como nós desejamos minimizar o deslocamento de brilho de cada sub-imagem
processada de forma que a imagem global processada tenha seu contraste realçado e seu brilho preservado (criando uma imagem de saída com aspecto natural), nós voltamos nossa atenção para o brilho da imagem de saída. Portanto, ao invés de usar o nível de cinza médio lm(I[ls, lf])
de cada sub-imagem I[ls, lf] na função de discrepância, nós propomos agora usar o nível de
cinza intermediário da faixa, i.e., (ls + lf)/2, pois cada sub-imagem realçada O[ls, lf] terá
teoricamente seu nível de cinza médio (o brilho) como sendo o nível de cinza intermediário da faixa da sub-imagem - graças a especificação da distribuição uniforme. Logo, uma nova função de discrepância é proposta e ela é escrita como
Disc(k) = k X j=1 lfj,k X l=lj,ks (l − lmm(I[lj,ks , lj,kf ]))2P I[0,L−1] l , (2)
onde lmm(I[lj,ks , lj,kf ]) representa o nível de cinza intermediário da imagem I[lj,ks , lfj,k] e ele
é definido como ||(ls+ lf)/2||. O método concebido com essa função de discrepância será
chamado de método Minimum Middle Level Squared Error MHE (MMLSEMHE).
Critério Automático para Obter Número de Limiares
Essa seção apresenta uma abordagem para se determinar automaticamente em quantas sub-imagens a imagem original deve ser decomposta. Esta decisão é um ponto chave desta parte do trabalho, e tem três objetivos principais:
1. realce de contraste;
2. preservação de brilho;
3Vamos manter os nomes em inglês para que haja coerência entre as siglas neste resumo e nos trabalhos
publicados sempre em inglês
3. aparência natural.
Entretanto, esses objetivos não podem ser todos maximizados ao mesmo tempo. Nós levamos em conta que o número de sub-imagens no qual a imagem original é decomposta aumenta a medida que a chance de preservar o brilho da imagem e a aparência natural também aumentam. Por outro lado, a chance de realçar o contraste diminui. Para decidir em quantas sub-imagens a imagem original deve ser decomposta, deve-se considerar o trade-off entre preservação de brilho, aparência natural e realce de contraste. Portanto, nós propomos utilizar uma função de custo, inicialmente utilizada em Yen et al. (1995), para selecionar automaticamente o número de sub-imagens decompostas. Essa função de custo leva em conta tanto a discrepância entre as imagens original e processada (que é a nossa própria função de decomposição) quanto o número de sub-imagens a qual a imagem original será decomposta, e ela é escrita como
C(k) = ρ(Disc(k))1/2+ (log2(k))2, (3)
onde ρ é uma constante positiva de ponderação. O número k de sub-imagens decompostas é automaticamente obtido como aquele que minimiza a função de custo C(k). Em Yen et al. (1995), é provado matematicamente que a função de custo apresentada na Equação 3 tem um único mínimo. Portanto, ao invés de encontrar o valor k que minimiza C(k) por toda a faixa de valores de k, é suficiente procurar por k de 0 até o ponto em que C(k) começa a aumentar.
Métodos Eficientes de Equalização de Histograma que
Preservam o Tom para Realce de Contraste em Imagens
Coloridas
Esta seção apresenta um método genérico de EH que, ao contrário do método clássico apresen-tado em Gonzalez and Woods (2008) (de agora em diante método C1DHE) e do método ap-resentado em Trahanias and Venetsanopoulos (1992) (de agora em diante método TV3DHE), preserva o tom e tem complexidade de tempo e espaço que estão de acordo com exigências de aplicações de mundo real e de tempo real. Nós propomos também duas variantes desse método genérico, que são caracterizadas pela dimensão do histograma utilizado para estimar a função de probabilidade 3D, i.e., histogramas 1D ou 2D.
Método Genérico de Equalização de Histograma com Preservação de Tom Nosso método genérico de EH que preserva o tom é dividido em três fases. Sejam I e O as imagens de entrada e saída, respectivamente. Sejam os histogramas e as funções de proba-bilidades #D de entrada, onde # é a dimensão do histograma usado (o ponto variante do nosso método). A primeira fase do nosso método consiste em calcular os histogramas #D da
imagem I. Embora o método proposto trabalhe com histogramas e funções de probabilidade #D, nós não equalizamos histogramas #D, mas sim um pseudo-histograma 3D, i.e., H0IRGB.
De fato, a equalização do histograma H0IRGB é baseada em uma pseudo função de densidade
cumulativa 3D, construída através de funções de densidade de probabilidade.
O cálculo dessa função de densidade cumulativa, C0IRGB, que constitui a segunda fase do
nosso método, é realizada como o produto de três funções cumulativas #D. Nós mostramos em detalhes os métodos variantes nas próximas subseções.
A terceira fase funciona da seguinte forma. Seja HORGB
o histograma uniforme para a imagem de saída, onde qualquer entrada (Ro, Go, Bo) tem a mesma quantidade de pixels, pois
tal histograma de saída é desejado, i.e.,
HROoRGB,Go,Bo = 1
L3(mn), (4)
ou qualquer entrada (Ro, Go, Bo) in PO RGB
tem a mesma densidade, i.e.,
PROoRGB,Go,Bo = 1/L3. (5) Portanto, qualquer entrada (Ro, Go, Bo) em CO
RGB
é calculada diretamente usando
PORGB, i.e.,
CROoRGB,Go,Bo = (Ro+ 1)(Go+ 1)(Bo+ 1)/L3. (6)
Para produzir a imagem realçada de saída, para qualquer pixel de entrada (x, y) ∈ X, onde (Ri, Gi, Bi) = IRGB(x, y), nós obtemos a tripla (R
o, Go, Bo) = ORGB(x, y) que mais aproxime
a zero a seguinte equação
C0IRRGBi,Gi,Bi− CROoRGB,Go,Bo = 0. (7) Todavia, esse passo de calcular o valor do pixel de saída apresenta ambiguidade, principalmente por que podem haver muitas soluções possíveis para que (Ro, Go, Bo) satisfaça a Equação 7.
Essa ambiguidade é remediada da seguinte forma. Diferente do método descrito em Trahanias and Venetsanopoulos (1992) (método TV3DHE), que aumenta ou decrementa iterativamente os valores de Ro, Go e Bo com o objetivo de minimizar a Equação 7, nós propomos encontrar
a tripla de saída (Ro, Go, Bo) para qualquer pixel da imagem em um único passo, i.e., O(1). Assim, através das Equações 6 e 7, tem-se que
C0IRRGBi,Gi,Bi− (Ro+ 1)(Go+ 1)(Bo+ 1)
L3 = 0. (8)
Se nós tomarmos Ro, Go e Bo como Ri+ k, Gi+ k e Bi+ k, respectivamente, onde k é o
número de iterações exigidos para minimizar a Equação 7, obtém-se k3+ k2[R0 i+ G 0 i+ B 0 i]+ k[R0i× G0i+ R0i× Bi0+ G0i× Bi0]+ R0i× G0i× Bi0− L3× C0IRGB Ri,Gi,Bi = 0. (9)
onde R0i, G0i e Bi0 representam Ri + 1, Gi+ 1 e Bi+ 1, respectivamente. Resolvendo essa equação cúbica em função de k, nós obtemos a tripla de saída desejada (Ro, Go, Bo) como
sendo a tripla de entrada mais um deslocamento k, i.e., (Ri+ hki , Gi+ hki , Bi+ hki), onde
hki representa o inteiro mais próximo a k ∈ R.
A Equação 9 pode ser facilmente resolvida pelo método de Nickalls (1993) ou pelo método clássico de Cardano que utiliza funções transcendentais. Como o primeiro método é mais eficiente e matematicamente mais simples que o segundo, nós escolhemos o método de Nickalls. Observe que qualquer pixel da imagem é realçado seguindo uma transformação de deslo-camento por um fator k, i.e., de (Ri, Gi, Bi) a (Ro, Go, Bo) = (Ri+ k, Gi+ k, Bi+ k), o que
faz com que nosso método genérico preserve o tom (Naik and Murthy, 2003).
Uma vez descrito este método genérico, as próximas subseções mostram nossos métodos variantes, que diferem somente na dimensão do histograma usado. Respeitando a ordem cronológica de concepção dos nossos métodos, o método baseado em histogramas 2D RG, RB e GB (Menotti et al., 2006) (de agora em diante método HP2DHE), é descrito primeiramente na próxima subseção. Depois, o método baseado em histogramas 1D (Menotti et al., 2007b) (de agora em diante método HP1DHE) é apresentado na subseção seguinte.
Equalização de Histograma 2D com Preservação de Tom
Nesta seção, nós apresentamos nosso método HP2DHE, inicialmente introduzido em Menotti et al. (2006). Ele utiliza histogramas 2D e é baseado em funções de distribuição de prob-abilidade conjuntas de dois canais do espaço de cor RGB para realizar a EH. A função de densidade de probabilidade cumulativa (ou função de distribuição de probabilidade), C0IRGB, é calculada como o produto de três funções cumulativas 2D para cada entrada (Ri, Gi, Bi),
i.e.,
C0IRRGBi,Gi,Bi = CRIRGi,GiCRIRBi,BiCGIGBi,Bi. (10) A razão principal para calcular esta pseudo função de densidade cumulativa como o pro-duto de três funções de densidade cumulativa 2D é que os três canais RGB de uma imagem normalmente não estão correlacionados simultaneamente.
Observe que, em Menotti et al. (2007b), nós propomos resolver iterativamente a Equação 7, como também feito em Trahanias and Venetsanopoulos (1992), usando uma transformação
que não preserva o tom. Aqui, nós modificamos o método originalmente proposto em Menotti et al. (2007b) para utilizar uma transformação de deslocamento que preserva o tom e também a solução da Equação 7 como descrito na primeira subseção desta. Essas duas modificações fazem com que o método HP2DHE apresentado aqui preserve o tom, e ainda reduza sua complexidade de tempo de O(max(mnL, L2)) para O(max(mn, L2)).
Equalização de Histograma 1D com Preservação de Tom
Nesta seção, nós apresentamos um método que preserva o tom baseado no espaço de cor
RGB para realce de contraste em imagem, que utiliza histogramas 1D, e também é uma
variante do método genérico descrito na subseção anterior. O método é baseado na suposição de independência dos canais de cores, que é utilizada para calcular a função de densidade cumulativa.
Nós usamos histogramas 1D para estimar uma função de distribuição de probabilidade 3D (ou uma função de densidade cumulativa), e então equalizamos o histograma concebido através da função estimada. Portanto, a função CIRGB
é estimada para qualquer entrada (Ri, Gi, Bi) como sendo o produto de cada função de distribuição de probabilidade CI
R Ri, C IG Gi e CBIBi, i.e., C0IRRGBi,Gi,Bi = CRIRiCGIGiCBIBi. (11) Observe que, na Equação 11 C0IRGB é definido com um significado dimensional correto, i.e.,
C0IRGB, uma função cumulativa 3D, é calculado como o produto de três funções cumulativas
1D, enquanto que na Equação 10 C0IRGB é definido com um significado dimensional errado,
i.e., C0IRGB é calculado como o produto de três funções cumulativas 2D. Todavia, as imagens
processadas pelo método HP2DHE produzem resultados similares aos do método HP1DHE, como mostram os experimentos.
Como nós usamos histogramas 1D, esse método, HP1DHE, tem complexidade de tempo menor que o método HP2DHE, i.e., O(max(mn, L)), e complexidade linear de espaço, i.e.,
O(L). Além disso, as complexidades de tempo e espaço do método HP1DHE são exatamente
as mesmas do método C1DHE, que são as melhores de acordo com o nosso conhecimento.
Experimentos
Nesta seção, nós reportamos experimentos realizados para comparar e avaliar os métodos propostos anteriormente. As próximas subseções apresentam os experimentos envolvendo os métodos propostos para manipular imagens em níveis de cinza, e analisam e discutem os re-sultados experimentais relacionados aos métodos propostos para manipular imagens coloridas, respectivamente.
Experimentos com Imagens em Níveis de Cinza
Nesta seção, nós reportamos resultados dos experimentos comparando nossos métodos pro-postos com outros métodos de EH (HE, BBHE, DSIHE, MMBEBHE e RMSHE (r = 2)) e o método proposto em Wang and Ye (2005) (BPHEME). As imagens de entrada usadas nos experimentos foram as utilizadas anteriormente em outros trabalhos, i.e., (Kim, 1997; Wang et al., 1999; Chen and Ramli, 2003b,a; Wang and Ye, 2005). Algumas imagens foram extraídas da base de dados da CVG-UGR (CVG-URG, 2007) e outras fornecidas pelos autores de Chen and Ramli (2003b) e Chen and Ramli (2003a).
Além de analisar valores de brilho (a média) e de contraste (o desvio padrão) das imagens originais e processadas, nós calculamos também para cada imagem a medida P SN R (Rabbani and Jones, 1991) com o objetivo de avaliar a viabilidade do uso das images processadas para produtos eletrônicos utilizados pelo consumidor. Na literatura de processamento de imagem, o P SN R tem sido usado como uma medida padrão para avaliar e comparar algoritmos de compressão e segmentação (Rabbani and Jones, 1991). É notório que uma imagem processada com boa qualidade (com relação a imagem original) apresentam valores de P SN R entre 30 db e 40 db (Rabbani and Jones, 1991).
Uma vez realizada a análise de brilho, de contraste e P SN R das imagens originais e processadas obtidas pelos métodos de EH, nós concluímos que:
1. o método MMLSEMHE produz imagens com qualidade melhor que os outros métodos segundo a medida P SN R;
2. um melhor realce de contraste em imagem pode ser obtido utilizando-se o método MWCVMHE, que também apresenta preservação de brilho satisfatória e imagens com aparência natural;
3. o método RMSHE (com r = 2) poderia ser empregado se mais realce de contraste fosse desejado do que o oferecido pelos métodos MMLSEMHE e MWCVMHE. Entretanto, nesse caso, a imagem processada pode apresentar alguns artefatos indesejados ou não naturais.
Experimentos com Imagens Coloridas
A maioria dos métodos de realce de imagens encontrados na literatura, entre eles nossos trabalhos anteriores (Menotti et al., 2006, 2007b), avaliam a melhoria de contraste através de comparação visual entre a imagem processada e a imagem original. Em Menotti et al. (2006) e Menotti et al. (2007b), nós afirmamos que é difícil julgar uma imagem processada usando uma avaliação subjetiva. Portanto, neste trabalho, nós usamos dois tipos de medidas quantitativas para avaliar as imagens original e as processadas produzidas pelos métodos C1DHE, TV3DHE e os nossos, e então realizamos uma comparação objetiva.
A primeira medida quantitativa usada é a medida de qualidade de imagens colorida (MQIC) (Yendrikhovskij et al., 1998b), definida por índices de naturalidade e cromicidade, para verificar se os métodos de EH preservam a qualidade das imagens processadas com relação a imagem original. A segunda medida refere-se ao contraste nos espaços de cor CIELU V e
RGB, e tem como objetivo mostrar o quanto os métodos de EH melhoram o contraste na
im-agem original. Essas medidas são descritas com detalhes em Menotti et al. (2008b, Seção 5.1). Nós avaliamos os nossos métodos propostos (HP1DHE e HP2DHE) e outros métodos (C1DHE e TV3DHE) em uma base composta por 300 imagens da Universidade de Berkeley (EUA) (Martin et al., 2001). Nós calculamos, tanto para a imagem original quanto para as imagens processadas, o valor do contrate tanto no espaço de cor CIELU V quanto no RGB e as MQICs. Todas as imagens usadas (e geradas) no experimento podem ser vistas em Menotti (2008).
A partir da análise com relação ao contrate e às MQICs, nós afirmamos que:
1. o valor de contrate das imagens processadas pelos nossos métodos é em média 50% maior que o valor de contraste na imagem original, enquanto que a qualidade de cor, medida através de índices de naturalidade e cromicidade, das imagens processadas são mantidas próximas a imagem original;
2. o método TV3DHE é o método que promove a menor melhoria de contraste na imagem. Além disso, ele produz imagens muito realçadas, deteriorando a qualidade de cor das imagens;
3. Os resultados alcançados para o realce de contraste e conservação da qualidade de cor pelo método C1DHE são similares aos alcançados pelos nossos métodos.
Apesar dos bons resultados que a nossa análise numérica atribuiu ao método C1DHE, e o fato de que ele é seis vezes mais rápido que os nossos métodos, o método C1DHE não é propício para aplicações de mundo real: as imagens produzidas por este método não preser-vam o tom das cores da imagem original. Como consequência, as imagens produzidas pelo método C1DHE podem ter cores não naturais, mesmo que as medidas CN I, CCI e conse-quentemente, Q indiquem que as imagens produzidas pelo método C1DHE tenham medidas de qualidade de imagem colorida próxima a imagem original. Esses resultados contraditórios mostram que as MQICs usadas neste trabalho tem um problema. Elas conseguem representar quantitativamente a qualidade da imagem colorida de uma imagem através de índices de nat-uralidade e cromicidade, mas elas não levam em conta ao mesmo tempo as imagens original e processada em tal avaliação.
Conclusões
Na primeira parte deste trabalho, nós propusemos e testamos um novo arcabouço chamado MEH para realce de contraste em imagem e preservação de brilho que geram imagens com aparência natural. Os resultados experimentais mostraram que nossos métodos são melhor para preservar o brilho das imagens processadas (com relação à imagem original) e produzem imagem com aparência natural, ao custo de um menor realce de contraste. As contribuições desta parte do trabalho são:
1. uma comparação objetiva entre todos os métodos de EH aplicados à preservação do brilho usando medidas quantitativas tais como o P SN R, brilho e contraste;
2. uma análise mostrando os limites das técnicas de EH e suas variantes (i.e., métodos de Bi- e Multi-EH), para realce de contraste, preservação de brilho e aparência natural;
3. nossos métodos propostos.
Na segunda parte deste trabalho, nós apresentamos dois métodos eficientes de EH que preservam o tom baseados em histogramas 1D e 2D do espaço de cor RGB para realce de contraste em imagem. Os métodos HP1DHE e HP2DHE tem complexidade de tempo e es-paço que estão de acordo com exigências de aplicações de tempo real. Embora o método C1DHE seja seis vezes mais rápido que os nossos, ele não preserva o tom. Nós avaliamos objetivamente as imagens processadas através de medidas de contraste, naturalidade e cromi-cidade (Yendrikhovskij et al., 1998b) em uma base composta por 300 imagens, de forma que uma comparação quantitativa pode ser realizada. Os resultados experimentais mostraram que o valor do contrate das imagens produzidas pelos nossos métodos são em média 50% maiores que o valor das imagens originais. Ao mesmo tempo, nossos métodos mantêm a qualidade das images processadas próxima da qualidade das imagens originais em termos de naturalidade e cromicidade. Na prática, nossos métodos realçam imagens com 512 × 512 pixels em cerca de 100 milisegundos em um Pentium 4 de 2GHz.
Ressalte-se que ambas as metodologias são propícias para aplicações de tempo real e de mundo real.
To my father. I believe he is gardening in heaven.
Acknowledgments
My path leading me up to this stage has been very difficult, and I would not be here without the attention of several kinds of persons. I will be exhaustive in order to thank all of those who helped me not only in the technical and philosophical content of the doctorate, but also those who helped me to hold my focus!
First, I’d like to thank God for keeping me walking with my faith. To professor Arnaldo de Albuquerque Araújo, my Brazilian advisor, for the opportunity to go to France for the doctorate in “co-tutela”. To professor Laurent Najman, my French advisor, for teaching me excellence in research. I’ll try to catch up with it in the next years. I also would like to thank Laurent for his attention in the worst moments, specially those when I did not believe in myself. To professor Jacques Facon for his technical and political collaboration and trust in my skills. To professor Díbio Leandro Borges, who was the forerunner for the doctorate at DCC/UFMG/Brazil.
To the jury: professors Ricardo Torres, Mario Campos, and Alexei Machado, for their contributions in the formalization of some theoretical concepts of the thesis and in the quality of the document. I am very honored to have had them in my jury.
To CNPq/MCT and CAPES/COFECUB/MEC, for providing financial support during my stay in Brazil and France, respectively. In special I would like to thank professor Hugues Talbot, for providing me financial support for six extra months in France, and also for his friendship.
To my family: father, mother, brother, sister, nephews, uncles, and cousins. Brother- and sister-in-law as well. Thank you for your support! Finally, it is finished! Not a Physician, but a Doctor! I hope my father can read these words from wherever he is. I have tried to do my job.
To Gisele for helping me writing and organizing the ideas of this thesis. Thanks so much for her time and attention.
To my very old friends from buteco, from Andirá: Adalberto, Alessandro (Tenório), An-drez, Bruno, Ederson, Ediélson, Edilson, Fábio, Flávio, Jean, Johannes, Juninho (the buteco owner), Lucas, Lucão, Luciano, Matheus, Matheuzinho, Ricardo, Rogério (Geléia), Thiago, Thierry - the list here could be huge, they always push me ahead with their pride on me.
From now on, I divide my acknowledgement into two parts: the Brazilian and French
doctorate parts. From the time in Brazil: To Martin, Alla, Adriana, Nacif, Alvaro, Fabiano, Flávio and all my other colleagues of doctorate qualifying. Good times! To my foreign friends in Brazil (North and Northest of Brazil and South-America): Ruiter, Pedro, Perú, Maurício, Pinheiro, Nakamura, Pio, Deivid2, Vilar, thanks for sheltering me in their families and the pleasing environment created in Belo Horizonte. To my friends of the soccer bi-championship in the second division of the Computer Science Department (eighteen teams being nine in each division): Eitor, Euder, Dudu, Wagner, and others, who helped me to fill in some lacks of “activities”. To the masters I had before the doctorate and somehow contributed to my formation: Julio Sanguini, Carlos Magno, Gil Hess, Julio Nievola, Alex Freitas, Newton José, Nivio Ziviani, Berthier Ribeiro, etc. To the administrative body of the DCC/UFMG: Renata, Sheila, Gilmara, Claudia, Lizete, Túlia, Sônia, Maria Stella, Cida, for helping me with every kind of burocratic work and let me always focus on research. It’s an amazing organization structure within a public institution in Brazil.
From the time in France: In special to Jean Cousty, my laboratory colleague, for his attention, patience, time, cultural exchanges, and a lot of other stuffs. Thank you very much. He showed me that French people are very “cool”. To André Saúde, for his attention on the very first moments in France (in fact three months). Thanks for help me in this first adaptation stage. To my friends of laboratory: John, Nicolas C., Nicolas P., Olena, Yohan. It was very nice to know them at lunch time.
Here, I’d like to open a parenthesis. To professor Gilles Bertand, for providing an excel-lent environment to develop research where I could peacefully work. I guess he is the most responsible for that, due not only for his strong technical skills, but also for his human skills. Congratulations! It’s rare to find someone in his position with his spirit. Following this line, I’d like to thank the professors at ESIEE-Paris: Mohamed Akil, Michel Couprie, François Rocaires, Hugues Talbot, Laurent Perroton, Denis Bureau and others, for supporting me with technical knowledge and opportunities. From the administrative body of the French institu-tion, I’d like to thank Martine Elichabe, Elysabeth Bastien, Dominique Rèze, Sylvie Cach, and Hélène Seynave. Thanks for their special care and patience when I did not speak French properly. To my “mama” in France, Maria José Louçano, for receiving me in the core of her family and friends, and her Croq’au pain.
To the BRAFTEC/Brazil students, among them José Eduardo, Leandro, Livia, Rafael and Thiago. In special to Nathalia, Euler and Adrian, who during the doctorate heard my com-plains during the dinner time at the school. To my friends in France from Andirá: Cristiano, Magão, and Murilo (Cebolão). We could exchange memories from our home-town. To the foreign PhD students in France: Ayyaz, Fadi and Lao. It was very nice to learn different cultures and exchange impressions of the “third world”. To the erasmus students from several countries. It was good to live together in France.
And so, Amém!
Publications
The list of works published (and submitted) during the doctorate study is shown in the followings. The publications related to the thesis are marked with stars (*). At the end of this document, we briefly describe the works not directly related with the thesis.
Articles in Journals
1. (*) Menotti, D., Najman, L., Facon, J., and de Albuquerque Araújo, A. (2007c). Multi-histogram equalization methods for contrast enhancement and brightness preserving.
IEEE Transaction on Consumer Electronics, 53(3):1186–1194.
2. (*) Menotti, D., Najman, L., de Albuquerque Araújo, A., and Facon, J. (2008). Fast hue-preserving histogram equalization methods for color image contrast enhancement. submitted in September 2008.
3. Menotti, D. and Borges, D. L. (2007). Segmentation of envelopes and address block location by salient features and hypothesis testing. INFOCOMP Journal of Computer
Science, 6(1):66–79.
Papers in Conferences
1. (*) Menotti, D., de Albuquerque Araújo, A., Najman, L., Pappa, G. L., and Facon, J. (2008a). Contrast enhancement in digital imaging using histogram equalization. In
VII Workshop of Theses and Dissertations on Computer Graphics and Image Processing (WTDCGPI), part of SIBGRAPI’2008, page 10, Campo Grande, Mato Grosso do Sul,
Brazil. in press.
2. (*) Menotti, D., Najman, L., de Albuquerque Araújo, A., and Facon, J. (2007b). A fast hue-preserving histogram equalization method for color image enhancement using a bayesian framework. In 14th International Workshop on Systems, Signals and Image
Processing (IWSSIP 2007), pages 414–417, Maribor, Slovenija. IEEE Catalog Number:
07EX1858C, ISBN: 978-961-248-029-5, CIP 621.391(082).
3. Menotti, D., Najman, L., and de Albuquerque Araújo, A. (2007a). 1d component tree in linear time and space and its application to gray-level image multithresholding. In
8th International Symposium on Mathematical Morphology (ISMM), pages 437–448, Rio
de Janeiro, Brazil.
4. (*) Menotti, D., Melo, A. P., de Albuquerque Araújo, A., Facon, J., and Sgarbi, E. M. (2006). Color image enhancement throught 2D histogram equalization. In 13th
Inter-national Conference on Systems, Signals and Image Processing (IWSSIP 2006), pages
235–238, Budapest, Hungry.
5. Melo, A. P., Menotti, D., Facon, J., Sgarbi, E. M., and de Albuquerque Araújo, A. (2005). Realce de imagens coloridas através da equalização de histogramas 2D. In
Work-shop of Undergraduate Students - XVIII Brazilian Symposium on Computer Graphics and Image Processing (SIBGRAPI 2005), pages 1–8, Natal, Brazil.
6. Menotti, D., Borges, D. L., and de Albuquerque Araújo, A. (2005). Statistical hypothesis testing and wavelets features for region segmentation. In 10th Iberoamerican Congress
on Pattern Recognition (CIARP 2005), LNCS 3773, pages 671–678, Havana, Cuba.
7. Facon, J., Menotti, D., and de Albuquerque Araújo, A. (2005). Lacunarity as a texture measure for address block segmentation. In 10th Iberoamerican Congress on Pattern
Recognition (CIARP 2005), LNCS 3773, pages 112–119, Havana, Cuba.
8. Menotti, D., Facon, J., Borges, D. L., and de Souza Britto-Jr, A. (2004b). Segmentacao de envelopes postais para localizacao do bloco endereco: uma abordagem baseada em se-lecao de caracter1sticas no espaco Wavelet. In III Workshop of Theses and Dissertations
on Computer Graphics and Image Processing (WTDCGPI), part of SIBGRAPI’2004,
page 8, Curitiba, Paraná, Brazil.
9. Menotti, D., Facon, J., Borges, D. L., and de Souza Britto-Jr, A. (2004a). A quan-titative evaluation of segmentation results through the use of ground-truth images: an application to postal envelope segmentation. In Eletronical (CD-ROM) Proceedings of
SIBGRAPI’2004, Technical Poster IEEE Brazilian Symposium on Computer Graphics and Image Processing, page 1, Curitiba, Paraná, Brazil.
10. Eiterer, L. F., Facon, J., and Menotti, D. (2004b). Postal envelope address block location by fractal-based approach. In XVII Brazilian Symposium on Computer Graphics and
Image Processing, (SIBGRAPI 2004), pages 90–97, Curitiba, PR, Brasil.
11. Eiterer, L. F., Facon, J., and Menotti, D. (2004a). Envelope address block segmentation through fractal-based approach. In 9th Iberoamerican Congress on Pattern Recognition
(CIARP 2004), LNCS 3287, pages 454–461, Puebla, Mexico.
12. Eiterer, L. F., Facon, J., and Menotti, D. (2004c). Segmentation of envelope address blocks through fractal-based approach. In Iberoamericam Meeting on Optics (RIAO)
and Optics Lasers and Their Aplications (OPTILAS), pages 1–6, Porlamar, Venezuela.
Technical Reports
1. Botelho, F., Menotti, D., and Ziviani, N. (2004). A new algorithm for constructing minimal perfect hash functions. Technical Report TR004/04, Department of Computer Science, Universidade Federal de Minas Gerais.
Contents
1 Introduction 1
1.1 Motivation . . . 3 1.2 Objectives . . . 7 1.3 Contributions . . . 8 1.4 Organization of the Document . . . 8 2 Histogram Specification for Image Contrast Enhancement: An Overview 10 2.1 Radiometric Scale Transformation . . . 12 2.2 Histogram Specification for Contrast Enhancement of Gray-level Images . . . . 14 2.2.1 Non-brightness Preserving Histogram Specification Methods . . . 15 2.2.2 Brightness Preserving Histogram Specification Methods . . . 18 2.3 Histogram Specification for Contrast Enhancement of Color Images . . . 18 2.3.1 Non-Hue-Preserving Histogram Specification Methods . . . 18 2.3.2 Hue-Preserving Histogram Specification Methods . . . 20 2.4 Conclusions . . . 22 3 Multi-Histogram Equalization Methods for Gray-Level Images 23 3.1 Basic Definitions . . . 24 3.2 Related Work . . . 25 3.2.1 Classical Histogram Equalization Method (CHE) . . . 26 3.2.2 Brightness Bi-Histogram Equalization Method (BBHE) . . . 27 3.2.3 Dualistic Sub-Image Histogram Equalization Method (DSIHE) . . . 28 3.2.4 Minimum Mean Brightness Error Bi-Histogram Equalization Method
(MMBEBHE) . . . 30 3.2.5 Recursive Mean-Separate Histogram Equalization Method (RMSHE) . . 30 3.2.6 An Insight on the Results Produced by HE Methods . . . 31 3.3 The Proposed Methods . . . 33 3.3.1 Multi-Histogram Decomposition . . . 33 3.3.2 Finding the Optimal Thresholds . . . 35 3.3.3 Automatic Thresholding Criterium . . . 36
3.4 Conclusions . . . 36
4 Fast Hue-Preserving Histogram Equalization Methods 38
4.1 Basic Definitions . . . 39 4.2 Previous Works . . . 42 4.2.1 Classical 1D Histogram Equalization Method . . . 43 4.2.2 3D Histogram Equalization Method . . . 44 4.3 The Proposed Methods . . . 46 4.3.1 Generic Hue-preserving Histogram Equalization Method . . . 46 4.3.2 Hue-preserving 2D Histogram Equalization Method . . . 47 4.3.3 Hue-preserving 1D Histogram Equalization Method . . . 48 4.4 Complexity Analysis . . . 48 4.5 Conclusions . . . 50
5 Experiments 51
5.1 Multi-Histogram Equalization Methods for Gray-level Image Contrast Enhance-ment and Brightness Preserving . . . 51 5.2 Histogram Equalization Methods for Color Image Contrast Enhancement based
on the RGB Color Space . . . 60 5.2.1 Subjective Evaluation: An attempt . . . 60 5.2.2 Objective Evaluation . . . 62 5.2.3 Run-time Analysis . . . 71 5.3 Conclusion . . . 73
6 Conclusion and Future Work 75
6.1 Future Work . . . 76 6.1.1 Polar Color Spaces . . . 76 6.1.2 Color Quality Measures . . . 76
Bibliography 80
List of Figures
1.1 Illustration of HE. (a) Original image. (b) Histogram of the original image. (c) Processed image by the classical HE method Gonzalez and Woods (2008). (d) Histogram of the processed image, where the blue line stands for the specified uniform distribution. . . 2 1.2 Brightness shifting and unnatural looking produced by the classical HE. (a)
Origi-nal image. (b) Histogram of the origiOrigi-nal image. (c) Processed image by the classical HE method Gonzalez and Woods (2008). (d) Histogram of the processed image, where the blue line stands for the specified uniform distribution. The brightness (mean) of the original and processed images are 139.20 and 133.94, respectively. . . 4 1.3 Bi-HE methods and still not natural looking images: (a) original image; enhanced
images using (a) as input by (Kim, 1997)-(BBHE), (Wang et al., 1999)-(DSIHE), and (Chen and Ramli, 2003b)-(MMBHEBE) methods are shown in (b), (c), and (d), respectively. . . 5 1.4 The classical HE method independently applied on each one of the three channel of
the RGB color space and the not hue-preserving resulting image. (a) The original and (b) processed images, respectively. . . 6 3.1 An example illustrates the CHE and Bi-HE methods for image brightness
preserv-ing and contrast enhancement may fail when producpreserv-ing natural lookpreserv-ing images: (a) original image; enhanced images using (a) as input by CHE, BBHE, DSIHE, RMSHE (r = 2), and MMBHEBE methods are shown in (b), (c), (d), (e), and (f), respectively. . . 32 5.1 Results: (b), (c), and (d) are the enhanced resulting images by BPHEME,
MWCVMHE (k = 5), and MMLSEMHE (k = 6) methods, respectively, using (a) the girl’s image as input. . . 57 5.2 Results for : (a) original image; (b), (c), and (d) are the enhanced resulting images
by RMSHE (r = 2), MWCVMHE (k = 6), and MMLSEMHE (k = 7) methods, respectively, using the Einstein image. . . 58
5.3 Results for : (a) original image; (b), (c), and (d) are the enhanced resulting images by RMSHE (r = 2), MWCVMHE (k = 5), and MMLSEMHE (k = 7) methods, respectively, using the arctic hare image. . . 59 5.4 Results for the beach (partial brazilian flag) image: (a) original image; (b) C1DHE;
(c) TV3DHE; (d) HP2DHE; (e) HP1DHE. . . 61 5.5 Results for the train image: (a) original image; (b) C1DHE; (c) TV3DHE; (d)
HP2DHE; (e) HP1DHE. . . 62 5.6 The “skin”, “grass”, and “sky” segments derived from the naturalness judgments
of the colors from Yendrikhovskij et al. (1998b)’s work, where the “skin”, “grass”, and “sky” segment centers are represented by a circle, a square, and a triangle, respectively, and the ellipses stand for standard deviations of a Gaussian approx-imation to subject’s responses. Data are shown in the CIELU V color space and this painting presents a window of the CIELU V color space, where the segments are inside a triangle. . . 65 5.7 Results for the landscape image: (a) original image; (b) C1DHE; (c) TV3DHE;
(d) our HP1DHE; (e) our HP2DHE. . . 69 5.8 Run-time curves of the C1DHE, TV3DHE, HP1DHE, and HP2DHE methods. . . 72 5.9 Run-time curves of the C1DHE, HP1DHE, and HP2DHE methods. . . 73
List of Tables
3.1 Brightness preserving methods for image contrast enhancement. . . 31 4.1 A summary about time complexity of the histogram equalization methods. M [x, y]
stands for max(x, y), and mn stands for m × n. . . 49 5.1 Automatic selection of the number of sub-images - k. . . 52 5.2 Image brightness - Mean (µ =PL−1l=0 l × p(l)) . . . 53
5.3 Image contrast - Global Standard Deviation (σ =
qPL−1
l=0 (l − µ) × p(l), where µ =
PL−1
l=0 l × p(l)) . . . 54
5.4 P SN R = 10 × log10[(L − 1)2/M SE] . . . 55
5.5 Contrast for the images in the CIELUV and RGB color spaces. . . 67 5.6 Color image quality measures. . . 68 5.7 Color image quality and contrast measures for the images in Figure 5.7. . . 70 5.8 Average run-time in milliseconds for analysis. . . 71
List of Algorithms
3.1 Computing Disc(k) and P T (k, L − 1) . . . . 35
Chapter 1
Introduction
Nowadays digital cameras are certainly the most used devices to capture images. They are everywhere, including mobile phones, personal digital assistants (PDAs - a.k.a. pocket com-puters or palmtop comcom-puters), robots, and surveillance and home security systems. There is no doubt that the quality of the images obtained by digital cameras, regardless of the context in which they are used, has improved significantly since early days. Part of these improve-ments are due to the higher processing capability of the systems they are built-in and memory availability. However, there are still a variety of problems which need to be tackled regarding the quality of the images obtained, including:
1. contrast defects,
2. chromatic aberrations,
3. various sources of noises,
4. vignetting (i.e., a reduction of an image brightness or saturation at the periphery com-pared to the image center)
5. geometrical distortions,
6. color demosaicing and
7. focus defects.
Among the seven problems related above, some are more dependent on the quality of the capturing devices used (like 2-7), whereas others are related to the conditions in which the image was captured (such as 1). When working on the latter, the time required to correct the problem on contrast is a big issue. This is because the methods developed to correct these problems can be applied to an image on a mobile phone with very low processing capability, or on a powerful computer.
