1993]
[Larson
et al.
,
1997]
[Drago
et al.
,
2003b]
Visualização de imagens HDR em dispositivos móveis Capítulo II
Redução do contraste, preservando detalh
es.
Preservado em detr
imen
to d
o
contraste global. Foto rea
lis
mo
proporciona uma sensação agradável ao observador.
Preservação de contras tes lo cais. Reduzido em favor do detalhe. Realce dos
contrastes em zonas escu
ras. Simula ção d o esbatimento das cores. Dependente da cor.
Calculado por CIE XYZ. Escalonamento da luminância. Foco em zo
nas
extremas.
Dodging and Burning.
[Chiu
et al.
,
1993]
[Durand and
Dorsey, 2002]
[Fattal
et al.
,
2002]
[Reinhard
et
al.
, 2002]
Visualização de imagens HDR em dispositivos móveis Capítulo II
- 32 -
Favorecimento cenas escuras devido ao
blue-shift
Visualização de
grandes
contrastes.
Pouca Redução devido a um único nível de
adaptação
Pouca saturação
das cores. Adaptação cromá
tic a Aumento tonalidade em cenas es curas Boa simulaç ão SVH
Realce do brilho das imagens
. Adaptação multi- escalar
[Ferwerd
a
et
al.
, 1996]
[Pattanaik
et
al.
, 2000]
[Durand and
Dorsey, 2000]
[Ledda
et al.
,
2004]
Visualização de imagens HDR em dispositivos móveis Capítulo II
O brilho geral da cena mapeada pelos operadores presentes nesta análise, apresenta-se como um atributo de pouco relevo para as premissas assumidas por parte dos autores, muito em detrimento da redução da luminância e da prevalência de um melhor aspecto em termos de contraste e aparência global da imagem. Devido à utilização de técnicas fotográficas que favorecem o brilho geral da cena, o operador de Reinhard et al. apresenta-se nesta análise como o operador que mais destaque dá a este atributo.
Os operadores, presentes na tabela, não revelam grandes preocupações a nível de cor da imagem. No entanto, os resultados produzidos possuem uma razoável simulação cromática da cena. Alguns operadores produzem uma maior saturação das cores ou uma simulação da visão nocturna, efectuando uma maior estimulação dos bastonetes.
O contraste é o atributo que se destaca nos resultados finais com a diferença de abordagens seguida para o desenvolvimento dos operadores apresentados. Nos operadores como Tumblin et al., Durand et al. e Ledda et al., optou-se por uma redução ou compressão do contraste, favorecendo um maior detalhe global da imagem. Nos operadores como Drago et al., Chiu et al. e Fattal et al., os autores preferiram dar mais importância à preservação ou a ampliação do contraste das zonas extremas, principalmente nas zonas de menor intensidade de luz. Ferwerda et
al., por seu lado, proporciona resultados com uma grande preservação de grandes
contrastes nas zonas limites dos objectos.
No que diz respeito ao detalhe global das cenas mapeadas, os operadores como o de Tumblin et al. e Chiu et al. mostram um resultado sem grande abrangência espacial. Outros operadores, optimizaram a aparência global e o detalhe em detrimento de outros factores, principalmente contraste e cor. Mesmo nas abordagens mais simplistas, o detalhe global foi o atributo com os melhores resultados.
Numa avaliação global, conclui-se que o operador que produz um resultado mais agradável e com maior preservação dos atributos aqui comparados é o operador
Visualização de imagens HDR em dispositivos móveis Capítulo II
- 34 -
de Reinhard et al.. O operador de Ledda et al. e o de Fattal et al. produzem também bons resultados, apesar de surgirem alguns halos em zonas de extremo contraste.
Os operadores de Chiu et al. e Ferwerda et al., baseados nas mesmas premissas, além de bastante dispendiosos computacionalmente, produzem imagens com bastantes artefactos que nem sempre ficam bem enquadrados na cena mapeada, tal como halos produzidos em zonas de contraste acentuado.
Visualização de imagens HDR em dispositivos móveis Capítulo III
CAPÍTULO III
3
3..VV
ISISUUAALLIIZZAAÇÇÃÃOO DEDE IMIMAAGGEENNSSHDHDRR
EMEM DIDISSPPOOSSIITTIIVVOOSS M MÓVÓVEEIISSEste capítulo tem como intuito caracterizar a problemática da visualização de imagens HDR em dispositivos móveis e apresentar um modelo proposto, com vista à suplantação do problema verificado.
3
3..11..
CCaarraacctteerriizzaaççããooddoopprroobblleemmaa
O surgimento do HDR veio possibilitar um abrir de horizontes na representação de imagens. Com as imagens HDR, é agora possível uma representação mais real das imagens pois a gama dinâmica de cores e luminosidade que se consegue representar é bastante mais abrangente do que se conseguia nas imagens tradicionais. Esta maior capacidade de representação da gama dinâmica nas imagens HDR proporciona ao SVH um leque de sensações que se aproxima bastante do que se capta quando se está perante uma cena real.
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 36 -
Estas características, presentes nas imagens HDR, levaram a um crescimento da investigação em torno de novas formas de criação e visualização de imagens. Essas investigações deram origem a novos formatos de imagem, novas formas de armazenamento, e novos algoritmos de tratamento digital de imagem [Urbano et al., 2007].
As inovações fruto do aparecimento do HDR foram também um incentivo para os fabricantes de dispositivos de visualização comuns, LCD ou ecrãs plasma, evoluírem e reflectirem novas formas de representação de imagens nos dispositivos de visualização existentes. Assim, existem já produtos no mercado capazes de reproduzir nativamente imagens HDR. No entanto, estes produtos possuem uma baixa disseminação devido ao seu custo dispendioso. Como tal, surgiu a necessidade de reproduzir imagens HDR nos dispositivos de visualização actuais que são incapazes de representar gamas dinâmicas de cor e luminosidade tão elevadas. Assim, surgiram os TMO, como forma de representação de imagens HDR nos dispositivos actuais, suplantando a incapacidade destes dispositivos.
Apesar desta evolução, existe ainda a necessidade de seguir as tendências adoptadas pela sociedade e possibilitar a visualização destas imagens nos dispositivos móveis, amplamente utilizados pelas massas. Os dispositivos móveis cada vez mais proliferam no seio da população, proporcionando inúmeras funcionalidades no mesmo dispositivo. Esta concentração de vários serviços, como forma de acompanhar as exigências dos seus utilizadores, faz com que estes dispositivos se venham a desenvolver cada vez mais em termos computacionais e de visualização.
Este trabalho pretende apresentar uma solução para facultar aos utilizadores de dispositivos móveis a capacidade de visualização de imagens HDR. Estes dispositivos apresentam algumas limitações, nomeadamente lacunas em termos de memória, processamento de dados e representação de imagens, com capacidades limitadas de representação de cores e luminosidade nas matrizes de visualização.
Visualização de imagens HDR em dispositivos móveis Capítulo III
3
3..22..
MMooddeellooPPrrooppoossttoo
Para uma abordagem à problemática de visualização de imagens HDR em dispositivos móveis, registada no levantamento bibliográfico efectuado, é necessário ter em conta as características dos dispositivos móveis. Assim, considerando as pequenas matrizes destes dispositivos e ponderando a extrapolação do melhor que as imagens HDR têm para disponibilizar, propõe-se que a imagem seja visualizada através da segmentação da imagem HDR.
Com esta abordagem será possível ao utilizador a visualização de toda a imagem HDR, faseadamente, através de vários segmentos da imagem. A utilização de segmentos de imagem possibilita a visualização de todos os pormenores e detalhes da imagem, que por processos de redimensionamento ou escalonamento, seriam comprometidos.
Esta abordagem permite também contornar outra limitação encontrada para a representação de imagens HDR nos dispositivos móveis: a memória e o poder de processamento disponível. Um mapeamento de pequenos segmentos, propicia um aumento de rentabilidade a cada interacção, quer em utilização da memória, quer em processamento, possibilitando a visualização de imagens HDR nestes dispositivos.
Apresenta-se na Figura 3.1 uma proposta de modelo funcional para visualizar imagens HDR em dispositivos móveis.
Perante a abordagem de segmentação da imagem proposta, apenas será salvaguardada, no dispositivo móvel, a informação do segmento seleccionado pelo utilizador, conforme apresentado no modelo proposto. Esse conteúdo será obtido através da leitura do ficheiro onde consta a imagem (Figura 3.1, processo 2).
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 38 -
Figura 3.1 – Modelo geral de funcional proposto
Posteriormente à leitura da imagem, a informação do segmento da imagem será mapeada através de técnicas de mapeamento de imagens HDR (Figura 3.1, processo 3). Nesta fase, será produzido um segmento de agradável visualização pelo SVH que conduz a sensações similares às captadas perante a cena real.
No modelo proposto, ilustrado na Figura 3.1, é necessária a interacção com o utilizador. Todo o processo começa com a escolha de uma imagem HDR para ser visualizada, por parte do utilizador (Figura 3.1, processo 1). Após esta primeira interacção, é realizado o mapeamento do primeiro segmento da imagem. Neste ponto é, novamente, necessária a intervenção do utilizador para a escolha do próximo segmento a ser mapeado (Figura 3.1, processo 5). A cada interacção do utilizador é produzido um novo mapeamento de um segmento da imagem, sendo assim a imagem gradualmente apresentada ao utilizador, preservando os detalhes da mesma. O facto de não se recorrer a processos de redimensionamento da imagem
Visualização de imagens HDR em dispositivos móveis Capítulo III
permite a preservação de todos os seus detalhes e a simulação das sensações produzidas no SVH ao olhar para cena.
O modelo funcional proposto permitirá satisfazer os objectivos do projecto de investigação já que, quando executado, permite a visualização de imagens HDR em dispositivos móveis. Na Figura 3.2, exemplifica-se a segmentação de uma imagem HDR. À direita da figura apresenta-se a imagem visualizada num dispositivo de visualização comum, recorrendo a uma solução comercial de visualização de imagens HDR. À esquerda da figura exemplifica-se a visualização da imagem HDR através do modelo proposto.
Figura 3.2 – Comparação entre visualização num dispositivo móvel (esquerda), utilizando o modelo
proposto, e num dispositivo comum (direita)
3
3..33..
AAbboorrddaaggeemm
O processo de mapeamento que permite a visualização de uma imagem HDR, possui duas etapas distintas que são a leitura da imagem e a aplicação do operador.
O processo começa com uma leitura do ficheiro onde se encontra a imagem HDR. Para a realização deste processo, foi crucial perceber o formato dos ficheiros
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 40 -
das imagens, procurando fazer uma leitura que não despreze nenhum pixel, já que só assim a qualidade da imagem HDR mapeada se poderá manter.
Após a leitura da imagem, o processo de mapeamento prossegue com a aplicação do operador. Este vai proporcionar a criação de uma imagem representativa da cena captada e possível de ser visualizada em qualquer dispositivo de visualização.
Nas secções seguintes, pormenorizam-se os processos de leitura e de mapeamento do modelo proposto.
3
3..33..11.. LLeeiittuurraaddaaIImmaaggeemm
O processo de leitura inicia-se quando o utilizador selecciona a imagem que pretende visualizar no seu dispositivo móvel. Esta etapa é mais ou menos demorosa, dependendo do tamanho da imagem seleccionada.
Em primeiro lugar, é necessário perceber a forma como as imagens são capturadas, para posteriormente se entender o processo de leitura das mesmas. No processo de captura e formação das imagens HDR, estas são salvaguardadas em ficheiros num formato de 32-bits. Estes ficheiros apresentam um formato específico que se descreve de seguida.
A norma Radiance Picture Format define a formatação dos ficheiros das imagens HDR. Este formato de ficheiros foi proposto na sequência do trabalho de
Greg Ward et al. [Larson and Shakespeare, 1998; Reinhard, 2006], em que se
simulou a iluminação Radiance. Com este trabalho, Greg Ward propôs esta norma para a formatação dos ficheiros deste tipo de imagens, e desde então tem sido utilizada pela maior parte das aplicações comerciais para a formatação dos ficheiros das imagens HDR criadas.
Como ilustrado na Figura 3.3, este tipo de ficheiros, denominado wrapper, começa por conter um pequeno cabeçalho ASCII com informações relativas à criação e captura da imagem HDR, tais como tempos de exposição, tempo do
Visualização de imagens HDR em dispositivos móveis Capítulo III
obturador da máquina, tamanho de focagem e sensibilidade. Em seguida, o ficheiro contém uma linha com a resolução da imagem criada e a orientação da sua codificação no ficheiro. Por fim, o ficheiro contém os dados da imagem propriamente dita, com a informação relativa às cores e luminância de cada pixel. Esta informação, relativa à própria imagem, está contida no ficheiro segundo duas possíveis formas de codificação e compressão: codificação 4-bytes RGBE e codificação CIE XYZE.
Figura 3.3 – Conteúdo do ficheiro da imagem HDR
A codificação 4-bytes RGBE, ilustrada na Figura 3.4, calcula os componentes , e através da conversão das cores referência da cena ( ,
e ) segundo a formula: log max , , 128 1 256 2 2 256 2 3
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 42 - 256
2 4
Nesta codificação existe um caso especial para a entrada máxima onde max , , é inferior a 10 , em que é escrito , , como
0, 0, 0 .
As operações inversas de cada componente RGBE, ou seja de leitura, que são utilizadas na implementação do nosso modelo, são dadas pelas seguintes fórmulas: 0.5 256 2 5 0.5 256 2 6 0.5 256 2 7
Figura 3.4 – Repartição de Bytes do formato 4-bytes RGBE
Adaptado de [Reinhard, 2006]
Existe também a possibilidade de codificar a imagem em formato CIE XYZE. Neste método, os cálculos utilizados são idênticos à codificação RGBE, substituindo RGB por XYZ e utilizando apenas valores positivos para o XYZE. Este método permite uma maior abrangência em termos de cores, e uma capacidade de reprodução que pode chegar às 76 ordens de magnitude de luminância.
Ambos os métodos permitem uma compressão de cerca de 25% do tamanho da imagem, atingindo assim ficheiros de tamanho idêntico ao das imagens de 24-
Visualização de imagens HDR em dispositivos móveis Capítulo III
Esta etapa de leitura, possibilita a extracção dos valores de cada pixel da imagem, necessários à posterior aplicação do operador de mapeamento. Assim, ter- se-á um valor para cada cor primária (RGB) e outro valor que representa o expoente da luminância para cada pixel. Este expoente de luminância é o responsável pela distanciação das imagens HDR das imagens normais, estando directamente relacionado com os resultados provenientes dos processos de mapeamento.
3
3..33..22.. AApplliiccaaççããooddooooppeerraaddoorrddeemmaappeeaammeennttoo
A aplicação do operador não é mais do que um processamento balanceado da imagem, com base em cálculos matemáticos. Estes cálculos são efectuados para cada pixel da imagem, tendo em consideração as premissas de desenvolvimento do operador. Este processo possibilita a produção de uma imagem capaz de ser reproduzida em dispositivos de visualização vulgares, com o objectivo final da aproximação das sensações produzidas pela cena real.
Com inúmeros operadores de mapeamento existentes, propomos, para o nosso modelo, a implementação de um operador que possua os resultados perceptualmente melhores. Assim, os resultados obtidos estarão de acordo com o objectivo delineado para este trabalho, a representação fidedigna das imagens captadas.
Algumas experiências realizadas para a validação de TMO e análise perceptual dos seus resultados [Drago et al., 2003a; Ledda et al., 2005; Yoshida et
al., 2005; Ashikhmin and Goyal, 2006; Cadík et al., 2006] revelaram que o
operador Reprodução de tons fotográficos para imagens digitais13[Reinhard et al., 2002], desenvolvido por Reinhard et al., obtém os melhores resultados perante todos os operadores testados e avaliados. Estes testes revelaram que este operador é
13
Photographic tone reproduction for digital images Reinhard, E., M. Stark, P. Shirley and J. Ferwerda (2002). "Photographic tone reproduction for digital images." ACM Transactions on Graphics 21(3): 267-276.
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 44 -
preferido pelos observadores visto que proporciona um mapeamento bastante fotorrealista, suavizando os contrastes extremos e acentuando os detalhes de toda a cena capturada.
Estes resultados vêm ao encontro do verificado no capítulo 2.3 em que, da análise comparativa efectuada aos TMO estudados, se verifica que o operador de
Reinhard et al. proporciona resultados perceptualmente mais agradáveis. Estes
resultados são obtidos sobretudo devido ao uso do sistema de gestão Zone System para a aplicação da técnica fotográfica Dodging and Burning. Assim, é atribuído um tempo de exposição diferenciado a cada pixel da imagem, de forma a produzir um maior detalhe em toda a imagem e a efectuar uma redução de contraste local.
Desta forma, para a realização deste projecto, a primeira escolha foi o operador Reprodução de tons fotográficos para imagens digitais, desenvolvido por
Reinhard et al. [Reinhard et al., 2002]. A utilização deste operador propicia um
mapeamento de qualidade constante, sem o recurso a alterações constantes dos valores de parâmetros de ajuste do TMO. No entanto, este operador ainda possui alguns parâmetros que não são claramente identificados na sua descrição, nem são de rápida percepção por parte do utilizador. Devido a este facto, os próprios autores deste operador propuseram uma versão renovada e melhorada, Redução da gama
dinâmica inspirada pela fisiologia dos foto-receptores14
[Reinhard and Devlin, 2005]. Este novo operador possui ainda melhores resultados finais de mapeamento, com a benesse de possuir apenas quatro parâmetros, enunciados na descrição do algoritmo, que claramente identificam a sua implicação no resultado do mapeamento.
Tendo em conta a nossa motivação de produzir uma aplicação de fácil utilização e com um mapeamento de resultados constantes e óptimos, a escolha final recaiu na utilização da versão optimizada do operador de Reinhard et al.. Este operador, possui um mapeamento ainda mais eficaz e é necessário recorrer a menos
14
Dynamic Range Reduction inspired by Photoreceptor Physiology Reinhard, E. and K. Devlin (2005). "Dynamic Range Reduction Inspired by Photoreceptor Physiology."
Visualização de imagens HDR em dispositivos móveis Capítulo III
parâmetros para a sua configuração. De seguida é efectuada uma descrição do funcionamento do algoritmo.
Para o desenvolvimento do operador, Reinhard et al. aplicam um modelo de adaptação dos foto-receptores presentes no SVH como um ajuste automático ao nível geral de iluminação. Este modelo utiliza uma função V, determinada a partir do potencial dos cones em função da intensidade da luz. Esta função é derivada das propostas de Naka-Rushton e Hood [Reinhard, 2006].
8
9
Esta função V será aplicada a cada canal de cor para cada pixel da imagem, sendo responsável por todo o mapeamento resultante. Nesta função, a constante de semi-saturação é descrita pelos autores como a adaptação a longo prazo dos foto-receptores do SVH, em função do nível de adaptação ( ) requerido pelo utilizador, sendo calculada a partir de uma integração espacial dos valores dos pixéis, tal como outros autores propuseram anteriormente. A constante representa o incremento máximo da resposta dos foto-receptores ( ). As restantes constantes, m e f, foram consideradas parâmetros de entrada do operador, para uma maior abrangência nos resultados, indo ao encontro das preferências do utilizador, que poderá alterar os seus valores [Reinhard and Devlin, 2005].
O nível de adaptação ( ), para um determinado foto-receptor, pode ser determinado em função da intensidade de luz à qual esteve exposto. No entanto, mesmo sobre condições estáticas de iluminação, os pequenos movimentos do olho Humano proporcionam aos foto-receptores diferenciados níveis de exposição à luz. Os autores propõem o cálculo de a partir de uma média da intensidade de luz presente na cena, ponderando os efeitos de luz e dispersão. Assim, o operador foi desenvolvido assumindo que os foto-receptores nunca chegam a obter uma adaptação total à intensidade a que estão expostos, nem se adaptam à intensidade média da cena. Assim, irá interpolar o seu valor entre a intensidade a que está
Visualização de imagens HDR em dispositivos móveis Capítulo III
- 46 -
exposto e a intensidade média da cena, surtindo assim um efeito de Dodging and
Burning relatado na secção 2.2.2.4.
Explorando melhor o funcionamento do operador, constata-se que o valor de é influenciado pelo cálculo da média de intensidade de luz presente na cena, que será calculada e ajustada por alguns parâmetros e atributos chave da imagem. Assim, o operador faz uso de apenas quatro parâmetros de entrada, sendo estes os níveis de adaptação de luminosidade (a), de adaptação de contraste (m), de adaptação cromática (c) e de intensidade final da cena (f). Estes parâmetros poderão ser ajustados de um processo de mapeamento para outro.
Os autores apresentam-nos o contraste (m) dependente do valor chave da imagem (k), sendo o valor chave da imagem estimado a partir do logaritmo da luminosidade máxima, logaritmo da luminosidade mínima e logaritmo da luminosidade média de todos os pixéis da imagem. Este valor é a base para todos os outros cálculos do algoritmo de mapeamento.
Fórmula do valor de (k):
log log
log log 10
Sendo L a luminância da imagem obtida a partir de:
0.2125 0.7154 0.0721 11 O coeficiente de adaptação de contraste (m) será dado por:
0.3 0.7 . 12
O uso das funções logarítmicas para o cálculo de m permite um acréscimo