DETECÇÃO E EXTRAÇÃO DE
CARACTERÍSTICAS DO OLHO HUMANO,
A PARTIR DE UM MODELO PROTÓTIPO
DEFORMÁVEL
Fernando Jorge Soares Carvalho
Dep. de Matemática, Instituto Superior de Eng. do Porto
R. Dr. António Bernardino de Almeida 431, 4200-072 PORTO – PORTUGAL fjc@isep.ipp.pt
João Manuel R. S. Tavares
Dep. de Engenharia Mecânica e Gestão Industrial, Fac. de Eng. da Universidade do Porto Lab. de Óptica e Mecânica Experimental, Instituto de Eng. Mecânica e Gestão Industrial
Rua Dr. Roberto Frias s/n, 4200-465 PORTO – PORTUGAL tavares@fe.up.pt
RESUMO
Neste trabalho é apresentada uma abordagem baseada no uso de um modelo protótipo deformável, que pode constituir um dos princípios base na detecção da face humana em imagens, mais concretamente na identificação de características faciais, como o olho, a boca, etc. O referido modelo é parametrizado, o que possibilita em dada imagem a extracção adequada do valor dos parâmetros associados ao modelo matemático considerado, caracterizando assim a sua escala, posição e orientação. Para além da descrição resumida da metodologia usada, são apresentados alguns resultados experimentais obtidos pela mesma, usando a plataforma MATLAB.
INTRODUÇÃO
No domínio da Visão Computacional, uma das principais áreas de investigação é a da detecção e reconhecimento de faces [4, 9, 10, 11]. Na área da detecção de faces, esta pode ser detectada, por exemplo, como um todo, ou seja, a partir de um contorno geométrico que a define de uma forma global. Como outro exemplo, a detecção pode ser assegurada pela presença de determinadas características faciais, como olho, a boca, sobrancelhas, orelhas, etc. Considerando o olho como característica facial a detectar, este pode ser representado por um modelo protótipo, com contornos geométricos bem definidos, e parametrizado, o que lhe confere flexibilidade para alterar a sua escala, posição e orientação, ou seja, deformar-se rigidamente [1-5]. Para Tal, são usados campos de energia, resultantes de operadores morfológicos adequados que realçam determinadas características do objecto a detectar. Posteriormente, os parâmetros do modelo empregue são actualizados, por interacção dinâmica entre este e a imagem da face, procurando-se as regiões da imagem com baixo custo energético de deformação, usando para tal os campos de energia referidos. O algoritmo de optimização utilizado neste trabalho é o do gradiente descendente, que visa iterativamente a busca de diferenciais de energia mínimos e decrescentes de forma a assegurar a convergência do processo.
Em [1], é utilizado o processo descrito anteriormente, tendo em vista o objectivo proposto. Já em [6] e [7], é utilizado o mesmo processo, no entanto, o modelo protótipo representativo do olho não contempla a detecção da íris, detectando apenas o contorno da pálpebra, permitindo a extensão a casos onde o olho se possa encontrar fechado. Por outro lado [8], pode-se encontrar um trabalho na área da medicina, onde se pretende representar a partir de um modelo elíptico deformável, o interior de uma artéria, analisando uma sequência de imagens
extraídas a partir de ultra-sons. Neste caso, o objectivo é detectar a artéria e analisar possíveis estrangulamentos da mesma.
Modelo Protótipo Deformável
O modelo protótipo deformável utilizado neste trabalho, está geometricamente definido à custa de uma circunferência e duas parábolas. A circunferência representa a íris do olho, enquanto duas parábolas, uma côncava e outra convexa, representam respectivamente o contorno limite superior e o contorno limite inferior do olho, figura 1. O modelo encontra-se parametrizado através de 11 parâmetros, o que lhe confere propriedades deformáveis.
Na figura 1, os parâmetros
JJG
c
x
e correspondem ao centro e raio da íris respectivamente. Já o centro do modelo está indicado porr
JJG
e
x
. A orientação do modelo construído é obtida pela localização dos pontosp
1 ep
2, que definem o ângulo de rotaçãoθ
. Os parâmetros , e definem a localização dos vértices e abertura das parábolas representativas do contorno do olho.a
b
c
Figura 1 – Modelo protótipo do olho considerado neste trabalho.
METODOLOGIA
O diagrama de blocos representado na figura 2, descreve a sequência das fases que permitem conduzir dinamicamente o modelo usado sobre uma dada imagem.
Imagem Original
Adaptação das Parábolas ao contorno do olho Pré-Processamento
Obtenção do Ângulo de Inclinação do Olho
Parametrização Inicial
Obtenção do Centro da Íris Obtenção do Raio da Íris
Pré-processamento
A primeira fase da metodologia adoptada neste trabalho consiste em obter imagens, cujos píxeis realçam determinadas características da imagem original. As referidas imagens são usualmente designadas por campos de energia, e resultam da utilização de operadores morfológicos adequados [11].
A figura 3, apresenta uma imagem original de um olho e a figura 4 apresenta as imagens correspondentes a campos de energia considerados. Neste caso, utilizaram-se quatro campos de energia, correspondentes aos vales de intensidade, picos de intensidade, orlas de intensidade e intensidade de níveis de cinzento (a própria imagem original). O campo de energia correspondente aos vales de intensidade, realça regiões da imagem original com níveis de intensidade mínima, neste caso, procura-se realçar a íris. Já os picos de intensidade, realçam regiões da imagem com níveis de intensidade elevada, neste caso, realça-se a parte branca do olho, neste domínio conhecida por córnea óptica. Seguidamente, as orlas de intensidade são obtidas a partir do detector de orlas de Canny [11], realçando-se regiões da imagem original com elevado contraste de intensidade, permitindo assim identificar de forma notória o contorno do olho. Uma vez que, neste trabalho, os campos de energia obtidos são binários, é posteriormente realizada uma convolução entre os três campos e uma função exponencial, permitindo-se assim que o modelo protótipo possa ser posicionado em regiões da imagem mais distantes da posição final, aumentando-se desta forma a possibilidade de atracção a distâncias mais significativas. Esta operação é conhecida por suavização ou alisamento dos campos de energia [11].
Figura 3 – Imagem original do olho.
Figura 4 – Imagem representativa dos campos de energia considerados: picos de intensidade, orlas de intensidade, vales de intensidade, picos de intensidade com suavização, orlas de intensidade
com suavização e vales de intensidade com suavização (da esquerda para a direita e de cima para baixo).
Os referidos campos de energia são designados por:
Ψ
p( )
x y
,
,Ψ
e( )
x y
,
eΨ
v(
x y
,
)
, parapicos, orlas e vales de intensidades, respectivamente. Sendo ρ um parâmetro constante, da convolução de suavização resulta:
( )
( )
( )
( )
( )
( )
2 2 2 2 2 2,
,
,
,
,
,
x y e e x y v v x y p p,
,
.
x y
e
x y
x y
e
x y
x y
e
x y
ρ ρ ρφ
φ
φ
− + − + − +=
Ψ
=
Ψ
=
Ψ
O quarto campo de energia
Ψ
i( )
x y
,
, corresponde à imagem de intensidade original (figura 3).Parametrização Inicial
A parametrização inicial do modelo protótipo usado, consiste na atribuição de valores arbitrários adequados aos parâmetros deste. Uma vez que o algoritmo funciona iterativamente, os valores numéricos finais desses parâmetros podem ser muito diferentes dos valores inicialmente atribuídos.
RESULTADOS EXPERIMENTAIS
Nesta sessão, apresentam-se alguns dos resultados experimentais obtidos pela metodologia usada em plataforma MATLAB.
Obtenção do Centro da Íris
Neste trabalho, o centro da íris é procurado iterativamente num domínio de raio r, sendo calculadas as variações mínimas de energia resultantes da análise ao campo representativo dos vales de intensidade, no interior do domínio considerado.
A figura 5, representa a vermelho o ponto inicial de coordenadas (40, 40) píxeis, atribuído pelo utilizador, e o ponto final a verde de coordenadas (45,26) píxeis obtido pela metodologia, a azul estão representados os pontos intermédios considerados. A origem do referencial usado é o canto superior esquerdo.
Figura 5 – Imagem representativa da determinação automática do centro da Íris: a vermelho o ponto de partida atribuído e a verde o ponto final obtido.
Obtenção do Raio da Íris
Posteriormente, o raio do contorno da íris é obtido utilizando o campo de energia correspondente aos vales de intensidade e o campo de energia correspondente à intensidade da imagem.
A figura 6, mostra que do raio inicial de valor igual a 6 píxeis, obteve-se o raio final de 9,6 píxeis.
Figura 6 – Imagem representativa da obtenção do raio do contorno da Íris, a vermelho a circunferência final.
Seguidamente, é utilizado o campo referente às orlas de intensidade com o objectivo de afinar o valor do raio encontrado anteriormente para o contorno da íris, esta operação é de escala, conhecida usualmente por ajuste fino.
A figura 7, mostra que do raio inicial de valor 9,6 píxeis, obteve-se o raio final de 11 píxeis.
Figura 7 – Imagem representativa da obtenção do raio final do contorno da Íris, a vermelho a circunferência final após ajuste fino.
Obtenção do Ângulo de Inclinação
O campo de energia referente aos picos de intensidade, define a localização da córnea óptica, sendo o objectivo desta fase a procura iterativa da localização de dois pontos que definem o ângulo de inclinação do olho na imagem.
Na figura 8, encontram-se identificados por círculos a azul dois pontos, situados na córnea óptica, que se deslocam iterativamente, pontos a vermelho, até encontrarem um ponto de derivada nula correspondente a um máximo. Na mesma figura, sinalizados a verde encontram-se os dois pontos óptimos determinados pela metodologia. Para o caso considerado, verificou-se que o referido olho apreverificou-senta na imagem um ângulo de inclinação de 0,24 rad relativamente ao eixo das abcissas.
Figura 8 – Imagem representativa da obtenção iterativa do ângulo de inclinação do olho representado na imagem.
CONCLUSÕES E PRESPECTIVAS DE TRABALHO FUTURO
Neste trabalho, desenvolveu-se uma metodologia baseada na utilização de um modelo protótipo deformável para detecção e extracção de características faciais, nomeadamente do olho.
Dos resultados experimentais obtidos pela mesma metodologia, verificou-se que esta apresenta um comportamento robusto e de acordo com o esperado. Sendo este comportamento devidamente influenciado pelas forças de imagem consideradas, traduzidas pelos campos de energia usados.
Como tarefas futuras, destacam-se a consideração das parábolas do protótipo usado, e a consideração de informação adicional para determinar de forma automática a posição e a orientação inicial do protótipo na imagem. Para esta segunda etapa, será usada informação obtida por um algoritmo de detecção de zonas de pele já implementado [5].
AGRADECIMENTOS
Este trabalho foi parcialmente realizado no âmbito do projecto “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” com a referência POSC/EEA-SRI/55386/2004, suportado financeiramente pela FCT - Fundação para a Ciência e a Tecnologia.
REFERÊNCIAS
[1] A. Yuille, P. Hallinan, and D. Cohen, "Feature Extraction from Faces Using Deformable Templates," International Journal of Computer Vision, vol. 8, pp. 99-111, 1992.
[2] A. L.Yuille, "Deformable Templates for Face Recognition," Journal of Cognitive
Neuroscience, vol. 3, pp. 59-70, 1991.
[3] A. L. Yuille, D. S. Cohen, and P. W. Hallinan, "Feature extraction from faces using deformable templates," presented at IEEE Conference on Computer Vision and Pattern Recognition, 1989.
[4] F. J. S. Carvalho and J. M. R. S. Tavares, "Imagens de Faces: Exemplos de Metodologias e Aplicações," presented at 4as Jornadas Politécnicas de Engenharia, Mecânica, Automóvel, Organização e Gestão Industrial, Energia e Ambiente, Instituto Superior de Engenharia do Porto, Porto, Portugal, 2004.
[5] Fernando J. S. Carvalho and João M. R. S. Tavares, "Metodologias para identificação de faces em imagens: introdução e exemplos de resultados," presented at Congresso de Métodos Numéricos en Ingeniería 2005, 4 – 7 de julio de 2005, Granada, España.
[6] Y. Wu, H. Liu, H. Zha, "A New Method of Human Eyelids Detection Based on Deformable Templates," Proc. 2003 Sino-Korea Symp. On Intelligent Systems, pp.49-54, Guangzhou, China, Nov. 18, 2003.
[7] Y. Wu, H. Liu, H. Zha, "A New Method of Human Eyelids Detection Based on Deformable Templates," to appear in Proc. IEEE Int. Conf. on Systems, Man, and Cybernetics (SMC'04), Hague, Netherlands, Oct. 10-13, 2004.
[8] Miguel A. Cazorla, Francisco Escolano, Ramón Rizo y Domingo Gallardo "Deformable Templates for Tracking and Analysis of Intravascular Ultrasound Sequences," International Workshop on Energy Minimization Methods in Computer Vision and Pattern Recognition, Venecia, Mayo, 1997.
[9] M. Pantic and L. J. M. Rothkrantz, "Automatic Analysis of Facial Expressions: The state of art," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, 2000.
[10] M. Yang, D. J. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Survey," IEEE
Transactions on Pattern Analysis and Machine Intelligence, vol. 24, 2002.
[11] R. J. Schalkoff, Digital Image Processing and Computer Vision: John Willey & Sons, Inc., 1989.
