4. Aquisição e Análise de Imagem
4.1.
Introdução
Este capítulo trata de uma das fases mais importantes do trabalho. São os métodos de aquisição e posterior tratamento e análise de imagem que irão gerar a informação que permitirá estimar correctamente a direcção do olhar.
Esta parte fundamental do projecto é a que exige maior tempo de processamento, e é também aquela cujas abordagens e metodologias a seguir são menos rígidas, havendo sempre múltiplas formas de atingir o mesmo objectivo. Por esta razão, este capítulo foi um dos que mais contribuições originais gerou. A análise de imagem exige muita experimentação e a também a utilização de várias abordagens diferentes de modo a determinar as melhores técnicas, mas requer também uma grande dose de imaginação e de criatividade.
Neste capítulo irão ser explicados em detalhe todo o processo da captação de imagem, desde a localização da câmara até à escolha da iluminação adequada, bem como todos os algoritmos e metodologias utilizados na detecção e extracção das características faciais até se atingir o resultado final, a determinação das elipses que melhor se ajustam às íris dos olhos do utilizador, numa certa imagem.
4.2.
Aquisição de Imagem
Para a aquisição de imagem recorreu-se a uma câmara situada na base do monitor, de modo a captar a face do utilizador de baixo para cima (Fig. 22). A câmara teria de ficar situada numa posição de modo a garantir que os olhos ficassem direccionados sempre para um mesmo lado. Com a câmara nesta posição é garantido que o utilizador enquanto observar o ecrã estará sempre a olha r para cima, do ponto de vista da câmara
Tal requisito foi necessário cumprir de modo a eliminar a ambiguidade que haveria caso a câmara captasse os olhos voltados para várias direcções. Como se pretende determinar a direcção do olhar por análise dos contornos das íris projectados nas imagens, é necessário garantir que não haverá ambiguidade, isto é, para uma dada elipse só poderá haver uma posição correspondente do olho. Caso contrário haveria duas soluções possíveis (duas direcções do olhar) e não se saberia qual a correcta.
As imagens seguintes (Fig. 23/Fig. 27) demostram esta ambiguidade e a razão de se ter colocado a câmara por baixo do monitor.
Fig. 23 - Olho voltado para a câmara
Fig. 24 - O olho é visto como uma circunferência
Fig. 25 - O olho é visto
como uma elipse Fig. 26 - Olho voltado para cima Fig. 27 - Olho voltado para baixo
Outro aspecto para a decisão de usar a câmara numa posição abaixo da face do utilizador é o facto de o contorno da íris do olho humano não formar uma circunferência perfeita. Assim, imagens correspondentes a posições quase frontais não apresentarão grande rigor nos seus resultados, visto as “irregularidades” da circularidade do contorno se tornarem mais perceptíveis. Deste modo, contornos da íris com uma excentricidade menor te rão este efeito mais atenuado, e por isso, uma precisão maior. Assim, com a câmara posicionada por baixo do ecrã, assegura -se que enquanto o utilizador estiver a olhar para pontos do ecrã o contorno das suas íris nunca se confundirá com uma circunferência.
Um terceiro motivo para a colocação da câmara em baixo e não em cima do monitor prende-se com o facto de a maior parte das vezes a pálpebra superior estar a encobrir a íris. Assim, numa imagem captada por baixo, o contorno visível da íris (predominantemente na metade inferior da íris) será melhor visualizado, já que a pestana inferior não é suficientemente grande para encobrir o olho. Por outro lado, uma captação de imagens superior tem o problema de o olho ficar semi oculto pela sobrancelha, ou pela pestana superior.
4.3.
Análise de Projecções
Ao analisar imagens para a detecção de certas características ou padrões muitas vezes recorre -se ao uso das suas projecções. Uma imagem é um sinal bidimensional representado por uma função de duas variáveis (x,y) (a posição espacial do pixel), a que se associa uma intensidade f(x,y). Operar com sinais unidimensionais em vez de imagens bidimensionais é por vezes mais simples, mais cómodo e mais rápido, pelo que esta técnica é frequentemente utilizada.
A projecção de uma imagem consiste em aplicar o somatório de todas as intensidades dos pixels numa determinada direcção, horizontal ou vertical. Ao projectar uma imagem resulta um sinal unidimensional. Projectando uma imagem segundo a direcção vertical constrói-se um sinal da mesma largura da imagem. Assim o valor do sinal num determinado ponto corresponde à soma de todas as intensidades da coluna correspondente a esse ponto na imagem. Da mesma forma, ao projectar horizontalmente uma imagem o sinal resultante terá um comprimento igual à altura da imagem.
As projecções apresentam geralmente um nível apreciável de ruído, em parte devido a erros de quantização (uma imagem é uma função discreta de variável discreta) mas também devido à própria morfologia da imagem. Assim torna -se necessário suavizá-lo, usando filtros passa-baixo, de modo a eliminar as suas componentes de alta frequência. Recorreu-se a filtragens por aplicação sucessiva de filtros elementares de janela flutuante (médias, medianas), cujas dimensões dependem directamente da dimensão do sinal a analisar, do nível de ruído existente e no grau de suavização que se pretende atingir (Fig. 28/Fig. 29).
Fig. 28 - Sinal obtido por Projecção Fig. 29 - Sinal Suavizado
Devido à grande utilização de projecções no decorrer do projecto, implementaram-se funções de filtragem e de análise deste tipo de sinais. A característica mais importante será identificar, quantificar e etiquetar os extremos relativos (máximos e mínimos) de um sinal. Para tal foi criada uma função que detecta e atribui uma etiqueta a todos os máximos e mínimos (etiquetização). Esta etiqueta é um número positivo, no caso dos máximos, e negativo nos mínimos. O seu módulo é crescente à medida que o número de extremos aumenta.
Nas imagens seguintes é visível o sinal de retorno desta função, contendo as etiquetas que marcam a localização de cada extremo (Fig. 30) e também o sinal original, após suavização, com os extremos detectados devidamente assinalados (Fig. 31).
Fig. 30 - Etiquetização dos Extremos do Sinal Suavizado
Fig. 31 - Sinal Suavizado e Extremos Relativos
Refere-se agora a dificuldade da detecção de extremos num sinal discreto. A detecção dos pontos com derivada nula não é suficiente, visto muitas vezes estes ocorrerem em subidas ou descidas (pontos de inflexão) devido à quantização do sinal. Eventualmente um extremo de um sinal pode não apresentar derivada nula, mudando esta de sinal sem atingir o valor zero. A análise de extremos usando a segunda derivada torna-se impossível devido ao enorme nível de ruído que esse sinal apresenta.
Num sinal discreto os extremos podem ser considerados patamares de máximos ou mínimos, cujos pontos vizinhos são respectivamente menores ou maiores que o nível do patamar.
A função de detecção de extremos percorre o sinal da esquerda para a direita, marca ndo o fim dos patamares como máximos ou mínimos provisórios, e depois em sentido contrário marcando o início deles. Esta marcação do início ou do fim dos patamares é feita analisando os locais onde a derivada da função inverte o sinal. Pontos de derivada nula são ignorados nesta análise. No segundo varrimento os patamares de inflexão (aqueles que apresentam um máximo provisório no seu início e um mínimo provisório no fim, ou vice-versa) são descartados.
A interpretação dos valores no início e no fim de cada patamar irão caracterizá-lo como sendo um conjunto de máximos, de mínimos, ou de pontos de inflexão. Posteriormente é feito mais um varrimento do sinal para atribuir as etiquetas correspondentes, atribuindo valores positivos crescentes aos máximos e valores negativos decrescentes aos mínimos, pela ordem com que estes surgem no sinal.
Foram também criadas funções para determinar a largura de cada um dos “montes” e “vales” do sinal, e ainda outras para determinar os n maiores montes ou vales. Tais funções mostraram ser bastantes úteis em diversas partes do projecto, tornando a análise de projecções mais simples e organizada.
Fig. 32 - Sinal com o Maior Vale Assinalado
A imagem anterior (Fig. 32) mostra uma projecção com o maior vale assinalado.
4.4.
Análise de Imagem
4.4.1. A Localização da Face e dos Olhos
Esta é a primeira etapa da análise de imagem. A localização da face será a primeira fase, e irá definir a região de interesse a partir da imagem original. A ima gem original tem dimensões de 576 por 768 pixels e apresenta a cara do utilizador numa posição desconhecida à partida. Após definida esta região a fase da extracção dos olhos irá determinar duas novas regiões de interesse, cada uma centrada num dos olhos.
A figura seguinte (Fig. 33) mostra as imagens que resultantam de cada uma destas fases, que serão descritas de seguida
4.4.1.1. A Localização da Face
A localização dos limites da face é a primeira etapa da análise das imagens. Embora se parta do princípio que a imagem contém a face de uma pessoa a sua localização é incerta. Visto ser pretendida uma grande resolução nos olhos a face terá dimensões consideráveis, o que poderá resultar que esta não se encontre totalmente visível na imagem. Além disso, há uma certa liberdade para a posição da face relativamente à câmara, o que leva a que a face não esteja centrada na maior parte das situações.
Assim, foi necessário desenvolver um método que garantia a localização exacta da face mesmo em situações em que um dos limites laterais da face não estivesse visível, ou noutras em que o limite superior da imagem não incluísse a parte superior do rosto.
Tal análise permite tornar o sistema mais robusto e mais flexível, não impondo restrições adicionais ao posicionamento correcto da face e permitindo utilizar um maior factor de zoom na objectiva, o que aumenta a versatilidade do método.
O ponto de partida é uma imagem da face do utilizador, obtida com a câmara posicionada por baixo do monitor (Fig. 34). As dimensões das imagens utilizadas foram fixas, de 576 por 768 pixels. Estas dimensões foram impostas pela placa de aquisição utilizada.
Fig. 34 - Imagem Original
De seguida calcularam-se os módulos dos gradientes vertical e horizontal da imagem (Fig. 35/Fig. 36). Estes gradientes foram calculados aplicando o operador de
Sobel com janelas de 3x3 pixels. Embora este método não seja dos que garantem maior
exactidão na detecção de contornos, nesta fase do processo apenas se quer obter uma estimativa dos limites, e a utilização de métodos mais precisos (como os métodos de
Canny ou Shen-Castan [1]) aumentaria significativamente o tempo de processamento,
Fig. 35 - Gradiente com Orientação Vertical Fig. 36 - Gradiente com Orientação Horizontal
Seguidamente, estas imagens foram binarizadas utilizando um nível de binarização fixo, que gerou bons resultados com todas as imagens utilizadas (Fig. 37/Fig. 38).
Fig. 37 - Gradiente Vertical Binarizado Fig. 38 - Gradiente Horizontal Binarizado
Através destas imagens pretende-se determinar qual a zona da imagem a seleccionar (excluindo todas as outras zonas) para a posterior detecção dos olhos.
Na fase seguinte obtiveram-se a projecção segundo a direcção vertical dos pontos brancos da imagem do gradiente vertical e a projecção segundo a direcção horizontal dos pontos brancos da imagem do gradiente horizontal (Fig. 39). Tal permite obter dois sinais cujos máximos de cada um correspondem à localização das colunas e das linhas da imagem onde os contornos são mais acentuados.
Como a análise destes sinais irá influenciar a determinação dos limites de região de interesse, convém que estes se encontrem o mais livres de ruído e oscilações bruscas possível, de modo a aproximarem-se ao máximo dos padrões procurados. Para tal usaram -se filtros passa-baixo simples, com janelas flutuantes de média e mediana cuja dimensão tem em conta a dimensão do sinal. A escolha da dimensão destas é importante, para se obter uma boa suavização sem destruir as características principais do sinal.
Fig. 39 - Projecções dos Gradientes
A projecção vertical evidencia os limites laterais da face. Na projecção horizontal (onde os valores do eixo horizontal correspondem às linhas da imagem) são nítidos os máximos correspondentes ao início do cabelo, sobrancelhas e olhos.
Para determinar os limites laterais da imagem (Fig. 40) procurou-se o primeiro e o último valor da projecção horizontal que ultrapassassem uma determinada percentagem fixa do máximo. Contudo, se um dos limites da face não for visível na imagem (caso em que o primeiro e o último máximo estã o muito próximos um do outro) identifica -se o lado em falta e não se efectua corte no lado da imagem correspondente.
Fig. 40 - Limites Horizontais de Corte
Para determinar os limites superior e inferior de corte a abordagem será obviamente diferente. O objectivo será eliminar tudo o que estiver para baixo dos olhos, pois elementos como a boca, barba e as narinas dificultam a posterior detecção dos olhos. A existência de cabelo não é prejudicial, como se verá adiante. Assim, esta fase
consistia fundamentalmente na obtenção de um bom limite inferior da região de interesse (ROI).
O melhor método que se testou foi analisar os máximos da projecção horizontal. Ao identificar o máximo correspondente aos olhos resolve-se o problema. Contudo, devido à liberdade que se deu quanto à posição da face, não se sabe quantos máximos existem no sinal antes do máximo correspondente ao olho, pois o cimo da imagem pode ser o cabelo (ou a ausência deste), a testa do utilizador ou mesmo o fundo por detrás dele. Desta forma os máximos correspondentes aos olhos não podem ser identificados pelo seu número.
Neste método usou-se apenas os primeiros 80% da projecção horizontal (Fig. 41). Tal deveu-se ao facto de se saber antecipadamente que os olhos não se encontram nesta zona da imagem, e também porque a parte final do sinal poderia ocasionar erros na detecção caso apanhasse os ombros do indivíduo (apareceria um pico muito alto na projecção).
Fig. 41 - Projecção do Gradiente Horizontal (80%)
De seguida fez-se uma procura e etiquetagem de máximos e mínimos do sinal, usando as funções de análise de projecções descritas anteriormente. Depois de saber a localização de cada um dos extremos procedeu-se a uma análise de modo a detectar o padrão “sobrancelhas -olhos” (os dois máximos no centro do sinal).
Para o efeito procurou-se os primeiros três mínimos “adjacentes” (contêm exactamente dois máximos entre o primeiro e o terceiro mínimo) que obedeçam às seguintes condições:
• a diferença de amplitude do 1º para o 3º mínimo não pode exceder 25% da amplitude máxima;
• a amplitude do mínimo do meio não pode ser inferior à amplitude mínima dos mínimos extremos;
• as amplitudes dos 2 máximos para o mínimo do meio devem diferir um certo valor mínimo (para evitar detectar pequenas oscilações não retiradas após o processo de suavização);
• um dos máximos deve ser superior a 70% do valor máximo do sinal. Com estes testes o padrão Sobrancelha/Olho foi detectado a maior parte das vezes. O limite inferior da ROI será durante a descida do segundo máximo para o terceiro mínimo (70% da descida mais uma margem de segurança).
O limite superior será o topo da imagem, excepto em casos em que a diferença entre os limites superior e inferior seja bastante elevado, sendo nestes casos o limite superior determinado um valor fixo acima do inferior.
A Fig. 42 mostra a projecção horizontal juntamente com os limites verticais da região de interesse.
Fig. 42 - Limites Verticais da Região de Interesse
Este método não funcionou nos casos em que o olho e a sobrancelha se encontravam “juntos” num só pico. Desta forma a detecção do padrão falhava. Para contornar estes casos considerou-se que o máximo do sinal corresponderia a este pico. Assim determinou-se o limite inferior de corte a 70% da descida deste máximo para o mínimo seguinte (mais uma margem de segurança).
O processo de detecção do limite inferior de corte não é simples, e este método foi o que proporcionou melhores resultados (Fig. 43). Contudo, muitos outros foram testados (e posteriormente rejeitados). O grande problema prende-se com o facto de não se saber quantos máximos terá a projecção, e nem sequer se saber a que zona da cara corresponderá o maior máximo. Faces com barba, com pouco cabelo ou com sobrancelhas finas originarão certamente projecções muito diferentes, e daí a dificuldade desta etapa.
Refira-se, a título de exemplo, que outras técnicas que não resultaram. Todos aqueles que se baseassem na procura do maior máximo para identificação da zona da cara não eram de confiança. A procura de “vales” no sinal também não resultou bem, pois a sua extensão é muito variável e tanto o mínimo acima da sobrancelha como o mínimo abaixo do olho têm por vezes amplitudes não muito baixas.
Fig. 43 - Padrão “Sobrancelha-Olho” na Projecção Horizontal de várias imagens
Tendo os quatro limites determinados pode -se efectuar a definição da ROI, obtendo a seguinte imagem (Fig. 44) que será objecto de processamento em fases posteriores.
Fig. 44 - Imagem após o Corte Inicial
4.4.1.2. A Localização dos Olhos
Partindo desta imagem o objectivo será agora definir duas ROI de modo a que cada uma contenha um dos olhos.
O passo seguinte consistiu na binarização da imagem. Contudo um nível de binarização fixo não funcionaria bem, pois será dependente das condições de iluminação, do tom de pele e da cor dos olhos do utilizador. Para a selecção do limiar de binarização recorreu-se ao Histograma acumulado da região de interesse. Este sinal mostra, para cada valor de intensidade da imagem (entre 0 e 255) as ocorrências de
(entre 0 e 255) a função do Histograma Acumulado H(n) toma o valor do número total de pixels da imagem (i,j) cuja intensidade I(i,j) é igual ou inferior a n .
Desta forma obtém-se um sinal monótono crescente (Fig. 45). O nível de binarização seleccionado será aquele que originar uma imagem com uma dada percentagem de pixels pretos (neste caso usou-se 20%).
Fig. 45 - Histograma Acumulado e Limiar de Binarização
Binarizou-se assim a imagem da face usando o nível de binarização obtido (Fig. 46).
Fig. 46 - Face Binarizada
De seguida retiraram-se os objectos pequenos da imagem, eliminando todos aqueles que apresentavam uma área inferior a um certo valor (considera-se como objecto um conjunto conexo – conectividade 8 – de pixels pretos). Com esta operação pretende -se que os objectos correspondentes aos olhos sejam retirados (Fig. 47).
Fig. 47 - Remoção de Objectos Pequenos
Depois subtraiu-se esta imagem (Fig. 47) à inicial (Fig. 44), obtendo o resultado da Fig. 48 e binarizou-se usando um nível fixo (Fig. 49).
Fig. 48 - Subtração dos Objectos Fig. 49 - Binarização
A selecção das janelas para cada olho passa novamente pela análise das projecções. Depois das operações anteriores o cabelo do utilizador foi, em grande parte, eliminado. Desta forma sabe-se que os grandes objectos restantes correspondem aos olhos e às sobrancelhas.
Construindo o sinal que corresponde à projecção horizontal dos pixels brancos da imagem (Fig. 50) são nítidos dois picos. Assim são detectados os dois “montes” mais largos cujos valores máximos ultrapassem um determinado limiar, e considera-se que o monte inferior corresponde aos olhos. Os cortes são efectuados pelos mínimos que limitam o monte seleccionado, gerando a imagem da Fig. 51.
Fig. 51 - Resultado dos Cortes Verticais
Depois dos cortes verticais constroi-se a projecção vertical dos pixels brancos da imagem resultante (Fig. 52). Novamente são esperados dois máximos, um correspondente a cada olho. Faz-se a detecção destes máximos, de um modo idêntico ao que foi utilizado para a projecção horizontal. Depois determinam-se os limites horizontais de corte, para cada olho, “descendo” desde os máximos para ambos os lados, até se atingir 80% da descida ao deslocarmo-nos para o exterior, e 70% da descida ao deslocarmo-nos para o interior. Mais uma vez é dada uma margem de segurança.
Fig. 52 - Projecção Vertical da Imagem Binarizada e Limites Horizontais
Nesta altura já são conhecidos os quatro limites para cada um dos olhos, podendo portanto ser construídas as imagens de cada um deles. Estas imagens serão o ponto de partida do próxima etapa do processamento.
Estes métodos de análise de projecções revelaram-se simples, rápidos e efic azes. Contudo há que ter em conta que uma boa suavização do sinal a analisar é crucial, sob pena de pequenas oscilações originarem extremos indesejados. Uma suavização forte demais também acarreta problemas, destruindo informação relevante dos sinais.
Toda esta etapa do processo estava já implementada antes da criação das funções de análise de projecções. Contudo, foi depois em grande parte reconstruída de forma a aumentar a eficácia e robustez das detecções. Os métodos antigos eram baseados nas mesmas ideias, mas implementados de forma menos eficiente. Assim apenas se apresenta a solução final.
4.4.2. Extracção do Contorno da Íris
Esta segunda etapa da análise de imagem irá determinar o contorno da íris de cada olho partindo das imagens dos olhos obtidas na fase anterior. Esta etapa contém 3 fases distintas: a Detecção dos Contornos do olho, a Binarização do Olhos e a Determinação do Contorno da Íris. Esta última fase utiliza a informação resultante das outras duas, que são independentes uma da outra.
Detecção dos
contornos
Binarização
Determinação
do contorno
da íris
Fig. 54 - Diagrama Funcional da Extra
4.4.2.1. A Detecção de Contornos
Após concluir a etapa anterior obtém-se duas imagens, uma correspondente a cada olho (Fig. 55/Fig. 56). Esta etapa consistirá em extrair o contorno visível da íris, de forma a posteriormente utilizar esta informação para estimar a elipse que melhor se adapta à íris.
Antes do processamento as imagens são normalizadas de forma a que as intensidades abranjam toda a gama de intensidades.
A partir deste momento a análise feita para os dois olhos é idêntica, razão pela qual se irá apenas apresentar o processo correspondente a um deles.
O primeiro passo será fazer uma boa detecção de contornos: deseja-se uma detecção contendo o máximo do contorno possível (e que se possível não apresente desc ontinuidades) mas que ao mesmo tempo seja uma detecção fina, isto é, que a espessura dos contornos ocupe um pequeno número de parcelas.
Foram testados vários métodos, sendo aquele que gerou melhores resultados o método de Shen-Castan (Fig. 57). Este método percorre a imagem em quatro varrimentos, um da esquerda para a direita em cada linha, seguindo as linhas de cima para baixo, um de cima para baixo em cada coluna, seguindo as colunas da esquerda para a direita, e mais os dois varrimentos inversos a estes. Ao percorrer a imagem aplica-lhe um filtro exponencial de resposta impulsional infinita (IIR). É uma técnica mais morosa, mas bastante mais robusta que os simples operadores de Sobel e Prewitt, e origina contornos de espessura reduzida se a imagem resultante for binarizada correctamente (Fig. 58).
Fig. 57 - Detecção de Contornos Shen -Castan Fig. 58 - Binarização da Det. Contornos
Após se obter a imagem do gradiente do olho (no fundo é a imagem da intensidade dos contornos) é necessário binarizá -la. A decisão do nível de binarização a utilizar é importante, pois um valor desadequado pode eliminar contornos importantes, ou adicionar contornos indesejáveis. Um nível fixo mostrou ser bastante ineficiente, tendo sido a melhor solução encontrada utilizar um nível tal que existissem 5% de
pixels brancos na imagem binarizada (nível obtido novamente por análise do histograma
acumulado da imagem).
O método de Cann y também funcionou razoavelmente bem, mas detectou contornos fracos que são desnecessários para a análise pretendida. De seguida (Fig. 59/Fig. 62) encontra-se uma demonstração dos 4 métodos para o olho da direita.
Fig. 61 - Roberts Fig. 62 - Prewitt
Esta foi uma fase de extrema importância, pois uma má detecção de contornos origina um mau funcionamento de todas as fases consequentes do processo. As duas imagens seguintes (Fig. 63/Fig. 64) mostram os contornos determinados pelo método de
Shen-Castan sobrepostos aos olhos.
Fig. 63 - Olho da esquerda com contornos Fig. 64 - Olho da direita com contornos
4.4.2.2. A Binarização dos Olhos
O passo seguinte foi binarizar a íris. Este foi um passo onde foi bastante complicado arranjar um método que se comportasse bem com a maioria das imagens. O objectivo desta fase é obter um nível de binarização que origine uma imagem da íris binarizada que se ajuste o máximo possível aos contornos detectados anteriormente. Contudo, pequenas variações de luminosidade, como sombras localizadas no lado interior do olho, fazem com que este nível de binarização “ideal” varie drasticamente, mesmo nos dois olhos de uma mesma imagem.
Foram experimentados diversos métodos, e a grande maior parte deles originava resultados muito maus. Métodos com nível de binarização fixo foram logo à partida postos fora de questão. Métodos com nível de binarização que originasse uma determinada percentagem de pixels pretos na imagem resultante (analisando o histograma acumulado) também tiveram resultados fracos. Para ambos estes métodos os parâmetros da binarização podem ser ajustados de forma a que esta origine um bom resultado numa dada imagem, mas por vezes com imagens diferentes os resultados eram catastróficos.
O método tradicional de Otsu de binarização automática também se mostrou incompatível, visto o histograma das imagens não ser bimodal. Técnicas de Binarização local (LocThres), que dividem a imagem em blocos concatenados e determinam o melhor nível de binarização para cada um deles também se mostraram ineficientes. Embora por vezes funcionassem bastante melhor que os outros métodos nas zonas mais escuras do olho (devido à sombra provocada pelo nariz, por exemplo) nas zonas à partida “fáceis” de binarizar compor tava-se mal.
A melhor solução encontrada passou por determinar o nível de binarização por análise do histograma da imagem do olho. Verificou-se que, embora o histograma do olho nunca fosse bimodal, grande parte dos pixels do interior da íris se encontravam no primeiro “monte” do histograma.
A primeira etapa consistiu em acentuar a bimodalização do histograma da imagem, construindo uma nova imagem resultante da operação de máximo entre a imagem do olho com a imagem dos contornos (Fig. 65). O objectivo é eliminar pontos que, por estarem no contorno, possivelmente terão intensidades próximas do nível de binarização óptimo.
Fig. 65 - Acentuar a Bimodalização do Histograma
Visto o número de pontos brancos na imagem resultante da detecção de contornos ser reduzido esta operação não originou uma mudança significativa nos histogramas. Contudo manteve -se esta fase activa, visto não piorar os resultados da análise que se pretende efectuar, embora as melhorias sejam pouco significativas.
Depois foi feita uma suavização ao histograma da nova imagem de cada olho, e uma posterior detecção e etiquetização de extremos relativos (Fig. 66). O nível de binarização adequado situar -se-ia próximo do primeiro mínimo do sinal (corte feito depois do primeiro “monte”).
Fig. 66 - Determinação do Nível de Binarização adequado
Como se verifica nos gráficos apresentados a suavização do histograma deve ser feita muito cautelosamente, de forma a não eliminar “montes” ou “vales” pouco acentuados, e ao mesmo tempo deve eliminar as irregularidades frequentes na envolvente do sinal. Este método binarização foi sem dúvida o único que originou resultados positivos, embora seja bastante sensível. As imagens seguintes (Fig. 67/Fig. 68) mostram um mau resultado originado por uma suavização excessiva.
Fig. 67 - Histograma bem suavizado Fig. 68 - Histograma demasiado suavizado
Os resultados destas binarizações são apresentados de seguida (Fig. 67/Fig. 68). Estes estão sobrepostos aos contornos dos olhos detectados anteriormente por forma a melhor se visualizar a qualidade das binarizações efectuadas.
Fig. 69 - Binarização do Olho da Esquerda Fig. 70 - Binarização do Olho da Direita
De seguida encontram-se algumas imagens que demonstram os resultados obtidos pelos vários métodos experimentados (Fig. 71/Fig. 76).
Fig. 71 - Método do 1º Monte
Fig. 72 - Nível de Binarização Fixo
Fig. 73 - Nível que origina determinada % de preto
Resultados com uma outra imagem:
Fig. 74 - Imagem e Contornos
Fig. 75 - Método do 1º Monte
Fig. 76 - LocTresh
4.4.2.3. A Determinação do Contorno da Íris
Após a obtenção das imagens resultantes das duas fases anteriores (os contornos do olho e a binarização do olho) irá iniciar-se uma nova etapa cujo objectivo é determinar apenas os contornos visíveis da íris. Esta etapa irá conjugar a informação presente nestas duas imagens.
Este método consistirá em obter uma aproximação do contorno da íris por análise da imagem binarizada, depois de a tratar devidamente. Essa aproximação do contorno será obtida através da construção de um sinal cuja amplitude é a envolvente inferior da imagem binarizada.
A ideia deste método assenta na qualidade da binarização efectuada anteriormente. Caso esta tenha sido bem sucedida não haverá pixels pretos em zonas abaixo da íris. Este tipo de imagens binarizadas deve -se também ao posicionamento da câmara utilizado. Uma das razões para se utilizar a câmara a uma altura inferior à da face do utilizador foi poder obter imagens deste tipo. Imagens captadas numa posição superior não iriam certamente obter uma visua lização tão nítida (sem estar encoberta por pestanas ou pela sobrancelha) da metade inferior da íris, que é a metade mais frequentemente visível.
Foram então aplicadas operações morfológicas (erosões, dilatações, eliminação de objectos pequenos) de modo a melhorar a imagem binarizada. Estas operações, nas quais se utilizou janelas bastante pequenas (6x6), destinam-se a “retocar” a imagem binarizada:
• agregando pixels que deveriam fazer parte do objecto (pequenas irregularidades no contorno da íris);
• removendo pixels pretos soltos;
• tapando buracos no interior do objecto (em grande parte devido a reflexos).
Fig. 77 - Imagem Binarizada
Fig. 78 - Dilatação Fig. 79 - Remoção de Objectos Pequenos
Na fase posterior é calculada a projecção vertical e análise do sinal obtido de forma a estabelecer dois limites da ROI, um de cada lado do objecto. Faz-se a detecção, localização e contagem dos extremos relativos de cada projecção (Fig. 80).
Fig. 80 - Projecções verticais dos olhos binarizados
Embora este seja o padrão comum da projecção das imagens, por vezes não são nítidos 3 máximos. No caso de só serem visíveis dois, parte -se do princípio que o máximo em falta é o que corresponde à zona exterior do olho. Noutro caso qualquer não são efectuados os cortes. Os cortes são feitos perto dos máximos, dando uma margem de segurança para cada lado.
Depois deste processo obtém-se a imagem que irá gerar o sinal da aproximação do contorno da íris. Esse sinal está representado a vermelho na figura seguinte (Fig. 83), e é obtido pela envolvente inferior do objecto.
Fig. 83 - Contorno Inferior do Olho
Os cortes efectuados podem parecer desnecessários, e realmente são, a maior parte das vezes. Contudo permitem evitar que erros com o o da Fig. 84 ocorram. Depois de se efectuar os cortes, apenas se mantém na imagem binarizada o maior conjunto de
pixels pretos.
Fig. 84 - Erro caso não se efectuassem os cortes
Após a obtenção do sinal é-lhe aplicada uma suavização e os dois máximos são detectados. O sinal entre estes dois máximos corresponde à aproximação do contorno pretendida (Fig. 85).
Fig. 85 - Limites do contorno inferior dos olhos
Depois de construída a imagem com o contorno aproximado (Fig. 86) constrói-se a imagem correspondente da Transformada da Distância (Fig. 87). Esta transformada cria uma nova imagem que atribui a cada pixel o valor da menor distância a um ponto branco da imagem do contorno aproximado. Assim, na imagem da transformada, os
pixels correspondentes ao contorno serão pretos (distância zero) e os mais distantes
serão brancos (distância máxima).
De seguida seleccionaram-se os pixels com distância ao contorno aproximado inferior a um certo valor. Estes pixels servirão para a construção de uma máscara (Fig. 88). O valor utilizado foi diferente na selecção dos pixels acima e abaixo deste contorno, tendo sido utilizada uma margem de erro maior para baixo. Tal deve-se a que na maior parte das vezes o contorno aproximado obtido pela imagem do olho binarizado estar situado ligeiramente acima do contorno obtido pela detecção de contornos.
Fig. 86 - Contorno aproximado
Fig. 87 - Transformada da Distância
Fig. 88 - Máscara
Com esta máscara e com a imagem resultante da detecção de contornos inicial vão ser seleccionados os pontos do contorno que irão posteriormente estimar a elipse (Fig. 89/Fig. 94). Esses pontos serão todos os pontos dos contornos do olho que se encontrem dentro da zona definida a branco pela máscara (excepto grupos de pontos excepcionalmente pequenos).
Fig. 89 - Selecção dos pontos do contorno
Fig. 90 - Selecção dos pontos do contorno
Fig. 91 - Contorno Final
Fig. 92 - Selecção dos pontos do contorno
Fig. 93 - Selecção dos pontos do contorno
Fig. 94 - Contorno Final
Este método foi desenvolvido para superar a grande dificuldade de distinguir os contornos da íris do resto das contornos. Outros métodos possíveis para a localização do olho poderiam passar por Transformadas de Hough ou correlações usando padrões pré-definidos. Contudo tal acarretaria um grande tempo de processamento e não seria, garantidos resultados melhores. Assim, este novo método mostrou ser relativamente simples e bastante eficiente em tempo de computação.
Este método proporciona resultados bons excepto quando as condições de iluminação não permitem que a detecção de contornos ou a binarização sejam realizadas correctamente. Assim, a zona interior do olho deverá estar bem iluminada (embora nestes exemplos não esteja muito) sem que a luz que o ilumina origine reflexos grandes.
4.4.3. Detecção de Elipses
Esta é a terceira e última etapa da Análise de imagem. O objectivo será determinar os parâmetros da elipse que melhor se adapta ao contorno da íris determinado na etapa anterior. A Fig. 95 mostra as imagens de entrada e de saída desta fase.
Procura da
melhor elipse
Fig. 95 - Diagrama Funcional da Detecção de Elipses
Obtidos os contornos da íris de cada olho é assim possível estimar a elipse que melhor se adapta a cada um deles. Contudo, a escolha do método de detecção não é simples, pois pretende-se um processo eficaz mas também eficiente relativamente ao tempo de processamento.
Contudo, antes de se fazer a estimação das elipses compensa-se a distorção provocada pela lente no contorno detectado na fase anterior. Assim as elipses serão estimadas utilizando não os contornos detectados mas sim uma imagem idêntica sem distorção.
Os pixels dos contornos são projectados no plano normalizado compensando a distorção, sendo utilizado para isso um método numérico (visto não existir uma expressão algébrica para a transformação inversa) que usa os parâmetros intrínsecos estimados para a câmara (este processo designa-se normalização).
Fig. 96 - Pontos em Coordenadas Pixel (com distorção)
Fig. 97 - Pontos em Coordenadas Normalizadas (distorção compensada)
A imagens seguintes (Fig. 98/Fig. 99) mostram a projecção dos olhos com distorção juntamente com os contornos sem distorção. Apenas foi compensada a distorção dos pontos do contorno da íris, pois compensar a distorção de todos os pixels da imagem seria um processo bastante demorado e sem grande utilidade. Obviamente a distorção será tanto maior quando mais afastados estiverem os pixels do ponto principal da imagem.
Fig. 98 - Contorno sem distorção Fig. 99 - Contorno sem distorção
Contudo, as imagens visualizadas na etapa da estimação das elipses não terão a distorção compensada. O objectivo será poder visualizar melhor a adaptação das elipses aos olhos, o que não seria tão óbvio com imagens como as das Fig. 98/Fig. 99.
A equação cartesiana da elipse com eixos paralelos aos eixos coordenados é
1 ) ( ) ( 2 2 0 2 2 0 + − = − b y y a x x ( 13 )
onde (x0;y0) são as coordenadas do centro da elipse, e a,bsão os comprimentos dos
semi-eixos da elipse. Contudo as elipses procuradas não têm necessariamente os eixos nestas condições, pelo que é necessário a estimação de um quinto parâmetro θ, a inclinação do eixo maior da elipse.
Fazer a correlação da imagem com padrões conhecidos seria extremamente exigente a nível de tempo de processamento. Pela mesma razão não se utilizou uma transformada de Hough bruta, pois o tempo de computação aumenta exponencialmente com o crescimento do número de parâmetros a estimar, e não são conhecidos a priori nenhum dos parâmetros da elipse.
Assim optou-se por utilizar métodos mais rápidos, ainda que menos eficazes, para uma primeira estimativa da elipse. Utilizou-se assim um método bastante rápido de estimação de cónicas específico para elipses [10]. Este consiste em determinar a elipse que minimize o quadrado da distância do seu contorno a cada ponto que a gerou. É um método não iterativo que calcula os parâmetros da elipse apenas através de modelos algébricos.
As imagens seguintes (Fig. 100/Fig. 101) demonstram o resultado obtido pela aplicação deste método às imagens dos contornos.
Fig. 100 - Elipse estimada e o contorno que a gerou
Fig. 101 - Elipse estimada e o contorno que a gerou
Os resultados são satisfatórios, graças à boa estimação dos contornos nesta imagem. Contudo, como os contornos não estão totalmente visíveis (a parte de cima do olho é sempre ocultada pela pálpebra) este método estima a elipse apenas com pontos da sua parte inferior, e tal mostrou ser insuficiente. De facto, este método provou ser tremendamente eficaz na estimação de elipses com pontos espalhados em redor do centro, mas nos casos utilizados tende a detectar elipses com excentricidade menor (mais “achatadas”) que o que realmente deveria.
Seria portanto aconselhável utilizar um outro método para ajustar a escolha efectuada por este. Foi assim implementada uma Transformada de Hough para elipses para melhorar a decisão obtida. Embora este método seja bastante pesado do ponto de vista computacional, pelo facto de já se saber uma aproximação dos parâmetros da elipse pode-se restringir bastante a procura, poupando tempo que seria perdido desnecessariamente.
A Transformada de Hough para elipses consiste em desenhar uma elipse com determinados a, be θem cada ponto do contorno (Fig. 102/Fig. 103), e para cada ponto (x,y) onde a elipse passe incrementar uma unidade ao acumulador na célula de coordenadas (x,y,a,b,θ). O acumulador é uma matriz de 5 dimensões, uma para cada parâmetro da elipse. Esta operação é repetida para os valores de a, b e θque se deseja testar. No final a célula do acumulador com o valor máximo terá as coordenadas da elipse estimada.
Fig. 102 - Pontos do Contorno Fig. 103 - Transformada de Hough completa
Só faz sentido utilizar este método se se conseguir restringir bastante a gama dos parâmetros a estimar, e também se o número de pontos do contorno não for demasiadamente grande (por esta razão na detecção dos contornos da íris não foram utilizadas transformadas de Hough).
As restrições foram as seguintes:
• foi definida uma medida de ângulo proporcional ao perímetro da elipse a estimar, de modo a não ser demasiado pequeno, o que exigia tempos de cálculo longos, nem suficientemente grande, com insuficiente informação;
• apenas se incrementou o acumulador próximo do centro da elipse resultante da primeira detecção, dando para cada lado uma margem de
erro que mostrou ser adequada (22.5º = 1/16 de 360º), como mostra a Fig. 103;
• a dimensão do eixo maior é praticamente a mesma que foi obtida com a detecção de elipses inicial (caso o sistema já esteja calibrado para uma determinada distância pode-se usar a estimativa do diâmetro do olho em
pixels);
• as dimensões para o eixo menor a testar serão iguais ou superiores à dimensão obtida na primeira de tecção (a primeira detecção nunca origina elipses com excentricidade maior que a óptima) e inferiores à do eixo maior;
• as orientações a adicionar à elipse são múltiplas do ângulo acima calculado, e só abrangem 22.5º para cada lado.
As imagens seguintes (Fig. 104/Fig. 107) mostram “fatias” do acumulador, isto é, mostram os centros candidatos (x,y) para valores fixos de a, b e θ. Para cada variação de cada um destes três parâmetros existe uma imagem semelhante.
Fig. 104 - Apenas analisa uma gama reduzida
Fig. 105 - Resultado de 3 análises
Fig. 106 - “Fatia” do Acumulador
Fig. 107 - “Fatia” do Acumulador (3D)
As “fatias” acima visualizadas correspondem àquelas que apresentaram o maior valor do acumulador. Os novos parâmetros da elipse acabados de estimar serão os definitivos (Fig. 108/Fig. 109). Como se esperava, é nítida a melhoria da qualidade da nova estimação comparativamente à antiga.
Fig. 108 - Elipse definitiva Fig. 109 - Elipse definitiva
A título de exemplo mostra-se um outro caso para se comparar o resultado dos dois métodos (Fig. 110/Fig. 111).
Fig. 110 - Estimação apenas com o 1º método Fig. 111 - Estimação usando os 2 métodos
Apenas uma pequena dificuldade surgiu ao usar este novo método. Por vezes existe mais que um valor máximo no acumulador de Hough. Isto sucedia-se principalmente ao variar o parâmetro θ . Nas três imagem de baixo (Fig. 112/Fig. 114) o máximo acumulador foi o mesmo, bem como para aquelas cuja orientação é intermédia a elas. Nestes casos a opção tomada foi aceitar a solução mediana. Neste caso aceitar-se-ia a orientação da imagem do meio, que visivelmente parece ser a mais correcta.
Fig. 112 - Parâmetros Óptimos (1) Fig. 113 - Parâmetros Óptimos (2) Fig. 114 - Parâmetros Óptimos (3)
A Transformada de Hough mostrou ser bastante precisa e demonstrou resultados superiores aos obtidos pelo primeiro método. Contudo, a excelente qualidade dos resultados obtidos nesta fase, tanto em eficácia como em eficiê ncia, deveu-se à utilização conjunta dos dois métodos. O primeiro serviu para obter uma estimativa razoável e o segundo para refinar a escolha. Graças aos óptimos resultados esta fase do processo obteve uma eficácia superior a todas as outras.
4.5.
Condições de Iluminação
A questão da iluminação não foi definida à partida. À medida que se ia desenvolvendo o método de análise de imagem foi-se verificando que tipo de imagens não produziam bons resultados, e foram sendo captadas imagens segundo vários métodos de iluminação. Por nesta etapa serem referidos aspectos e fases do trabalho da fase da análise de imagem optou-se por abordar a questão da iluminação num sub-capítulo posterior. Esta fase mostrou ser crucial para o bom funcionamento do projecto, pelo que devem ser asseguradas as melhores condições de iluminação possíveis.
As primeiras experiências foram realizadas com luz natural (Fig. 115/Fig. 116). Essa luz incidia quase directamente na face do utilizador, originando uma boa iluminação e sombras quase inexistentes.
Fig. 115 - Iluminação natural frontal Fig. 116 - Iluminação natural frontal
O facto da face aparecer saturada (bastante clara, a confundir -se c om o fundo da imagem) pode ser compensado modificando a abertura da objectiva da câmara. Contudo, tal não origina problemas na fase de detecção, sendo por isso este aspecto irrelevante.
O problema destas imagens são os reflexos que inevitavelmente aparecem nos olhos. Como a iluminação é bastante forte, origina reflexos localizados no olho, devido a este ser quase esférico. Estes reflexos serão sempre detectados na detecção de contornos e por vezes originam quebras no contorno da íris, pelo que devem ser evitados. Como na maior parte das imagens apenas uma fracção do contorno da íris é visível, não se pode “dar ao luxo” de perder nenhuma parte do contorno visível.
Assim foi experimentada a captação de imagens com luz artificial (Fig. 117). As luzes existentes no laboratório onde a captação de imagens foi realizada eram luzes fluorescentes situadas no tecto da sala, sem qualquer revestimento exterior.
Fig. 117 - Iluminação interior
Embora para este tipo de imagens os resultados tenham sido bastante melhores, há sempre um pequeno reflexo nos olhos devido à incidência directa da luz que vem do
tecto. Estes pequenos reflexos mostraram-se bastante difíceis de retirar, e comprometeram seriamente a fase de binariza ção dos olhos. A tentativa de melhorar a qualidade das imagens levou a experimentar outras técnicas.
Por esta razão foi experimentada uma iluminação natural vinda por trás do utilizador (Fig. 118). Obviamente a face ficará em cont raluz e será necessário abrir bastante a objectiva da câmara para que a face não apareça demasiado escura na imagem.
Fig. 118 - Iluminação natural por trás
Assim resolve -se o problema dos reflexos, mas a face apresenta -se demasia do escura. Para a boa detecção dos contornos da íris é necessário que os olhos estejam bem iluminados, de modo a haver um bom contraste entre a íris e a zona branca do olho. O grande problema desta imagem são as sombras que aparecem no canto interior do olho, junto à cana do nariz. Numa imagem destas o nível automático de binarização não funcionará correctamente.
Foi então tentada outra abordagem: iluminar a face com um projector (Fig. 119/Fig. 120). Posicionou-se um projector em diversos sítios e testou-se qual a melhor posição de modo a iluminar bem a face do utilizador. Foram testadas posições para o projector de várias alturas, e também com várias orientações: virado directamente para o utilizador ou voltado no sentido inverso, de modo a reflectir a luz nas paredes.
Fig. 119 - Iluminação com foco de luz lateral Fig. 120 - Iluminação com foco de luz superior
Contudo esta opção não se mostrou uma boa escolha, pois o projector utilizado tinha um foco bastante forte, e não se podia dirigi-lo directamente para a face do utilizador. Todas as posições experimentadas para o foco originaram ou grandes sombras na parte interior dos olhos ou grandes reflexos na íris. Não foi possível colocar o foco numa posição que iluminasse bem os olhos sem causar um grande reflexo. Caso se dispusesse de projectores menos potentes e de um sistema de difração de luz adequado esta poderia ser uma boa opção.
As imagens seguintes (Fig. 121/Fig. 122) foram captadas para demostrar um outro problema: o aparecimento de reflexos devidos exclusivamente à luz proveniente do monitor do computador.
Fig. 121 - Monitor desligado Fig. 122 - Monitor ligado
Pelas imagens verifica-se que o simples facto de ligar o monitor projecta na face do utilizador uma nova luz que origina reflexos indesejáveis. Isto torna -se bastante incómodo já que o monitor estar ligado é condição obrigatória do projecto. Deve-se portanto tentar reduzir ao máximo este efeito, ou usando filtros polarizadores no monitor ou diminuindo a luminosidade deste.
As imagens que se mostram de seguida (Fig. 123/Fig. 124) foram as que melhores resultados apresentaram nas fases da análise de imagem. Embora estejam saturadas, essa não é uma condição fundamental.
Fig. 123 - Condições de iluminação satisfatórias
Fig. 124 - Condições de iluminação satisfatórias
Verificou-se assim que as melhores imagens foram aquelas que apresentaram as íris homogéneas. De modo à binarização se efectuar correctamente a íris deve estar bem destacada do resto do olho, deverá ser o mais homogénea possível (sem ter variações de intensidade provocadas por pequenos reflexos) e não poderá haver grandes sombras no lado interior do olho (logo a face deve estar iluminada). Todas estas restrições devem-se ao facto de a binarização automática da íris ser muito sensível, pois as tonalidades da íris, da sobrancelha e das sombras podem ser muito próximas, tornando a decisão do nível de binarização muito complicada.
A detecção de contornos não se mostrou tão sensível à iluminação como a binarização. Contudo deve ser assegurado que as imagens não apresentam grandes reflexos susceptíveis de serem considerados contornos, sob pena de gerarem pontos indesejáveis que poderão comprometer a detecção das elipses.
Estas imagens fora m captadas usando uma mistura de iluminação interior com luz natural, ambas de razoável intensidade, e com uma abertura grande na objectiva da câmara. Tal apresenta um entrave pelo facto de não se poder obter boas imagens a determinadas horas do dia. Por esta razão uma boa iluminação artificial seria preferenciada.
Devido às condições de iluminação do laboratório onde foi desenvolvido este projecto não foi possível testar condições iluminações com lâmpadas fluorescentes revestidas, de modo a criar uma iluminação ambiente, difusa e não incidente nos olhos. Isso originaria sem dúvida imagens de melhor qualidade.
4.6.
Síntese
A localização da câmara por baixo do monitor mostrou ser a melhor alternativa, pois é o local que permite captar os olhos na melhor perspectiva possível para a implementação realizada.
A localização da face e dos olhos demonstrou grande eficácia e qualidade nas detecções, apresentando bons resultados para diferentes características faciais e para variações de luminosidade consideráveis.
A iluminação óptima deverá ser o mais homogénea possível, e deverá iluminar suficientemente bem a zona interior dos olhos do utilizador sem causar reflexos na superfície dos seus olhos. O bom funcionamento da etapa seguinte depende da qualidade da iluminação.
As funções de análise de sinal implementadas para a Análise de Projecções mostraram ser extremamente úteis em toda a fase da Análise de Imagem. Estas funções funcionaram correctamente com todos os sinais experimentados.
O método de binarização automática dos olhos sugerido obteve resultados extremamente satisfatórios, considerando a qualidade das imagens a que foi sujeito. Mostrou ser uma técnica bastante boa, não só neste caso, mas também possivelmente em muitas outras aplicações. No caso de uma mudança de utilizador a alteração de um parâmetro permite ajustar rapidamente o limiar da binarização, no caso de passar a gerar maus resultados.
A detecção do contorno das íris proposta conjugou o resultado da detecção de contornos com o resultado da binarização do olho. A abordagem foi simples, bastante eficaz e uma das poucas possíveis ao problema. Este método funcionou bem se a zona dos olhos não tiver grandes sombras ou reflexos. Mesmo com condições desfavoráveis muitas vezes esta fase detecta correctamente pelo menos um dos olhos, não interrompendo o processo.
A dificuldade de uma boa detecção de elipses prendeu-se no facto de na maior parte das imagens apenas uma fracção do contorno das íris ser visível. A detecção de elipses mostrou-se bastante robusta, detectando correctamente elipses com mais de metade do seu contorno oculto. A opção de implementar uma transformada de Hough com parâmetros restritos melhorou substancialmente muitas das estimações iniciais, e demonstrou ter sido uma parte fundamental do método.
