UNIVESIDADE ESTADUAL PAULISTA
J´
ulio de Mesquita Filho
P´
os-Gradua¸
c˜
ao em Ciˆ
encia da Computa¸
c˜
ao
Daniel Osaku
Caracteriza¸
c˜
ao de impress˜
oes faciais termais utilizando a
Transformada Imagem Floresta
UNESP
Daniel Osaku
Caracteriza¸
c˜
ao de impress˜
oes faciais termais
utilizando a Transformada Imagem Floresta
Jo˜ao Paulo Papa (Orientador)
Aparecido Nilceu Marana (Co-orientador)
Disserta¸c˜ao de Mestrado elaborada junto ao Programa de P´os-Gradua¸c˜ao em Ciˆencia da Computa¸c˜ao - ´Area de Concentra¸c˜ao em Sis-temas de Computa¸c˜ao como parte dos requi-sitos para a obten¸c˜ao do t´ıtulo de Mestre em Ciˆencia da Computa¸c˜ao.
UNESP
DANIEL OSAKU
Caracterização de impressões faciais termais utilizando a Transformada Imagem Floresta
Dissertação apresentada para obtenção do título de Mestre em Ciência da Computação, área de Sistemas de Computação junto ao Programa de Pós-Graduação em Ciência da Computação do Instituto de Biociências, Letras e Ciências Exatas da Universidade Estadual Paulista “Júlio de Mesquita Filho”, Campus de São José do Rio Preto.
BANCA EXAMINADORA
Prof. Dr. João Paulo Papa Professor Doutor
UNESP – BAURU Orientador
Prof. Dr. Antonio Carlos Sementille Professor Doutor
UNESP - BAURU
Prof. Dr. Alexandre Luís Magalhães Levada Professor Doutor
UFSCAR - Universidade Federal de São Carlos
Agradecimentos
Agradecemos ao Departamento de Computa¸c˜ao, o Programa de p´os-gradua¸c˜ao, `a UNESP e `a FAPESP pelo apoio t´ecnico e finaneiro, na qual permitiu a realiza¸c˜ao deste projeto, contribuindo para a qualidade do trabalho e dos resultados. Tamb´em gostaria de agradecer o grupo de estudo RECOGNA, o qual ajudou no desenvolvimento e na forma¸c˜ao de ideias que poderiam contribuir com o projeto.
Ao meu pai Antonio Osaku (in memoriam), a quem devo toda a minha vida pelo seu exemplo de integridade, bondade e dedica¸c˜ao `a fam´ılia.
`
A minha namorada Luana, a quem sempre me deu apoio, paz nos momentos de reflex˜ao e pela paciˆencia.
Sum´
ario
Agradecimentos iv
Resumo 1
1 Introdu¸c˜ao 2
2 Revis˜ao Bibliogr´afica 9
2.1 Transformada Imagem Floresta . . . 9
2.1.1 Defini¸c˜ao . . . 9
2.1.2 Algoritmo da IFT . . . 11
2.2 Classificadores baseados em Floresta de Caminhos ´Otimos . . . 13
2.2.1 Classifica¸c˜ao n˜ao-supervisionada . . . 13
2.2.2 Classifica¸c˜ao supervisionada . . . 18
3 Abordagem proposta 24 3.1 Pr´e-processamento . . . 25
3.2 Segmenta¸c˜ao da face . . . 26
3.2.1 Binariza¸c˜ao da imagem . . . 28
3.2.2 Filtragem morfol´ogica . . . 30
3.2.3 Localiza¸c˜ao da elipse . . . 31
3.2.4 Marcadores . . . 34
3.2.5 P´os-processamento . . . 35
3.3 Classifica¸c˜ao das regi˜oes isot´ermicas . . . 37
3.4 Caracteriza¸c˜ao das regi˜oes isot´ermicas . . . 39
3.5 Base de dados . . . 41
3.5.1 Sele¸c˜ao das imagens . . . 42
3.6 Extra¸c˜ao de Caracter´ısticas . . . 44
3.6.1 Saliˆencias do Contorno . . . 44
3.6.2 Extra¸c˜ao de Min´ucias . . . 46
4 Conclus˜ao e Trabalhos Futuros 50
5 Trabalhos aceitos para publica¸c˜ao 52
Lista de Tabelas
1.1 Propriedades biom´etricas do reconhecimento facial humano. . . 6
3.1 N´umero de descartes de acordo com o valor do limiar. . . 43
3.2 Tempo m´edio de execu¸c˜ao nas diferentes etapas do projeto. . . 44
3.3 Tempo m´edio de execu¸c˜ao das diferentes abordagens na etapa de classifi-ca¸c˜ao das regi˜oes isot´ermicas. . . 44
3.4 Acur´acia nas diferentes caracter´ısticas. . . 48
3.5 Taxa de acerto com altera¸c˜ao na etapa de pr´e-processamento. . . 48
3.6 Acur´acia nos diferentes n´umeros de classes. . . 49
Lista de Figuras
1.1 Caracter´ısticas biom´etricas utilizadas em sistemas biom´etricos. . . 3 1.2 Varia¸c˜ao de ilumina¸c˜ao com incidˆencia de ilumina¸c˜ao do sol `a direita (acima)
e frontal (abaixo) da face nos espectros vis´ıvel (Visible), infravermelho pr´o-ximo (Short-wave infrared - SWIR), infravermelho m´edio (Medium-wave infrared - MWIR) e infravermelho distante (Long-wave infrared - LWIR). . 5 1.3 Imagem infravermelha de gˆemeos. . . 6 1.4 Compara¸c˜ao de imagens no espectro vis´ıvel e infravermelho com varia¸c˜oes
de ilumina¸c˜ao e express˜ao facial: (a) e (b) imagens de face no espectro vis´ıvel com diferentes condi¸c˜oes de ilumina¸c˜ao, (c) diferentes express˜oes faciais e (d), (e) e (f) s˜ao as imagens no espectro infravermelho correspon-dentes a (a), (b) e (c). . . 6
2.1 (a)-(c)Pixel central e seus 4-vizinhos, 8-vizinhos e uma rela¸c˜ao de adjacˆen-cia mais complexa, respectivamente. . . 10 2.2 (a) Um grafo de uma imagem 2D em tons de cinza com vizinhan¸ca 4. Os
n´umeros correspondem `as intensidadesI(s) dos pixels e os pontos maiores denotam as trˆes sementes. (b) Uma floresta de caminhos ´otimos usando
fmax com d(s, t) = I(t). As setas em (b) apontam para o predecessor no caminho ´otimo. . . 11 2.3 (a) Grafo cujos pesos dos n´os s˜ao seus valores de fdp ρ(t). Existem dois
m´aximos com valores 3 e 5, respectivamente. Os pontos grandes indicam o conjunto de ra´ızes S. (b) Valores de caminho triviais f1(t) para cada amostra t. (c) Floresta de caminhos ´otimos P para f1 e os valores de caminho finais V(t). O caminho ´otimo P∗(t) (linha tracejada) pode ser
obtido percorrendo os predecessoresP(t) at´e a raizR(t) para cada amostrat. 15 2.4 (a) Espa¸co de atributos com diferentes concentra¸c˜oes de amostras para cada
2.5 (a) Grafo completo ponderado nas arestas para um determinado conjunto de treinamento. (b) MST do grafo completo. (c) Prot´otipos escolhidos como sendo os elementos adjacentes de classes diferentes na MST (n´os circulados). (d) Floresta de caminhos ´otimos resultante para a fun¸c˜ao de valor de caminho fmax e dois prot´otipos. Os identificadores (x, y) acima dos n´os s˜ao, respectivamente, o custo e o r´otulo dos mesmos. A seta indica o n´o predecessor no caminho ´otimo. (e) Uma amostra de teste (triˆangulo) da classe 2 e suas conex˜oes (linhas pontilhadas) com os n´os do conjunto de treinamento. (f) O caminho ´otimo do prot´otipo mais fortemente conexo, seu r´otulo 2 e o custo de classifica¸c˜ao 0.4 s˜ao associados a amostra de teste. Note que, mesmo a mostra de teste estando mais pr´oxima de um n´o da classe 1, ela foi classificada como sendo da classe 2. . . 20
3.1 Imagem facial capturada no espectro infravermelho. . . 24 3.2 Etapas necess´arias para a obten¸c˜ao da impress˜ao facial. . . 25 3.3 Imagem (a) original e (b) pr´e-processada ap´os ajuste de brilho e contraste. 26 3.4 Segmenta¸c˜ao por IFT-WT: (a) Imagem com marcadores internos (brancos)
e externos (pretos) (b) O complemento da imagem gradiente de (a) n´os d´a uma ideia do peso dos arcos. Os marcadores s˜ao selecionados ao redor das partes mais fracas do contorno (tons de cinza mais claros em b), com o intuito de evitar vazamentos do processo de segmenta¸c˜ao. (c) Resultado da segmenta¸c˜ao e (d-f) trˆes imagens do processo de inunda¸c˜ao da IFT-WT que resultam em (c). . . 27 3.5 Vis˜ao geral da etapa de segmenta¸c˜ao. . . 28 3.6 Binariza¸c˜ao da imagem: (a) Limiar fixo. Limiar vari´avel utilizando o valor
obtido pelo m´etodo de Otsu em (b) e (c). (d) Limiar vari´avel utilizando valor m´aximo entre o valor obtido pelo m´etodo de Otsu e o valor m´aximo da primeira linha da imagem. (e) Imagem (d) ap´os a execu¸c˜ao das opera¸c˜oes de abertura e fechamento (Se¸c˜ao 3.2.2). . . 29 3.7 Elementos estruturantes: (a) 4-conexo e (b) 8-conexo. . . 30 3.8 Imagem: (a) original e (b) o resultado da opera¸c˜ao de eros˜ao utilizando um
3.10 (a), (d) e (g) Imagens ap´os a execu¸c˜ao das etapas de binariza¸c˜ao e aber-tura e fechamento descritas nas Se¸c˜oes 3.2.1 e 3.2.2, respectivamente. (b) Localiza¸c˜ao da elipse em (a) sem restri¸c˜oes de busca e (c) com restri¸c˜ao de tamanho m´aximo da elipse. (e) Localiza¸c˜ao da elipse em (d) sem restri¸c˜ao e (f) com restri¸c˜ao de localiza¸c˜ao espacial do centro da elipse. (h) Locali-za¸c˜ao da elipse em (g) sem restri¸c˜ao e (i) com restri¸c˜ao de orienta¸c˜ao da
elipse. . . 33
3.11 Exemplo de otimiza¸c˜ao feita utilizando a IFT-Euclideana: (a) Primeiro, (b) Segundo e (c) Terceiro passos. . . 34
3.12 Segmenta¸c˜ao da face. (a) Sem deslocamento dos marcadores internos. (b) Com deslocamento vertical dos marcadores internos. . . 35
3.13 Etapas da segmenta¸c˜ao da face: imagem (a) original, (b) binarizada, (c) ap´os a execu¸c˜ao de opera¸c˜oes de abertura e fechamento, (d) localiza¸c˜ao da elipse, (e) marcadores internos e externos, (f) gradiente, (g) segmenta¸c˜ao da face utilizando IFT-WT, (h) resultado da aplica¸c˜ao da IFT-WT na imagem binarizada (c) com os marcadores da imagem (e), (i) fus˜ao de (g) e (h), (j) execu¸c˜ao de opera¸c˜oes de abertura e fechamento na m´ascara bin´aria (h), (k) imagem (a) equalizada e (l) imagem com a face extra´ıda. . . 36
3.14 Segmenta¸c˜ao da face (a) sem p´os-processamento e (b) com ajustes da etapa de p´os-processamento. . . 37
3.15 (a) Imagem facial segmentada. Regi˜oes isot´ermicas classificadas de acordo com diferentes tonalidades de cinza (temperaturas) em (b) e (c), e suas respectivas caracteriza¸c˜oes por esqueletoniza¸c˜ao em (d) e (e). Fus˜ao final dos diferentes esqueletos em (f). As imagens foram adaptadas de Akhloufi e Bendada [2]. . . 38
3.16 Classifica¸c˜ao das regi˜oes isot´ermicas: (a) supersegmenta¸c˜ao e (b) regi˜oes isot´ermicas classificadas de uma maneira mais coerente. . . 39
3.17 Elimina¸c˜ao de pontos isolados: (a) imagem original e (b) imagem ap´os a filtragem dos pontos isolados. . . 40
3.18 Imagens: (a) original, (b) com a face segmentada conforme descrito na Se¸c˜ao 3.2, (c) classifica¸c˜ao das regi˜oes isot´ermicas conforme apresentado na Se¸c˜ao 3.3 e (d)-(f) esqueletos gerados com diferentes valores para o limiar de esqueletoniza¸c˜ao. . . 41
3.19 Imagens do canal vis´ıvel e infravermelho da base de dados Notre Dame HumanID sob diferentes condi¸c˜oes de ilumina¸c˜ao e express˜ao facial. . . 42
3.20 Rela¸c˜ao entre o esqueleto e a saliˆencia. Extra´ıdo de [3]. . . 45
3.21 Rela¸c˜ao de adjacˆencia de umpixel P utilizada pelo m´etodo CN. . . 46
Resumo
Cap´ıtulo 1
Introdu¸
c˜
ao
O uso de sistemas computacionais vem aumentando nos ´ultimos anos, gra¸cas `a diminui¸c˜ao dos custos de aquisi¸c˜ao de tecnologia digital, desempenhando papel fundamental para o funcionamento de qualquer corpora¸c˜ao. Com isso, as empresas necessitam disponibilizar e manter informa¸c˜oes sobre suas opera¸c˜oes, possibilitando o acesso a v´arias localidades e a qualquer momento. Com o intuito de aumentar a seguran¸ca, ´e necess´ario que sejam aplicadas medidas de seguran¸ca para proteger e evitar que pessoas n˜ao autorizadas tenham acesso a informa¸c˜oes restritas, visto que os sistemas computacionais s˜ao, em sua maioria, suscept´ıveis a v´arios ataques e tamb´em controlar o acesso f´ısico de pessoas a locais que necessitam de seguran¸ca [5].
Os sistemas de seguran¸ca comumente utilizados s˜ao os baseados no conhecimento, tais como sistemas de autentica¸c˜ao por usu´ario e senha, os quais consistem em utilizar aquilo que o usu´ario possui, como cart˜ao, chave, documento, etc, e aquilo que o usu´ario conhece, como senha, palavra-chave ou nome da professora preferida, entre outros dados. Entretanto, estes mostram-se extremamente vulner´aveis a falhas, pois nada impede que um indiv´ıduo mal intencionado, de posse da senha de outrem, seja capaz de acessar informa¸c˜oes sigilosas ou mesmo em nome dessa outra pessoa. Al´em disso, a senha tamb´em exige a sua memoriza¸c˜ao, o que pode ser um processo complexo para o usu´ario visto que, atualmente, a grande maioria dos sistemas exige um n´umero m´ınimo de caracteres alfa-num´ericos com o intuito de aumentar a sua robustez.
para a aceita¸c˜ao dessa nova tecnologia foi a redu¸c˜ao do pre¸co dos equipamentos de auten-tica¸c˜ao baseados em biometria permitindo, assim, a sua incorpora¸c˜ao nos computadores atuais, tornando vi´avel a implanta¸c˜ao de tais sistemas.
Figura 1.1: Caracter´ısticas biom´etricas utilizadas em sistemas biom´etricos.
A impress˜ao digital, por exemplo, tem sido amplamente utilizada em v´arias aplica¸c˜oes pela sua rapidez e confiabilidade [7]. Entretanto, sujeira ou ressecamento da pele podem afetar o desempenho do sistema. Pessoas diab´eticas, por exemplo, tem relatado problemas na utiliza¸c˜ao de sistemas biom´etricos baseados em impress˜ao digital pelo desgaste ou ferimentos nos dedos, devido `as constantes aplica¸c˜oes dos aparelhos medidores do n´ıvel de insulina. Deforma¸c˜oes tempor´arias, tais como arranh˜oes e machucados, tamb´em afetam o desempenho do sistema.
Muito embora o reconhecimento da ´ıris seja um processo extremamente confi´avel e seguro [8], o mesmo pode causar desconforto ao usu´ario por ser um m´etodo bastante invasivo. Al´em disso, problemas de ilumina¸c˜ao refletida na ´ıris e oclus˜ao da mesma s˜ao comumente relatados.
entre outras [11].
Grande parte dos modelos computacionais de reconhecimento propostos at´e hoje ´e baseada no espectro vis´ıvel e apresenta desempenho satisfat´orio quando restrita a condi¸c˜oes favor´aveis de ilumina¸c˜ao, express˜ao e pose. No entanto, ao serem aplicados em ambientes cujo contexto ´e menos restrito, ou seja, onde h´a variabilidade de express˜oes faciais e ilu-mina¸c˜ao irregular, esses modelos computacionais apresentam resultados muito aqu´em do desej´avel. Outros fatores preponderantemente negativos no reconhecimento facial tradi-cional ´e que imperfei¸c˜oes na pele, cicatrizes e oclus˜oes na mesma, tais como ´oculos, barba e chap´eus, por exemplo, dificultam o seu reconhecimento autom´atico. Al´em disso, existe a dificuldade de se distinguir gˆemeos e indiv´ıduos parecidos, j´a que a pequena varia¸c˜ao pode n˜ao ser t˜ao facilmente detectada.
Para superar tais deficiˆencias, muitas pesquisas tˆem focado a explora¸c˜ao de t´ecnicas computacionais e modalidades de leituras alternativas. Um tipo de sensoriamento j´a estabelecido e que tem chamado aten¸c˜ao, consiste da obten¸c˜ao dos dados a partir das radia¸c˜oes emitidas pelos objetos no espectro t´ermico do infravermelho (infrared - IR) [12]. Uma vantagem em usar este tipo de sensoriamento, ao inv´es do espectro vis´ıvel, est´a no fato de que a luz no espectro t´ermico do IR ´e emitida pelo objeto em vez de ser refletida. As emiss˜oes t´ermicas da pele s˜ao intr´ınsecas e independem de ilumina¸c˜ao, conforme mostrado na Figura 1.2. Sendo assim, a energia IR pode ser percebida em qualquer condi¸c˜ao de luz, al´em de ser menos sens´ıvel `a fuma¸ca e poeira do que a luz vis´ıvel. Tamb´em ´e poss´ıvel distinguir gˆemeos, embora as imagens n˜ao sejam substancialmente diferentes [10] como mostrado na Figura 1.3. Al´em disso, as imagens infravermelhas possuem menor varia¸c˜ao quanto `a varia¸c˜ao de express˜ao facial, como demonstrado na Figura 1.4.
Diante das diferen¸cas existentes entre as modalidades, ´e importante conhecermos as principais propriedades biom´etricas de uma caracter´ıstica biom´etrica para saber qual delas ´e melhor dentro de um contexto:
1. Universalidade: todas as pessoas devem possu´ı-la;
2. Unicidade: as caracter´ısticas entre duas pessoas devem ser suficientemente distintas;
3. Permanˆencia: invariˆancia com rela¸c˜ao ao tempo;
4. Coletabilidade: a caracter´ıstica pode ser medida quantitativamente;
5. Desempenho: recursos necess´arios para se atingir taxa de reconhecimento satis-fat´orio;
6. Aceitabilidade: aceita¸c˜ao dos indiv´ıduos em utilizar a biometria em seu dia-a-dia;
Figura 1.2: Varia¸c˜ao de ilumina¸c˜ao com incidˆencia de ilumina¸c˜ao do sol `a direita (acima) e frontal (abaixo) da face nos espectros vis´ıvel (Visible), infravermelho pr´oximo (Short-wave infrared - SWIR), infravermelho m´edio (Medium-wave infrared - MWIR) e infravermelho distante (Long-wave infrared - LWIR).
Assim, fazendo-se uma an´alise comparativa das propriedades biom´etricas do reconheci-mento de face nas modalidades vis´ıvel e infravermelho, podemos notar que embora ambas apresentem n´ıveis pr´oximos, o reconhecimento de face utilizando imagens no espectro in-fravermelho poderia ser mais vantajoso, pois tem um desempenho melhor e alto grau de circunven¸c˜ao. Al´em disso, o reconhecimento de face apresenta uma alta universalidade. A Tabela 1.1 apresenta o n´ıvel de cada uma das propriedades com rela¸c˜ao `as t´ecnicas biom´etricas, ondeB indica baixo, M indica m´edio e A indica alto n´ıvel da propriedade.
Tabela 1.1: Propriedades biom´etricas do reconhecimento facial humano.
Modalidade 1 2 3 4 5 6 7
Vis´ıvel A B M A B A B
Infravermelho A A B A M A A
Figura 1.3: Imagem infravermelha de gˆemeos.
(a) (b) (c)
(d) (e) (f)
Figura 1.4: Compara¸c˜ao de imagens no espectro vis´ıvel e infravermelho com varia¸c˜oes de ilumina¸c˜ao e express˜ao facial: (a) e (b) imagens de face no espectro vis´ıvel com diferentes condi¸c˜oes de ilumina¸c˜ao, (c) diferentes express˜oes faciais e (d), (e) e (f) s˜ao as imagens no espectro infravermelho correspondentes a (a), (b) e (c).
Component Analysis - PCA) tamb´em tem sido amplamente utilizado com o intuito de diminuir a dimens˜ao do espa¸co amostral.
No entanto, imagens infravermelhas tamb´em possuem as suas limita¸c˜oes, sendo uma delas a altera¸c˜ao da temperatura facial ao longo do tempo. Problemas de sa´ude cotidi-anos como a gripe, por exemplo, ocasionam a febre, a qual altera a temperatura do corpo humano e, consequentemente, a imagem da face no espectro infravermelho poder´a ficar alterada. Problemas de oclus˜ao como o uso de ´oculos, barba e bigode tamb´em devem ser evitados. Al´em disso, as imagens infravermelhas podem afetar a privacidade, j´a que po-dem detectar se o indiv´ıduo utilizou substˆancias il´ıcitas. Trabalhos recentes tˆem utilizado caracter´ısticas fisiol´ogicas da face com o intuito de detectar a rede de vasos sangu´ıneos da mesma, os quais s˜ao respons´aveis pela geometria das regi˜oes com maior temperatura da face [14]. Para isso, ´e necess´ario uma cˆamera IR que consiga detectar as pequenas varia¸c˜oes de temperatura na face. Os autores argumentam que a geometria dada pelos vasos sangu´ıneos ´e ´unica em cada indiv´ıduo permitindo, ainda, identificar varia¸c˜oes de pose dos mesmos. Akhloufi e Bendada [2] recentemente propuseram uma metodologia para extra¸c˜ao das regi˜oes isot´ermicas da face com o intuito de extrair uma assinatura de cada indiv´ıduo, a qual tem obtido resultados bastante satisfat´orios no reconhecimento autom´atico atrav´es de imagens faciais IR. A utiliza¸c˜ao deste tipo de assinatura, ao con-tr´ario das t´ecnicas hol´ısticas tradicionais, permite uma maior invariˆancia dos tradicionais m´etodos de reconhecimento facial de imagens termais com rela¸c˜ao a altera¸c˜oes na tem-peratura corp´orea. O sistema proposto por Akhloufi e Bendada consiste, basicamente, em (i) segmentar a face, (ii) agrupar as regi˜oes isot´ermicas e, finalmente, (iii) definir a fronteira de tais regi˜oes atrav´es de esqueletoniza¸c˜ao.
Falc˜ao et al. [15] propˆos uma abordagem para o projeto de operadores de imagens baseados em grafos denominada Transformada Imagem Floresta (Image Foresting Trans-form - IFT), a qual tem sido amplamente utilizada em diversas situa¸c˜oes, tais como filtra-gens morfol´ogicas, segmenta¸c˜ao e descri¸c˜ao de imafiltra-gens, dentre outras. A ideia consiste, basicamente, em um processo de disputa entre n´os sementes, os quais tentar˜ao oferecer caminhos de custo ´otimo aos demais n´os do grafo com o objetivo de conquist´a-los. Nesse contexto, pixels s˜ao modelados como sendo n´os do grafo, e uma rela¸c˜ao de adjacˆencia precisa ser estabelecida. Geralmente s˜ao utilizadas a 4-vizinhan¸ca ou 8-vizinhan¸ca.
similar `as tradicionais M´aquinas de Vetores de Suporte [18], por exemplo, por´em muito mais r´apidos para o treinamento dos dados [17].
Cap´ıtulo 2
Revis˜
ao Bibliogr´
afica
2.1
Transformada Imagem Floresta
A IFT ´e uma ferramenta geral para modelar, implementar e avaliar operadores de pro-cessamento de imagens baseados em conexidade [15]. A IFT reduz problemas de proces-samento da imagem ao c´alculo de uma floresta de caminhos de custo ´otimo em um grafo derivado da mesma. O valor de um caminho ´e normalmente calculado por uma fun¸c˜ao de-pendente da aplica¸c˜ao e com base nas propriedades da imagem, tais como brilho, gradiente e posi¸c˜ao do pixel ao longo do caminho.
2.1.1
Defini¸
c˜
ao
Seja a imagem ˆI = (DI, I), onde DIˆ ⊂ Zn corresponde ao dom´ınio da imagem e I(t) associa um conjunto m de escalares Ib(t), b = 1,2, . . . , m, a cada pixel t ∈ DI. Por exemplo, a tripla (I1(t), I2(t), I3(t)) pode denotar os valores de vermelho, azul e verde de um pixel t no espa¸co de cor RGB. No caso de imagens tons de cinza, o sub´ındice b ´e suprimido e I(t) ´e adotado. Assim, uma imagem 2D pode ser vista como um grafo onde os n´os s˜ao ospixels (amostras) e as arestas s˜ao definidas por uma rela¸c˜ao de adjacˆencia
Aentre n´os (Figuras 2.1a-c mostram umpixel central e seus 4-vizinhos, 8-vizinhos e uma rela¸c˜ao de adjacˆencia mais complexa, respectivamente). Um caminho nesse grafo ´e uma seq¨uˆencia de amostras πsk =s1, s2, . . . , sk, onde (si, si+1) ∈A para 1≤ i≤ k−1. Um
(b)
(a) (c)
Figura 2.1: (a)-(c)Pixel central e seus 4-vizinhos, 8-vizinhos e uma rela¸c˜ao de adjacˆencia mais complexa, respectivamente.
suave quando, para qualquer amostrat, existe um caminho ´otimo πt o qual ´e trivial ou possui a forma πs· s, t, onde
• f(πs)≤f(πt); • πs ´e ´otimo, e
• para qualquer caminho ´otimoτs,f(τs· s, t) = f(πt).
fmax(s) =
0 ses ∈S, +∞ caso contr´ario
fmax(πs· s, t) = max{fmax(πs), d(s, t)}, (2.1) sendo que d(s, t) mede a dissimilaridade entre n´os adjacentes e fmax(πs) computa a dis-tˆancia m´axima entre amostras adjacentes em πs, quando πs n˜ao ´e um caminho trivial. Suponha, por exemplo, o grafo da Figura 2.2a, onde ospixels s˜ao os n´os e as arestas s˜ao formadas pela 4-vizinhan¸ca (Figura 2.1a). Note que existem trˆes sementes (n´os de maior tamanho). Se utilizarmos a fun¸c˜ao fmax com d(s, t) =I(t), onde I(t) denota o brilho do pixel t, a IFT encontra uma floresta de caminhos ´otimos com ra´ızes neste conjunto de sementes, como pode ser visualizado na Figura 2.2b. Neste caso, a IFT tenta minimizar os valores dos caminhos, os quais s˜ao dados pelo valor m´aximo de brilho ao longo dos mesmos (fmax).
222 222
2222 1111111111 2222222222 4444444444 4444444444 2222222222 1111111111 2222222222
1 11 1 11 1 11
1 0000000000 1111111111 3333333333 3333333333 1111111111 0000000000 1111111111
222 222
2222 1111111111 2222222222 4444444444 4444444444 2222222222 1111111111 2222222222
666 666
6666 6666666666 6666666666 6666666666 6666666666 6666666666 6666666666 6666666666
666 666
6666 6666666666 6666666666 6666666666 6666666666 6666666666 6666666666 6666666666
666 666
6666 7777777777 8888888888 9999999999 0000000000 9999999999 8888888888 7777777777
(a) (b)
Figura 2.2: (a) Um grafo de uma imagem 2D em tons de cinza com vizinhan¸ca 4. Os n´umeros correspondem `as intensidades I(s) dos pixels e os pontos maiores denotam as trˆes sementes. (b) Uma floresta de caminhos ´otimos usandofmax com d(s, t) = I(t). As setas em (b) apontam para o predecessor no caminho ´otimo.
2.1.2
Algoritmo da IFT
Um mapa de predecessores P ´e uma fun¸c˜ao que atribui para cada pixel s da imagem algum outropixel ou uma marca distinta nilindicando a ausˆencia de predecessor. Neste ´
ultimo caso,s´e dito serraiz do mapa. ´E dito tamb´em queP∗(s) denota o caminho ´otimo
da raizR(s) at´es. Uma floresta pode ser representada em mem´oria atrav´es de ummapa de predecessores que n˜ao cont´em ciclos. O algoritmo da IFT retorna, ent˜ao, um mapa de predecessores P representando a floresta de caminhos ´otimos, um mapa de valores de caminho V e um mapa de ra´ızes R, o qual ´e utilizado para acessar em tempo constante a raiz em S de cada pixel da floresta. O mapa V armazena, para cada pixel, o valor do caminho ´otimo que o alcan¸ca a partir do conjuntoS de sementes mencionado.
O algoritmo da IFT ´e essencialmente o procedimento de Dijkstra para o c´alculo de caminhos de valor ´otimo a partir de uma ´unica fonte [19, 20], ligeiramente modificado para permitir m´ultiplas fontes e fun¸c˜oes de valor de caminho mais gen´ericas (fun¸c˜oes suaves).
Algoritmo 1 – IFT
Entrada: Uma imagem, uma rela¸c˜ao de adjacˆencia A, um conjunto de n´os sementesS e
uma fun¸c˜ao de valor de caminho suave f.
Sa´ıda: Mapa de valores de caminhosV, mapa de predecessoresP e mapa de ra´ızesR
Auxiliares: Fila de prioridadesQinicialmente vazia e vari´avel cst.
1. Para cada n´o s do grafo derivado da imagem,Fa¸ca 2. P(s)←nil, R(s)←s eV(s)←+∞.
3. Para cada n´o s∈S, Fa¸ca 4. V(s)←0.
5. Insiras em Q.
6. Enquanto Q n˜ao for vazia,Fa¸ca
7. Remova s deQ tal queV(s)´e m´ınimo.
8. Para cada n´o t∈A(s) tal que V(t)> V(s), Fa¸ca 9. cst←f(V(s)· s, t).
10. Se cst < V(t), Ent˜ao
11. Se V(t)= +∞ for finito, Ent˜ao
12. Remova t deQ.
13. P(t)←s, R(t)←R(s) eV(t)←cst.
14. Insirat em Q.
15. Retorne {V, P, R}
um caminho ´otimo ´e selecionado, o qual corresponde ao caminho de menor valor entre os n´os que atingem a fronteira da floresta e os seus v´ertices adjacentes s˜ao avaliados (Linhas 8−14). A fronteira pode ser ampliada pela aquisi¸c˜ao de novas conex˜oes ou melhores rotas podem ser encontradas para pixels de fronteira j´a existentes. Na Linha 9 ´e calculado o custo cst de uma nova poss´ıvel rota, o qual ´e comparado com o valor do caminho atual (Linha 10). Os mapas V, P e R devem ser atualizados de forma a refletir o melhor caminho encontrado (Linha 13). A condi¸c˜aoV(t) > V(s) na Linha 8 ´e uma otimiza¸c˜ao que explora o fato de o valor ao longo do caminho ´otimo n˜ao ser decrescente. Assim sendo, quando temos v´arias sementes emS, estas ser˜ao propagadas ao mesmo tempo e teremos um processo competitivo. Cada semente ir´a definir umazona de influˆencia composta por pixels conexos a ela por caminhos mais “baratos” do que os fornecidos por qualquer outra semente em S.
de um processamento local aplicado aos valores de custo de caminhos,mapa de predeces-sores e mapa de ra´ızes, em tempo proporcional ao n´umero depixels. Assim, a IFT unifica e estende v´arias t´ecnicas de an´alise de imagens que, muito embora sejam baseadas em conceitos similares, s˜ao normalmente apresentadas como m´etodos n˜ao relacionados [15]. A pr´oxima se¸c˜ao introduz o classificador Floresta de Caminhos ´Otimos.
2.2
Classificadores baseados em Floresta de
Cami-nhos ´
Otimos
Esta se¸c˜ao tem por objetivo apresentar os classificadores baseados em floresta de caminhos ´otimos com aprendizado supervisionado e n˜ao-supervisionado. Tais classificadores mode-lam o problema de reconhecimento de padr˜oes como um problema de floresta de caminhos ´otimos em um grafo definido no espa¸co de atributos, onde os n´os s˜ao as amostras, as quais s˜ao representadas pelos seus respectivos vetores de atributos, e os arcos s˜ao definidos de acordo com uma rela¸c˜ao de adjacˆencia pr´e-estabelecida. Tanto os n´os quanto os arcos podem ser ponderados, e diversas fun¸c˜oes de custo podem ser empregadas com o intuito de particionar o grafo em ´arvores de caminhos ´otimos, as quais s˜ao enraizadas pelos seus respectivos prot´otipos (sementes) na fase de treinamento. O r´otulo de uma amostra a ser classificada ´e o mesmo do prot´otipo mais fortemente conexo a ela.
2.2.1
Classifica¸
c˜
ao n˜
ao-supervisionada
A presente se¸c˜ao tem por objetivo apresentar o m´etodo de classifica¸c˜ao n˜ao-supervisionado baseado em floresta de caminhos ´otimos, proposto inicialmente por Rocha et al. [24], o qual foi desenvolvido com o intuito de identificar clusters como sendo as ´arvores de uma floresta de caminhos ´otimos.
Fundamenta¸c˜ao te´orica
SejaZ uma base de dados tal que, para toda amostras∈Z, existe um vetor de atributos
v(s). Seja d(s, t) a distˆancia entres e t no espa¸co de atributos. O problema fundamental na ´area de agrupamento de dados ´e identificar grupos de amostras em Z, sendo que amostras de um mesmo grupo deveriam representar algum n´ıvel de semelhan¸ca de acordo com algum significado semˆantico.
´
E dito que uma amostrat´e adjacente a uma amostras (isto ´e,t ∈A(s) ou (s, t)∈A) quando alguma rela¸c˜ao de adjacˆencia ´e satisfeita. Por exemplo,
t∈A1(s) se d(s, t)≤df ou (2.2)
t∈A2(s) se t´e k-vizinho mais pr´oximo de s no espaco de atributos, (2.3) onde df e k > 1 s˜ao parˆametros do tipo real e inteiro, respectivamente. Assim sendo, o par (Z, Ak) define ent˜ao um grafok-nn, onde Ak ´e uma rela¸c˜ao de adjacˆencia do tipoA2 e, posteriormente, do tipoA3 (Equa¸c˜ao 2.5). Os arcos s˜ao ponderados pord(s, t) e os n´os
s∈Z s˜ao ponderados por um valor de densidadeρ(s), dado por
ρ(s) = √ 1 2πσ2|A(s)|
∀t∈A(s) exp
−d2(s, t) 2σ2
, (2.4)
ondeσ = df
3 edf ´e o comprimento do maior arco em (Z, Ak). A escolha deste parˆametro considera todos os n´os para o c´alculo da densidade, assumindo que uma fun¸c˜ao gaussiana cobre a grande maioria das amostras comd(s, t)∈[0,3σ].
Rela¸c˜oes de adjacˆencia sim´etricas (Equa¸c˜ao 3.5 por exemplo) resultam em rela¸c˜oes de conectividade sim´etricas, entretanto A2 na Equa¸c˜ao 2.3 ´e uma rela¸c˜ao de adjacˆencia as-sim´etrica. Dado que um m´aximo da fdp pode ser um subconjunto de amostras adjacentes com um mesmo valor de densidade, existe a necessidade da garantia da conectividade entre qualquer par de amostras naquele m´aximo. Assim, qualquer amostra deste con-junto de m´aximos pode ser representativa e alcan¸car outras amostras desse m´aximo e suas respectivas zonas de influˆencia por um caminho ´otimo. Isto requer uma modifica¸c˜ao na rela¸c˜ao de adjacˆenciaA2, para que a mesma seja sim´etrica nos platˆos deρcom o intuito de calcular os clusters:
se t ∈ A2(s),
s ∈ A/ 2(t) e
ρ(s) = ρ(t), ent˜ao
Se tiv´essemos uma amostra por m´aximo, formando um conjunto S (pontos grandes na Figura 2.3a), ent˜ao a maximiza¸c˜ao da fun¸c˜aof1 resolveria o problema, ou seja:
f1(t) =
ρ(t) se t∈S
−∞ caso contr´ario
f1(πs· s, t) = min{f1(πs), ρ(t)}. (2.6) A fun¸c˜aof1 possui um termo de inicializa¸c˜ao e um termo de propaga¸c˜ao, o qual associa a cada caminhoπt o menor valor de densidade ao longo do mesmo. Toda amostra t ∈S define um caminho trivial t devido ao fato de n˜ao ser poss´ıvel alcan¸car t atrav´es de outro m´aximo da fdp sem passar atrav´es das amostras com valores de densidade menores queρ(t) (Figura 2.3a). As amostras restantes iniciam com caminhos triviais de valor−∞ (Figura 2.3b), assim qualquer caminho oriundo deS possuir´a valor maior. Considerando todos os caminhos poss´ıveis de S a toda amostra s /∈ S, o caminho ´otimo P∗(s) ser´a
aquele cujo menor valor de densidade seja m´aximo.
1 2 2 1 3 3 3 5 5 5 (a) P(t)* 5 3 5 1 2 2 3 3 3 5 5 t P(t) R(t) 1 (b) (c)
Figura 2.3: (a) Grafo cujos pesos dos n´os s˜ao seus valores de fdp ρ(t). Existem dois m´aximos com valores 3 e 5, respectivamente. Os pontos grandes indicam o conjunto de ra´ızes S. (b) Valores de caminho triviais f1(t) para cada amostra t. (c) Floresta de caminhos ´otimos P para f1 e os valores de caminho finais V(t). O caminho ´otimo P∗(t) (linha tracejada) pode ser obtido percorrendo os predecessores P(t) at´e a raiz R(t) para cada amostrat.
Visto que n˜ao temos os m´aximos da fdp, a fun¸c˜ao de conectividade precisa ser escolhida de tal forma que seus valores iniciais h definam os m´aximos relevantes da fdp. Para
h(t) = ρ(t)−δ, (2.7)
δ = min
(s,t)∈A|ρ(t)=ρ(s)|ρ(t)−ρ(s)|,
ent˜ao todos os m´aximos deρ ser˜ao preservados. Para altos valores de δ os domos da fdp com altura menor queδ n˜ao definir˜ao zonas de influˆencia.
´
E desejado tamb´em evitar a divis˜ao da zona de influˆencia de um m´aximo em m´ultiplas zonas de influˆencia, cada uma enraizada por uma amostra naquele m´aximo. Dado que o algoritmo da IFT primeiro identifica os m´aximos da fdp, antes de propagar suas zonas de influˆencia, podemos modific´a-lo de tal forma a detectar uma primeira amostrat para cada m´aximo, definindo o conjuntoS em tempo real (on-the-fly). Ent˜ao foi trocadoh(t) por ρ(t) e esta amostra ir´a conquistar as amostras restantes do mesmo m´aximo. Assim, a fun¸c˜ao de conectividadef2 final ser´a dada por
f2(t) =
ρ(t) set ∈S h(t) caso contr´ario
f2(πs· s, t) = min{f(πs), ρ(t)}. (2.8) O problema agora direciona-se em encontrar o melhor valor dek para definir Ak. A solu¸c˜ao proposta por Rocha et al. [24] para encontrar o melhork∗ considera o corte m´ınimo
no grafo provida pelos resultados do processo de clustering parak∗
∈[1, kmax], de acordo com a medida C(k) sugerida por Shi e Malik [25]:
C(k) = c
i=1
W
i
Wi+Wi
, (2.9)
Wi =
∀(s,t)∈A|L(s)=L(t)=i 1
d(s, t), (2.10)
Wi =
∀(s,t)∈A|L(s)=i,L(t)=i 1
d(s, t), (2.11)
ondeL(t) ´e o rotulo da amostrat,W
´
unico cluster. O corte m´ınimo parakmax = 100 identifica quatro clusters com o melhor
k∗ = 37 (Figura 2.4b), e limitando a busca para k
max = 30, o corte m´ınimo identifica cinco clusters com melhork∗ = 29 (Figura 2.4c).
(a)
(b) (c)
Figura 2.4: (a) Espa¸co de atributos com diferentes concentra¸c˜oes de amostras para cada cluster. ´E poss´ıvel identificar diferentes quantidades de clusters dependendo do valor de
k escolhido. Solu¸c˜oes interessantes s˜ao (b) quatro e (c) cinco clusters.
Segue abaixo o algoritmo do classificador baseado em floresta de caminhos ´otimos com aprendizado n˜ao-supervisionado.
Algoritmo 2 – Agrupamento de Dados por Floresta de Caminhos ´Otimos
Entrada: Grafo (Z, Ak∗) e fun¸c˜ao ρ.
Sa´ıda: Mapa de r´otulosL, mapa de valores de caminhoV, mapa de predecessoresP.
Auxiliares: Fila de prioridade Q, vari´aveistmp e l←1.
1. Para todo s∈Z, Fa¸ca P(s)←nil,V(s)←ρ(s)−δ, insira s emQ.
2. Enquanto Q´e n˜ao vazia, Fa¸ca
3. Remova de Q uma amostras tal queV(s) ´e m´aximo.
4. Se P(s) =nil,Ent˜ao
5. L(s)←l, l←l+ 1, e V(s)←ρ(s).
6. Para cada t∈Ak∗(s) e V(t)< V(s), Fa¸ca
7. tmp←min{V(s), ρ(t)}.
8. Se tmp > V(t), Ent˜ao
9. L(t)←L(s), P(t)←s, V(t)←tmp.
O Algoritmo 2 identifica uma raiz em cada m´aximo da fdp (P(s) = nil na Linha 4 implica que s ∈ S), associa um r´otulo distinto a cada raiz na Linha 5, e calcula a zona de influˆencia (cluster) de cada raiz como sendo uma ´arvore de caminhos ´otimos em
P, tal que os n´os de cada ´arvore recebem o mesmo r´otulo que a sua raiz no mapa L
(Linha 9). O algoritmo tamb´em retorna o mapa de valores de caminhos ´otimos V e o mapa de predecessores P, sendo tamb´em mais robusto que o tradicional algoritmo de mean-shift [26], pois n˜ao depende de gradientes da fdp, utiliza um grafo k-nn e associa um r´otulo para cada m´aximo, mesmo quando o m´aximo ´e composto por um componente conexo em (Z, Ak∗).
Extens˜ao para grandes bases de dados
O Algoritmo 2 pode tornar-se proibitivo para grandes bases de dados, principalmente em aplica¸c˜oes que envolvem imagens 3D, pois a estima¸c˜ao do valor do melhor k requer o seu c´alculo in´umeras vezes, aumentando ainda mais a complexidade do algoritmo. Cap-pabianco et al. [27] propˆos uma extens˜ao do algoritmo de classifica¸c˜ao n˜ao-supervisionado baseado em OPF para aplica¸c˜oes que possuem uma grande base de dados como, por exem-plo, segmenta¸c˜ao de substˆancias branca e cinzenta do c´erebro humano. Esta extens˜ao ´e baseada em uma sele¸c˜ao aleat´oria de um conjuntoZ ⊂Z. SejaV eLos mapas ´otimos do
Algoritmo 2 calculados no melhor grafok-nn (Z, A
k∗). Uma amostrat ∈Z\Z pode ser
classificada como pertencente a um dos clusters simplesmente identificando qual raiz ofe-rece o caminho ´otimo como se esta amostra pertencesse `a floresta original. Considerando os k-vizinhos mais pr´oximos de t em Z, podemos utilizar a Equa¸c˜ao 2.4 para computar
ρ(t), avaliar os caminhos ´otimosπs· s, t e selecionar o que satisfaz
V(t) = max
∀(s,t)∈Ak∗{
min{V(s), ρ(t)}}. (2.12) Sejas∗ ∈Z a amostra que satisfaz a Equa¸c˜ao 2.12. O processo de classifica¸c˜ao
simples-mente associa L(s∗) como sendo o cluster de t.
2.2.2
Classifica¸
c˜
ao supervisionada
ca-minhos ´otimos, sendo que a uni˜ao das mesmas nos remete a uma floresta de caca-minhos ´otimos. Esta abordagem apresenta v´arios benef´ıcios com rela¸c˜ao a outros m´etodos de classifica¸c˜ao de padr˜oes supervisionados: (i) ´e livre de parˆametros, (ii) possui tratamento nativo de problemas multiclasses e (iii) n˜ao faz alus˜ao sobre forma e/ou separabilidade das classes.
O algoritmo OPF com grafo completo foi primeiramente apresentado por Papa et al. [17] e tem sido amplamente utilizado em diversas aplica¸c˜oes. As pr´oximas se¸c˜oes ir˜ao discutir a fundamenta¸c˜ao te´orica e os algoritmos de treinamento e classifica¸c˜ao do algoritmo baseado em OPF utilizando grafo completo.
Fundamenta¸c˜ao te´orica
SejaZ agora uma base de dadosλ-rotulada eZ1 eZ3 os conjuntos de treinamento e teste, respectivamente, com |Z1| e |Z3| amostras, as quais podem ser pixels/voxels/contornos tais queZ =Z1∪Z3. Seja λ(s) uma fun¸c˜ao que associa o r´otulo corretoi, i= 1,2, . . . , c da classe i a qualquer amostras∈Z1∪Z3.
Seja S ∈ Z1 um conjunto de prot´otipos de todas as classes (isto ´e, amostras que melhor representam as classes). Sejav um algoritmo que extrain atributos (cor, forma e propriedades de textura) de qualquer amostras ∈Z1∪Z3, e retorna um vetor de atributos
v(s)∈ ℜn. A distˆanciad(s, t) entre duas amostras,s e t, ´e dada pela distˆancia entre seus vetores de atributosv(s) ev(t).
Nosso problema consiste em usar S, (v, d) e Z1 para projetar um classificador otimal, o qual pode predizer o r´otulo corretoλ(s) de qualquer amostras ∈Z3. Assim sendo, foi proposto um classificador que cria uma parti¸c˜ao discreta otimal, a qual ´e uma floresta de caminhos ´otimos computada emℜnpelo algoritmo da Transformada Imagem Floresta [15]. Seja (Z1, A) um grafo completo cujos n´os s˜ao as amostras em Z1, onde qualquer par de amostras define um arco emA (isto ´e,A =Z1×Z1) (Figura 2.5a). Note que os arcos n˜ao precisam ser armazenados e o grafo n˜ao precisa ser explicitamente representado.
O algoritmo baseado em OPF pode ser utilizado com qualquer fun¸c˜ao de custo suave que pode agrupar amostras com propriedades similares [15]. Na vers˜ao OPF com grafo completo a fun¸c˜ao de custo abordada foi afmax (Equa¸c˜ao 2.1). O algoritmo baseado em OPF associa um caminho ´otimoP∗(s) deS a toda amostras∈Z
1, formando uma floresta de caminhos ´otimosP (uma fun¸c˜ao sem ciclos, a qual associa a todos∈Z1seu predecessor
P(s) em P∗(s), ou uma marcanil quando s ∈ S, como mostrado na Figura 2.5d). Seja
R(s)∈S a raiz deP∗(s) a qual pode ser alcan¸cada porP(s). O algoritmo computa, para
0.2 0.4 0.8 0.5 1.0 0.9 0.5 0.3 0.7 0.6 1.0 0.7 0.7 0.8 0.8 0.2 0.4 0.5 0.3 0.5 (a) (b) 0.2 0.4 0.5 0.3 0.5 (0.0,1) (0.4,1) (0.5,1) (0.0,2) (0.3,2) (0.5,2) (c) (d) (0.0,1) (0.4,1) (0.0,2) (0.3,2) (0.5,2) 0.5 0.4 0.8 0.9 0.6 (0.5,1) 0.3 (?,?) (e) (f)
Algoritmo 3 –Classificador Supervisionado baseado em Floresta de
Cami-nhos ´Otimos usando grafo completo
Entrada: Um conjunto de treinamento Z1 λ-rotulado, prot´otipos S ⊂Z1 e o par (v, d)
para vetor de atributos e c´alculo das distˆancias.
Sa´ıda: Floresta de caminhos ´otimos P, mapa de valores de custo de caminhos V e
mapa de r´otulosL
Auxiliares: Fila de prioridadesQ, e vari´avelcst.
1. Para todo s∈Z1,Fa¸ca P(s)←nil e V(s)←+∞.
2. Para todo s∈S, Fa¸ca V(s)←0, P(s)←nil, L(s) =λ(s) e insira sem Q.
3. Enquanto Q´e n˜ao vazia, Fa¸ca
4. Remova de Q uma amostras tal queV(s) ´e m´ınimo.
5. Para cada t∈Z1 tal ques=t e V(t)> V(s), Fa¸ca 6. Calcule cst←max{V(s), d(s, t)}.
7. Se cst < V(t), Ent˜ao
8. Se V(t)= +∞,Ent˜aoremova t de Q.
9. P(t)←s, L(t)←L(s) eV(t)←cst.
10. Insirat em Q.
As linhas 1–2 inicializam os mapas e inserem prot´otipos emQ. O la¸co principal calcula um caminho ´otimo de S para cada amostra s ∈ Z1 em uma ordem n˜ao decrescente de custos (linhas 3–10). A cada itera¸c˜ao um caminho de custo de ´otimo V(s) ´e obtido em
P (linha 4). Empates s˜ao resolvidos em Q utilizando a pol´ıtica FIFO (first-in-first-out), ou seja, quando dois caminhos atingem uma determinada amostra s com o mesmo custo m´ınimo,s´e associado ao primeiro caminho que o atingiu. O restante das linhas avalia se o caminho que atinge uma amostra adjacentet atrav´es des´e mais barato que o caminho que termina emt. Caso positivo, atualizaQ, P(t),L(t) e V(t). No final do algoritmo,V
armazena o valor do custo do caminho ´otimo deS a cada amostra s∈Z1 de acordo com
fmax.
Treinamento
A fase de treinamento do classificador baseado em floresta de caminhos ´otimos usando o grafo completo consiste, basicamente, em encontrar o conjunto S de prot´otipos, ou seja, os elementos mais representativos de cada classe. V´arias heur´ısticas poderiam ser adotadas como, por exemplo, uma escolha aleat´oria de prot´otipos. Entretanto, tal escolha pode prejudicar o desempenho do classificador, tornando-o inst´avel e com um alto grau de sensibilidade com rela¸c˜ao aos prot´otipos escolhidos. Desejamos, assim, estimar prot´otipos nas regi˜oes de sobreposi¸c˜ao de amostras e nas fronteiras entre as classes, visto que s˜ao regi˜oes muito suscept´ıveis a erros de classifica¸c˜ao.
Computando uma MST no grafo completo (Z1, A), foi obtido um grafo conexo ac´ıclico cujos n´os s˜ao todas as amostras em Z1, e os arcos s˜ao n˜ao direcionados e ponderados (Figura 2.5b). Seus pesos s˜ao dados pela distˆancia d entre os vetores de atributos de amostras adjacentes. Esta ´arvore de espalhamento ´e ´otima no sentido em que a soma dos pesos de seus arcos ´e m´ınima se comparada a outras ´arvores de espalhamento no grafo completo. Os prot´otipos a serem escolhidos s˜ao os elementos conectados na MST com di-ferentes r´otulos emZ1, isto ´e, elementos mais pr´oximos de classes diferentes (Figura 2.5c). Removendo-se os arcos entre classes diferentes, tais amostras adjacentes tornam-se pro-t´otipos em S e o Algoritmo 3 pode computar uma floresta de caminhos ´otimos em Z1 (Figura 2.5d). Note que uma dada classe pode ser representada por m´ultiplos prot´otipos (isto ´e, ´arvores de caminhos ´otimos) e deve existir pelo menos um prot´otipo por classe.
O Algoritmo 3 pode computar uma floresta de caminhos ´otimos com erro zero de clas-sifica¸c˜ao emZ1, desde que a fun¸c˜ao fmax seja modificada. A id´eia consiste, basicamente, em ponderar os arcos entre amostras de diferentes classes com um valor muito alto, im-possibilitando assim que prot´otipos de uma classe conquistem elementos de outras classes . Desta forma, a fun¸c˜ao de valor de caminhofmax poderia ser escrita da seguinte forma:
fmax(t) =
0 se t∈ S
+∞ caso contr´ario
fmax(πs· s, t) =
+∞ se λ(t)=λ(s)
Classifica¸c˜ao
Para qualquer amostra t ∈ Z3, foram considerados todos os arcos conectando t com amostrass ∈Z1, tornando t como se fosse parte do grafo original (ver Figura 2.5e, onde a amostra t ´e representada pelo triˆangulo no grafo). Considerando todos os poss´ıveis caminhos entre S e t, ´e desejado encontrar o caminho ´otimo P∗(t) de S at´e t com a
classeλ(R(t)) de seu prot´otipoR(t)∈S mais fortemente conexo. Este caminho pode ser identificado incrementalmente, avaliando o valor do custo ´otimoV(t) como
V(t) = min{max{V(s), d(s, t)}}, ∀s∈Z1. (2.14) Sejas∗ ∈Z
1 o n´o que satisfaz a equa¸c˜ao acima (isto ´e, o predecessorP(t) no caminho ´otimoP∗(t)). Dado queL(s∗) =λ(R(t)), a classifica¸c˜ao simplesmente associaL(s∗) como
a classe det (Figura 2.5f). Um erro ocorre quandoL(s∗)=λ(t).
Cap´ıtulo 3
Abordagem proposta
Uma imagem infravermelha da face cont´em informa¸c˜oes t´ermicas da mesma, a qual apre-senta regi˜oes com diferentes temperaturas (Figura 3.1). Este mapa t´ermico est´a rela-cionado com as redes de vasos sangu´ıneos que produzem uma impress˜ao facial termal ´
unica para cada indiv´ıduo.
Figura 3.1: Imagem facial capturada no espectro infravermelho.
Em imagens infravermelhas, algumas transforma¸c˜oes da face (rota¸c˜ao, escala e transla¸c˜ao) e varia¸c˜oes dependentes de sensor (por exemplo, calibra¸c˜ao de controle de ganho au-tom´atico e sensor de pontos ruins) poderiam prejudicar o desempenho no reconheci-mento [10]. Este impacto pode ser minimizado pela normaliza¸c˜ao das imagens, a qual contempla alguns dos seguintes passos:
2. Equaliza¸c˜ao de histograma para tentar minimizar a varia¸c˜ao da imagem devido a diferen¸cas de ilumina¸c˜ao;
3. Eliminar partes da imagem que n˜ao correspondem a face e
4. Normaliza¸c˜ao geom´etrica, de tal forma que a imagem fique com o mesmo alinha-mento, posi¸c˜ao e orienta¸c˜ao.
A rede de vasos sangu´ıneos presente em nossa face delimita a mesma em regi˜oes com temperaturas homogˆeneas (regi˜oes isot´ermicas), as quais permitem caracterizar diferentes indiv´ıduos. Entretanto, para a correta extra¸c˜ao e constru¸c˜ao desta impress˜ao facial, s˜ao necess´arias algumas etapas, conforme descrito na Figura 3.2. O resultado final obtido ´e uma imagem que simula a rede de vasculariza¸c˜ao da face humana.
Figura 3.2: Etapas necess´arias para a obten¸c˜ao da impress˜ao facial.
As pr´oximas se¸c˜oes tratam de explicar como ser˜ao realizadas cada uma das etapas acima utilizando os algoritmos da IFT e OPF.
3.1
Pr´
e-processamento
O pr´e-processamento das imagens tem como finalidade efetuar ajustes nas mesmas de forma a facilitar a sua utiliza¸c˜ao no m´etodo proposto. As imagens IR possuem caracte-r´ısticas que poderiam ser exploradas em um sistema biom´etrico, por´em tais informa¸c˜oes n˜ao s˜ao t˜ao aparentes, sendo necess´ario executar o ajuste de brilho e contraste. O ajuste de intensidade de uma imagem I ´e feita mapeando os valores de intensidade da imagem
I para novos valores tal que 1% dos dados s˜ao saturados nas baixas e altas intensidades deI aumentando, assim, o contraste da imagem. A Figura 3.3 ilustra a imagem antes e ap´os a aplica¸c˜ao do pr´e-processamento.
(a) (b)
Figura 3.3: Imagem (a) original e (b) pr´e-processada ap´os ajuste de brilho e contraste.
3.2
Segmenta¸
c˜
ao da face
A segmenta¸c˜ao de imagens consiste, basicamente, em particionar uma imagem em regi˜oes que compartilham certas caracter´ısticas com o intuito de localizar objetos e formas, ou at´e mesmo em obter uma vers˜ao simplificada da mesma para posterior an´alise. Dentre as t´ecnicas mais utilizadas para segmenta¸c˜ao, podemos citar a Transformada de Water-shed [29] (WT - Watershed Transform), a qual introduz a ideia de modelar a imagem como um mapa topogr´afico, onde regi˜oes com tons de cinza homogˆeneos formam bacias de capta¸c˜ao, sendo que o encontro delas define as linhas divis´orias de ´aguas (watersheds). Falc˜ao et al. [15] propuseram a Transformada deWatershed baseada na IFT, isto ´e, a IFT-WT, na qual um processo de competi¸c˜ao entre sementes (marcadores) escolhidas manualmente ou automaticamente simulam o processo de inunda¸c˜ao das bacias de capta-¸c˜ao da WT atrav´es de “frentes de onda” que denotam a regi˜ao de influˆencia das sementes. Quando duas ou mais regi˜oes se encontram, as linhas divisoras de ´aguas s˜ao formadas. A ideia consiste em selecionar um conjunto de marcadoresS do objeto de interesse So e do fundo Sf, tal que S = So
Sf, e executar o algoritmo da IFT (Algoritmo 1) com a fun¸c˜ao de conectividade fmax (Equa¸c˜ao 2.1) modificada para:
f1(s) =
H(s) se s ∈S, +∞ caso contr´ario
fmax(πs· s, t) = max{fmax(πs), d(s, t)}, (3.1) onde 0≤H(s) <∞´e um valor de inicializa¸c˜ao que corresponde ao brilho dopixel t, ou seja,I(t), sendo d(s, t) =|I(s)−I(t)|. A Figura 3.4 ilustra este processo.
(a) (b)
(c) (d)
(e) (f)
Figura 3.4: Segmenta¸c˜ao por IFT-WT: (a) Imagem com marcadores internos (brancos) e externos (pretos) (b) O complemento da imagem gradiente de (a) n´os d´a uma ideia do peso dos arcos. Os marcadores s˜ao selecionados ao redor das partes mais fracas do contorno (tons de cinza mais claros em b), com o intuito de evitar vazamentos do processo de segmenta¸c˜ao. (c) Resultado da segmenta¸c˜ao e (d-f) trˆes imagens do processo de inunda¸c˜ao da IFT-WT que resultam em (c).
na fronteira do objeto de interesse (Figura 3.4c). O objeto ´e definido pela floresta de caminhos ´otimos enraizada nospixels do conjunto de marcadores internos. Trˆes imagens desse processo s˜ao apresentadas nas Figuras 3.4d-3.4f.
No presente trabalho, a etapa de segmenta¸c˜ao foi subdividida em m´odulos com o in-tuito de obtermos o melhor conjunto de marcadores internos e externos, conforme ilustrado na Figura 3.5. Embora a face e o fundo possuam tonalidades de cinza bastante distintas em imagens infravermelhas (Figura 3.3b), a grande maioria delas ´e composta n˜ao apenas pela face, mas tamb´em pelo pesco¸co e ombros, os quais tamb´em possuempixels com tons de cinza muito pr´oximos aos da face propriamente dita. Assim, essa subdivis˜ao da etapa de segmenta¸c˜ao objetiva a extra¸c˜ao somente da face, a qual ser´a utilizada como entrada para o processo de classifica¸c˜ao das regi˜oes isot´ermicas, conforme ilustrado na Figura 3.2.
Figura 3.5: Vis˜ao geral da etapa de segmenta¸c˜ao.
As pr´oximas etapas tratam de descrever cada um dos m´odulos separadamente.
3.2.1
Binariza¸
c˜
ao da imagem
O m´etodo proposto pelo presente projeto de pesquisa consiste em v´arias etapas que per-mitem segmentar a face automaticamente. Para tal, primeiramente foi definido um limiar para realizar a binariza¸c˜ao da imagem. A primeira abordagem testada foi a utiliza¸c˜ao de um limiar fixo, o qual n˜ao obteve bons resultados, conforme ilustra a Figura 3.6a.
a m´edia, mediana e o valor m´aximo da primeira linha da imagem. Como esta ´ultima op¸c˜ao foi a que obteve melhores resultados (Figura 3.6d), o valor do limiar foi ent˜ao definido pelo valor m´aximo entre o valor dado pelo m´etodo de Otsu e o valor m´aximo da primeira linha da mesma. A ideia de utilizar o valor m´aximo da primeira linha da imagem original reside no fato da necessidade de termos uma estimativa do valor do fundo da imagem. Dado que a obten¸c˜ao de imagens faciais termais em ambiente controlado permite que os tons de cinza dospixels correspondentes ao fundo da imagem n˜ao variem muito. Assim, uma busca na primeira linha da imagem j´a ´e o suficiente para termos um valor de limiar aproximado que permita a diferencia¸c˜ao do fundo e do objeto de interesse, no caso a face.
(a) (b)
(c) (d)
(e)
3.2.2
Filtragem morfol´
ogica
Embora o processo de binariza¸c˜ao descrito acima fosse o que melhor obteve os resultados, as imagens resultantes desta etapa poderiam conter ainda algumas imperfei¸c˜oes, tais como pontos irrelevantes e falhas na regi˜ao de interesse, conforme ilustrado na Figura 3.6d. Com o intuito de contornar tal problema, foram executadas opera¸c˜oes de abertura e fechamento morfol´ogicas nas imagens da base de dados atrav´es da filtragem por reconstru¸c˜ao mor-fol´ogica, obtendo bons resultados (Figura 3.6e). O princ´ıpio destas opera¸c˜oes consiste em filtrar a imagem original com outra menor, denominada elemento estruturante. A Figura 3.7 apresenta exemplos de elementos estruturantes em uma vizinhan¸ca 3x3.
(a) (b)
Figura 3.7: Elementos estruturantes: (a) 4-conexo e (b) 8-conexo.
A opera¸c˜ao de eros˜ao em uma dada imagem bin´ariaI ´e executada realizando-se uma varredura na imagem e comparando-a com o elemento estruturanteB, gerando a imagem erodidaJ. Ou seja, para cadapixel pde um objeto na imagemI, o elemento estruturante ´e centrado neste pixel e caso exista a ocorrˆencia do elemento estruturante na imagem, o mesmo ´e selecionado para a imagemJ. J´a para a opera¸c˜ao de dilata¸c˜ao, para cadapixel
pde um objeto da imagemI, ´e aplicado o elemento estruturante centrado nessepixel na imagem J. Exemplos da aplica¸c˜ao destas opera¸c˜oes utilizando o elemento estruturante da Figura 3.7a s˜ao ilustrados na Figura 3.8.
A reconstru¸c˜ao morfol´ogica ´e uma opera¸c˜ao conexa, monotˆonica e idempotente, que envolve duas imagens de entrada, uma m´ascara ˆI = (DI, I) e uma marcadora ˆJ = (DI, J) e um elemento estruturante planar (isto ´e, rela¸c˜ao de adjacˆencia A). A reconstru¸c˜ao ´e dita superior quandoJ(p) ≥ I(p) para todo p ∈ DI e inferior quando J(p) ≤ I(p) para todop∈DI.
(a) (b)
(c) (d)
Figura 3.8: Imagem: (a) original e (b) o resultado da opera¸c˜ao de eros˜ao utilizando um elemento estruturante 4-conexo, (c) original e (d) o resultado da opera¸c˜ao de dilata¸c˜ao utilizando um elemento estruturante 4-conexo.
mapa de conexidadeV (resultado da reconstru¸c˜ao) usando fun¸c˜aofrsup, dada por:
frsup(q) = J(q) (3.2)
frsup(πp· p, q) = max{frsup(πp), I(q)}. (3.3) A imagem ˆJ pode ser gerada a partir da imagem ˆI aplicando-se uma abertura mor-fol´ogica (eros˜ao seguida de dilata¸c˜ao por A), nos quais os domos de altura menor que o elemento estruturante s˜ao removidos (abertura por reconstru¸c˜ao). A implementa¸c˜ao da reconstru¸c˜ao inferior ´e dada por uma maximiza¸c˜ao de V (resultado da reconstru¸c˜ao) usando a fun¸c˜ao frinf:
frinf(q) = J(q) (3.4)
frinf(πp· p, q) = min{frinf(πp), I(q)}. (3.5) A Figura 3.9 ilustra uma imagem e os resultados da aplica¸c˜ao de opera¸c˜oes de abertura e fechamento utilizando um elemento estruturante 8-conexo.
Em ambos casos, a rela¸c˜ao de adjacˆencia geralmente utilizada ´e a 4-vizinhan¸ca.
3.2.3
Localiza¸
c˜
ao da elipse
(a) (b) (c)
Figura 3.9: Imagem: (a) original. (b) abertura e (c) fechamento. Extra´ıdo de [1].
imagem binarizada. Nesta fase, um dos grandes problemas encontrados ´e o fato de muitas imagens resultantes do processo de binariza¸c˜ao e abertura e fechamento conterem outras regi˜oes do corpo de uma pessoa, conforme ilustrado pela Figura 3.10a, e n˜ao somente a face, induzindo o algoritmo a encontrar uma elipse maior do que deveria (Figura 3.10b).
Desta forma, foi necess´aria a imposi¸c˜ao de restri¸c˜oes de busca para que a elipse fosse encontrada corretamente. Assim, foi definida uma rela¸c˜ao entre o tamanho dos eixos horizontal e vertical, sendo que esta rela¸c˜ao parte do princ´ıpio que uma face humana, em sua grande maioria, n˜ao possui largura maior do que o seu comprimento e tamb´em o seu comprimento n˜ao ´e duas vezes maior do que a sua largura. Al´em disto, o valor da rela¸c˜ao varia iterativamente cada vez que uma elipse ´e encontrada. Isto induz o algoritmo a buscar elipses de acordo com as caracter´ısticas definidas pela face em quest˜ao (Figura 3.10c).
Entretanto, para algumas imagens, ainda que limitando o tamanho da elipse, o al-goritmo ainda selecionava elipses na regi˜ao do corpo do indiv´ıduo (Figura 3.10e). Para resolver este problema, foi estabelecido um valor m´aximo da posi¸c˜ao do centro da elipse para evitar que fossem levadas em considera¸c˜ao elipses com centro pr´oximas `a regi˜ao do pesco¸co ou mesmo abaixo dela, dado que as face est˜ao normalmente localizadas em uma determinada regi˜ao da imagem (Figura 3.10f).
Finalmente, para evitar a sele¸c˜ao de uma elipse com orienta¸c˜ao acentuada (Figura 3.10h), foram definidos limites superior e inferior, haja vista que a face n˜ao possui grande varia¸c˜ao em sua orienta¸c˜ao. Tal restri¸c˜ao faz com que a elipse encontrada seja de acordo com a orienta¸c˜ao da face (Figura 3.10i).
As elipses foram encontradas utilizando-se a IFT-Euclideana proposta por Andal´o et al. [31], a qual ´e baseada no m´etodo proposto por Punam [32], a qual tenta encontrar a maior elipse dentro de uma regi˜ao homogˆenea com centro em um ponto que pertence a esta regi˜ao. A elipse ´e definida tra¸cando-se n retas em um dado pixel dentro da regi˜ao homogˆenea, de 0 a 179 graus. Em seguida, os eixos da elipse s˜ao determinados percorrendo, a partir do centro da elipse, pelas retas alternadamente e ao mesmo tempo em sentidos opostos, at´e algum dos segmentos de rede encontrar a borda do objeto.
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
Figura 3.10: (a), (d) e (g) Imagens ap´os a execu¸c˜ao das etapas de binariza¸c˜ao e abertura e fechamento descritas nas Se¸c˜oes 3.2.1 e 3.2.2, respectivamente. (b) Localiza¸c˜ao da elipse em (a) sem restri¸c˜oes de busca e (c) com restri¸c˜ao de tamanho m´aximo da elipse. (e) Localiza¸c˜ao da elipse em (d) sem restri¸c˜ao e (f) com restri¸c˜ao de localiza¸c˜ao espacial do centro da elipse. (h) Localiza¸c˜ao da elipse em (g) sem restri¸c˜ao e (i) com restri¸c˜ao de orienta¸c˜ao da elipse.
existe a necessidade de procurar por pontos de borda dentro da circunferˆencia com raio
C(p) (Figura 3.11a).
A IFT-Euclideana define os elementos do contorno da regi˜ao homogˆenea como o con-junto de sementes. A seguir, para cada ponto nesta regi˜ao ´e calculada a distˆancia eu-clideana entre o pixel p e as sementes que s˜ao interceptadas pelas n retas. O segundo passo ´e feito encontrando-se a elipse com maior ´area centrada em cada pixel p. Ao final do processo, ´e escolhida a elipse de maior ´area entre todas as elipses encontradas.
longo de retas, alternadamente. Nesta abordagem, o algoritmo salta as retas ao longo do c´ırculo e visita ospixels qerao mesmo tempo (Figura 3.11b). A localiza¸c˜ao de pontos de borda continua fora da ´area definida pelo custoC(p) na Figura 3.11b e o valor m´ınimo entre C(r) e C(q) indica a localiza¸c˜ao para o pr´oximo salto. Estes saltos poderiam continuar iterativamente at´e que o ponto de borda mais pr´oximo ao longo da reta fosse encontrado.
(a) (b) (c)
Figura 3.11: Exemplo de otimiza¸c˜ao feita utilizando a IFT-Euclideana: (a) Primeiro, (b) Segundo e (c) Terceiro passos.
3.2.4
Marcadores
O pr´oximo passo consiste em executar a segmenta¸c˜ao atrav´es da IFT-WT, a qual requer a utiliza¸c˜ao de marcadores internos e externos. Definida a elipse (Figura 3.13d), s˜ao executadas opera¸c˜oes de eros˜ao e dilata¸c˜ao na mesma para encontrar as elipses interna e externa (Figura 3.13e), as quais ser˜ao utilizadas como marcadores internos e externos, respectivamente. Isso elimina a necessidade de sele¸c˜ao manual de marcadores por parte do usu´ario. A segmenta¸c˜ao ´e ent˜ao realizada utilizando os marcadores na imagem gradiente (Figura 3.13f), obtendo a imagem dada pela Figura 3.13g.
Um dos grandes problemas desta etapa reside na segmenta¸c˜ao na regi˜ao do pesco¸co, a qual ´e uma localidade que possui uma varia¸c˜ao de intensidade de brilho muito pequena com rela¸c˜ao ao restante do pesco¸co e ombros, os quais foram eliminados na etapa de localiza¸c˜ao da elipse. Assim, essa regi˜ao ´e de dif´ıcil segmenta¸c˜ao, podendo at´e eliminar por¸c˜oes da face, conforme ilustrado na Figura 3.12a.
Al´em disto, para melhorar a extra¸c˜ao da face, foi aplicada tamb´em a segmenta¸c˜ao na imagem binarizada e em seguida efetuada a fus˜ao dos resultados. Isto ´e realizado aplicando o operador E l´ogico (AND) nas imagens, ou seja, os pixels selecionados da imagem segmentada s˜ao ospixels maiores do que zero encontrados nas duas imagens. As Figuras 3.13h e 3.13i ilustram as imagens binarizada (tamb´em segmentada) e a resultante ap´os o processo de fus˜ao, respectivamente. Contudo, este procedimento acrescentou erros nos casos em que a imagem da face possu´ıa uma baixa intensidade de brilho, ou seja, imagens nas quais a face apresentava certa quantidade de ´areas escuras. Esta estimativa ´e feita utilizando a localiza¸c˜ao dos marcadores internos e verificando se existem regi˜oes escuras que s˜ao interceptadas por esses marcadores. Caso haja uma regi˜ao de tamanho consider´avel (definida por um valor), a fus˜ao n˜ao ´e realizada.
(a) (b)
Figura 3.12: Segmenta¸c˜ao da face. (a) Sem deslocamento dos marcadores internos. (b) Com deslocamento vertical dos marcadores internos.
3.2.5
P´
os-processamento
A ´ultima etapa para a extra¸c˜ao da face consiste em um p´os-processamento da face segmen-tada no passo anterior, dado que algumas imagens ainda possuem certas imperfei¸c˜oes. A ideia consiste em obter a m´ascara bin´aria da imagem segmentada (Figura 3.13j) e em seguida executar a etapa de localiza¸c˜ao da elipse novamente nessa m´ascara, de maneira similar `a descrita na Se¸c˜ao 3.2.3. Por´em, as restri¸c˜oes de busca devem ser reajustadas, dado que afetam diretamente a precis˜ao da localiza¸c˜ao da elipse, haja vista que a imagem agora utilizada para a localiza¸c˜ao da mesma cont´em menos informa¸c˜oes que a imagem original, ou seja, ´e esperado que elas j´a n˜ao contenham mais a regi˜ao abaixo do pesco¸co e ombros.
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
(j) (k) (l)
elipses descrito na Se¸c˜ao 3.2.3 objetive encontrar a maior elipse com certas restri¸c˜oes dentro do objeto de interesse, eventualmente algumas partes da elipse situam-se para fora do mesmo, dado que a t´ecnica original proposta por Andal´o et al. [31] foi embasada em modelos cont´ınuos. Nesse processo, as dimens˜oes da elipse s˜ao reduzidas com o intuito de encontrar as que estivessem com menos de 60% de sua ´area fora da regi˜ao segmentada. A Figura 3.14a apresenta uma imagem da face sem o p´os-processamento, ou seja, sem ajuste da m´ascara.
Outra medida que tamb´em contribuiu para a melhoria da etapa de p´os-processamento foi o ajuste do centro da elipse no eixo vertical. Isto ´e feito estimando-se o deslocamento da m´ascara em rela¸c˜ao `a regi˜ao segmentada, atrav´es do c´alculo do n´umero de pixels da m´ascara que ficam acima e abaixo do centro da elipse. A Figura 3.14b mostra a aplica¸c˜ao da m´ascara ajustada `a imagem da face extra´ıda.
(a) (b)
Figura 3.14: Segmenta¸c˜ao da face (a) sem p´os-processamento e (b) com ajustes da etapa de p´os-processamento.
O resultado final ´e ent˜ao obtido aplicando a m´ascara `a imagem equalizada (Figura 3.13k), obtendo a face segmentada (Figura 3.13l). A Figura 3.13 ilustra todo o processo de seg-menta¸c˜ao da face descrito at´e o momento.
3.3
Classifica¸
c˜
ao das regi˜
oes isot´
ermicas
(a) (b) (c)
(d) (e) (f)
Figura 3.15: (a) Imagem facial segmentada. Regi˜oes isot´ermicas classificadas de acordo com diferentes tonalidades de cinza (temperaturas) em (b) e (c), e suas respectivas carac-teriza¸c˜oes por esqueletoniza¸c˜ao em (d) e (e). Fus˜ao final dos diferentes esqueletos em (f). As imagens foram adaptadas de Akhloufi e Bendada [2].
A abordagem proposta pelo presente projeto de pesquisa para esta etapa contempla a identifica¸c˜ao das regi˜oes isot´ermicas utilizando classificador OPF n˜ao supervisionado descrito na Se¸c˜ao 2.2.1. O ponto positivo de tal abordagem ´e que ela agrupa todas as regi˜oes isot´ermicas da imagem com apenas uma ´unica execu¸c˜ao do seu algoritmo, n˜ao necessitando de diversas execu¸c˜oes para o agrupamento das regi˜oes isot´ermicas, como utilizado por Akhloufi e Bendada [2].
O primeiro experimento foi realizado utilizando apenas a intensidade de brilho de cada pixel como seu vetor de atributos. Entretanto, essa escolha nos levou a uma supersegmen-ta¸c˜ao da imagem (Figura 3.16a), dado que essa metodologia n˜ao leva em considera¸c˜ao o tom de cinza dos pixels vizinhos. Assim, o vetor de caracter´ısticas adotado para cada amostra foi composto pelo seu tom de cinza em conjunto com os valores dos brilhos dos seus vizinhos (8-vizinhan¸ca). A Figura 3.16b ilustra as regi˜oes isot´ermicas agora classifi-cadas de uma forma mais coerente.
(a) (b)
Figura 3.16: Classifica¸c˜ao das regi˜oes isot´ermicas: (a) supersegmenta¸c˜ao e (b) regi˜oes isot´ermicas classificadas de uma maneira mais coerente.
pixels da imagem. Entretanto, essa solu¸c˜ao ´e invi´avel em termos computacionais.
Frequentemente, ap´os a classifica¸c˜ao das regi˜oes isot´ermicas, aparecem ainda alguns pontos isolados (Figura 3.17a), os quais poderiam prejudicar o processo de caracteriza¸c˜ao das regi˜oes isot´ermicas, sendo necess´aria a sua elimina¸c˜ao. Tais pontos podem ser definidos como pixels que possuem classifica¸c˜ao diferente de seus 4-vizinhos. Assim, a estrat´egia adotada para a elimina¸c˜ao desses pontos foi atribuir a eles a classe de maior ocorrˆencia entre os seus 8-vizinhos (filtro da moda). Contudo, para evitar que este pixel continue sendo um ponto isolado, a classe de maior ocorrˆencia escolhida deve estar contida entre seus 4-vizinhos, ou seja, o novo valor dopixel deve ser igual a um de seus 4-vizinhos. Caso ocorra empate, opixel ser´a classificado pelo primeiro vizinho encontrado. A Figura 3.17b apresenta a imagem ap´os esse processo de elimina¸c˜ao de pontos isolados.
3.4
Caracteriza¸
c˜
ao das regi˜
oes isot´
ermicas
A ´ultima parte do sistema consiste na caracteriza¸c˜ao das regi˜oes isot´ermicas atrav´es de sua esqueletoniza¸c˜ao. Dado um contorno fechado, seu esqueleto interno ´e definido como o lugar geom´etrico dos centros dos discos de raios m´aximos contidos no contorno. Note que estes discos tocam o contorno em mais de um ponto, mas sem cruzamentos, e que o esqueleto interno ´e definido como a fronteira entre regi˜oes formadas por pixels mais pr´oximos de um ponto do contorno do que dos outros. Uma defini¸c˜ao similar ´e v´alida para o esqueleto externo [33].
(a) (b)
Figura 3.17: Elimina¸c˜ao de pontos isolados: (a) imagem original e (b) imagem ap´os a filtragem dos pontos isolados.
posterior utiliza¸c˜ao na tarefa de reconhecimento de padr˜oes. Entretanto, as principais dificuldades encontradas s˜ao a obten¸c˜ao de esqueletos conexos e sem ramos irrelevantes para uma descri¸c˜ao eficiente de sua forma. Foi utilizado no presente trabalho a t´ecnica de esqueletoniza¸c˜ao utilizando a IFT [21].
Considere uma imagem bin´aria ˆI = (DI, I) com um ´unico objeto, representado por um ´unico contorno fechado. Seja ˆL = (DI, L) uma imagem rotulada tal que L(p) = 0 para pixels p ∈ DI que n˜ao pertencem ao contorno e L(pi) = i para pixels p ∈ DI que pertencem ao contorno, onde i = 1,2, . . . , n e n corresponde ao n´umero de pixels do contorno. Sejam dois pixels p = (xp, yp) e q = (xq, yq) em uma imagem. A fun¸c˜ao de custofeucl ´e dada por:
feucl(q) =
0 se q∈S, +∞ caso contr´ario
feucl(πp· p, q) =
xorg(πp)−xq)
2 +
yorg(πp)−yq
2
, (3.6)
ondeorg(πp) corresponde ao pixel inicial do caminho ´otimoπp. Assim sendo, a IFT com rela¸c˜ao de adjacˆencia-8, fun¸c˜ao de conexidadefeucl e conjuto de sementesS representadas pelos pixels do contorno, propaga em ˆL os r´otulos i de cada pixel pi de acordo com a transformada de distˆancia euclideana.
