EXPLORANDO O PCA NO RECONHECIMENTO DE FACE Alexandre Fieno da Silva
Faculdade de Computação, Universidade Federal de Uberlândia.
Av. Engenheiro Diniz, 11778, Cx. Postal: 593, CEP: 38400-902, Uberlândia – MG – Brasil Celia A. Zorzo Barcelos
Faculdade de Matemática, Universidade Federal de Uberlândia.
Av. Engenheiro Diniz, 11778, Cx. Postal: 593, CEP: 38400-902, Uberlândia – MG – Brasil Marcos Aurélio Batista
Departamento de Ciência da Computação, Universidade Federal de Goiás.
Av. Dr. Lamartine P. de Avelar, 1120, Cx. Postal 56, CEP 75.704-020, Catalão – GO – Brasil
Resumo: O crescente desenvolvimento da pesquisa no reconhecimento de face humana tem tido uma forte influência em várias aplicações comerciais, aplicações em identificação criminal e em sistemas de segurança. Vários algoritmos foram propostos a fim de resolver alguns desafios encontrados no sistema de recuperação, como variações de pose, iluminação, diferenças de idade, expressão facial e o método PCA – Principal Component Analysis – proposto por Turk e Pentland em 1991, é clássico no estudo de faces e tem como objetivo procurar as componentes principais da distribuição de faces ou os autovetores da matriz covariância do conjunto de faces. Cada autovetor representa a variação entre as faces e pode ser visto como um conjunto de características. Neste trabalho é avaliado o desempenho do método PCA em relação à iluminação. Também é avaliado como perturbações na imagem consulta, podem alterar os resultados da busca. Vários experimentos foram realizados e uma medida de precisão e revocação é calculada ilustrando o desempenho do PCA sujeito às condições analisadas.
1. INTRODUÇÃO
O reconhecimento de face humana desempenha um papel muito importante em várias aplicações (Kukula and Elliott, 2004), tais como, identificação criminal, verificação de cartões de créditos, segurança de sistemas, etc. Entretanto, dificuldades em controlar as condições de iluminação, pose e oclusão são alguns dos maiores desafios encontrados no processo de reconhecimento facial.
Ao longo dos anos, vários algoritmos foram propostos para o reconhecimento de face, entre eles (Kukula and Elliott, 2004), (Pentland and Turk, 1991), (Belhumeur, Hespanha e Kriegman, 1997), (Bartlett, Movellan e Seijnowski, 2002), (Feris, Campos e Cesar, 2000), (Schodl, Haro e Essa, 1998) e (Lawrence, Giles, Tsoi e Back, 1997). Mesmo com o progresso obtido no reconhecimento de face sob pequenas variações na iluminação, pose e expressão facial, as técnicas existentes ainda se mostram frágeis. Exemplificando, temos na figura 1 duas imagens da mesma pessoa com a mesma expressão facial observada do mesmo ponto de vista que parecem diferentes quando as fontes de iluminação incidem diferentemente em cada uma das faces, ocasionando, assim, dificuldades no processo de reconhecimento.
Nas áreas de reconhecimento de padrões e processamento de imagens é importante aplicar um método de extração de características, a fim de reduzir a complexidade computacional e obter melhores desempenhos na classificação, conseguidos por meio da redução das informações redundantes.
Figura. 1. A mesma pessoa vista sob diferentes condições de iluminação pode parecer diferente: na imagem da esquerda, a fonte de luz dominante abrange toda a face; na imagem
da direita, a fonte luminosa está acima e ao centro.
O PCA – Principal Component Analysis – é usado no reconhecimento de face com o objetivo de encontrar os autovetores da matriz covariância do conjunto de imagens, reduzindo sua dimensionalidade. Esses autovetores podem ser pensados como um conjunto de características que juntos identificam as variações entre as faces e cada face contribui mais ou menos para cada autovetor. Esses autovetores são chamados de autofaces (Turk and Pentland, 1991).
Cada face do conjunto de imagens será aproximada por uma das autofaces. O número máximo de autofaces a ser utilizado no processo de reconhecimento é igual ao número de imagens do banco de dados (Pentland and Turk, 1991). Em geral, é usado um número menor de autofaces e são escolhidas aquelas cujos autovalores apresentam a maior variância. Como os autovalores são organizados em ordem decrescente, de acordo com a variância entre as imagens, os primeiros autovalores correspondem às maiores variâncias. Neste trabalho é investigado o número M de autovalores que devem ser selecionados para se obter um bom ' resultado de recuperação e ainda, a influência de sua posição no conjunto ordenado de todos os autovalores possíveis. O desempenho do PCA é avaliado em relação à iluminação e, como as perturbações na imagem consulta (ruído, oclusões, recorte, etc.) podem alterar os resultados da busca.
O restante do artigo é organizado da seguinte maneira: a Sessão 2 ilustra o método PCA. Os resultados experimentais usando as bases de dados YaleA (YaleA, 1997) e YaleB (YaleB, 2001) são abordados na sessão 3 e a sessão 4 apresenta nossas conclusões.
2. PCA – PRINCIPAL COMPONENT ANALYSIS
Alguns dos métodos de reconhecimento de face se concentram em determinar quais características da face são mais relevantes, tais como, olhos, nariz, orelhas e boca. O método de autoface propõe um meio de usar os autovetores com a máxima variância como parte do processo de reconhecimento de face. Desta forma, um conjunto de treinamento de M imagens de faces é usado para criar o espaço de faces que representa cada imagem do conjunto, de dimensão Nx×Ny, como um vetor de dimensão N =Nx×Ny. Isto significa
que uma imagem de 240× 240 pixels formará um vetor de dimensão 57.600.
No método PCA, as características das imagens analisadas são obtidas pela máxima variância de cada imagem a partir da imagem média.
Dada uma imagem I de dimensão Nx×Ny, I é convertida em um vetor Γ de tamanho i
N, onde N = Nx×Ny; isto é, a imagem é reconstruída pela concatenação de suas colunas. Desta forma, Γ=
[
Γ1,Γ2,L,ΓM]
, serão as imagens do conjunto de treinamento, onde M é aquantidade de imagens do conjunto.
A face média, Ψ , é calculada pela média aritmética dos vetores do conjunto de treinamento e sua dimensão é N :
∑
= Γ = Ψ M n n M 1 1 (1)A diferença entre cada face do conjunto de treinamento e a face média é calculada subtraindo a face média das imagens do conjunto de treinamento
Ψ − Γ = Φi i (2) onde i=1,2,L,M e, A=
[
Φ1,Φ2,L,ΦM]
.O método das autofaces obtém os autovalores a partir da matriz covariância que é dada por
T
AA
C= (3) Para uma imagem de dimensão Nx×Ny, a matriz covariância, C, tem dimensão N×N. Considerando M <<N e para reduzir os cálculos, podemos resolver o sistema
( )
ATAx= ao b invés de( )
AAT x= . Vejamos: seja c L= ATAde dimensão M×M , como a idéia é encontrar os autovetores, u , e os autovalores, k λk, de AA , que obedeçam à Tk k k T u u AA =λ (4) é possível encontrá-los através da determinação dos autovetores, v , e dos autovalores, i µi, da matriz ATA, de forma que
i i i T v Av A =µ (5) Pré-multiplicando ambos os lados por A , temos
i i i T v A Av AA = µ (6) e,
( )
i i( )
i T Av Av AA =µ (7) assim, comparando a equação 4 com a equação 7, temos que Av são os autovetores de i C. Deste modo, é possível obter os autovetores de C usando os autovetores de L . Uma matriz de dimensão M×M é utilizada ao invés da matriz de dimensão N×N, reduzindo substancialmente os cálculos computacionais.Cada autoface, p , será escrita como: i
∑
= Φ = M j j ji i v p 1 (8)Além disso, ao invés de usar as M autofaces, pode-se usar M' ≤M. Isso é geralmente feito eliminando alguns dos autovetores relacionados aos menores autovalores, que contribui com a menor variância dos dados. De forma análoga, os maiores autovalores contribuem com a máxima variância dos dados.
Os autovalores são reais e os autovetores são ordenados em ordem decrescente de acordo com o valor do autovalor correspondente.
As imagens de treinamento são projetadas no espaço de faces e são calculados os pesos de cada autoface para representar uma imagem nesse espaço. A contribuição de cada autoface em relação às imagens do conjunto de treinamento são representados pelos pesos w , dado k por
A p
wk = Tk (9)
para k =1,2,L,M' e W =
[
w1,w2,L,wM']
.No processo de recuperação, dada uma imagem consulta (query), ela é subtraída da média e projetada no espaço das autofaces. É obtido um vetor de pesos, que representa a contribuição das autofaces em relação à imagem consulta e o qual é usado para análise de similaridade.
Ou seja, considere uma nova imagem de face, Γquery de dimensão N. A diferença entre a nova imagem e a face média é calculada subtraindo a nova face da face média
Ψ − Γ =
Φquery query (10) onde Φquerytem dimensão N . A projeção da imagem consulta no espaço de faces é dada por
query T k
query p
para k =1,2,L,M'.
A similaridade é feita através do cálculo da distância euclidiana entre os pesos da equação 9 e 11, dada por
k query
k = w −w
ε (12) onde wqueryé o vetor de pesos resultantes da projeção da face consulta no espaço de face e wk
é um vetor que representa a k−ésima imagem. 3. RESULTADOS EXPERIMENTAIS
O método PCA é testado com duas bases de dados de faces, YaleA e YaleB. A base de dados YaleA é usada para avaliar o desempenho do PCA no problema da perturbação da face (ruído, oclusão, etc.). A base de dados YaleB é usada para examinar o desempenho do PCA quando a iluminação varia de forma significante.
A YaleA contem imagens de 15 pessoas em 11 poses diferentes. Cada face é caracterizada por diferentes expressões faciais ou aspectos: feliz, normal, triste, sonolento, surpreso e piscando os olhos; com e sem óculos; e, por três direções de iluminação: luz central, luz lateral esquerda e luz lateral direita. A YaleB contem 640 imagens de 10 pessoas em 64 condições de iluminação, considerando que todas as imagens estão na mesma pose. As figuras 2 e 3 ilustram exemplos dos indivíduos de ambas as bases.
(a) (b) (c)
Figura 2 – Exemplos das imagens de faces provenientes da base de dados YaleA.
(a) (b) (c)
Figura 3 – Exemplos das imagens de faces da base de dados YaleB. 3.1 Resultados da recuperação de faces
O desempenho do PCA é avaliado em relação à iluminação e às perturbações na imagem consulta, além de investigar o número M de autovalores que devem ser selecionados para se ' obter um bom resultado de recuperação e, ainda, a influência da posição desses M ' autovalores no conjunto ordenado de todos os autovalores possíveis.
Os números M de autovalores selecionados foram 90, 30, 12 e 6. As posições ' escolhidas para avaliar sua influência na recuperação de faces foram:
Os 90 autovalores maiores e os 90 menores;
Os 30 autovalores maiores e os 30 das posições (1,2,3,4,5,6,7,8,9,10,15,16,17,18, 19,25,26,27,28,29,50,51,52,53,54,100,101,102,103 e 104);
Os 12 autovalores maiores e os 12 das posições (1,2,3,4,5,6,40,41,50,51,90 e 91); Os 6 autovalores maiores e os 6 das posições (1,2,82,83,137 e 138).
Considerando o problema das perturbações na imagem, foi criado um conjunto de 10 imagens de faces (imagens consultas), a partir da base YaleA. As imagens foram manipuladas de acordo com as perturbações: oclusão, recorte, ruído, face invertida, estreitamento e modificação das características internas da face. A figura 4 ilustra as modificações nas faces que compõem o conjunto de imagens consultas.
(a) (b) (c) (d) (e)
(f) (g) (h) (i) (j)
Figura 4 – Exemplos das imagens da base de dados YaleA, usadas como face consulta. A face da pessoa usada para gerar as imagens da figura 4 de (a) até (g) foi selecionada da base de dados YaleA e foram adicionados estragos, recortes e ruídos, além de ter sido invertida, pedaços do cabelo terem sido removidos e estreitamento ter sido realizado. O objetivo é recuperar o máximo de imagens da pessoa usada nas modificações, verificando o comportamento do PCA ao se deparar com tais perturbações. A imagem da figura 4 (h), não é uma face presente na base de dados. Dessa forma, foram inseridas características (olhos, nariz e boca), copiadas de uma outra face presente na base de dados. Com o intuito de verificar se o PCA recupera as imagens da pessoa cujas características foram copiadas. Finalmente, nas figuras 4 (i) e (j), temos imagens de pessoas contidas na base de dados, porém, suas características foram sobrepostas pelas características de outra face, também de uma pessoa que está na base de dados. O objetivo é verificar o que mais influencia o PCA na recuperação de faces, se as características faciais ou o formato da face.
Os resultados da recuperação de cada face consulta são mostrados no gráfico da precisão pela revocação na figura 5. Os resultados mostrados são em relação ao número M de ' autovalores selecionados. Para uma melhor visualização de cada gráfico, sempre que a curva dos resultados se encontra entre as curvas dos 90 maiores e 90 menores autovalores, apenas estas últimas são contempladas.
Figura 5 – Gráfico da Precisão e Revocação das imagens consulta da figura 4. Para os testes relacionados ao problema da variação da iluminação, usamos as imagens da base de dados YaleB. Selecionamos 3 pessoas em 3 condições de iluminação diferentes, para formar o conjunto consulta, isto é, as imagens que serão usadas como consultas. As variações na iluminação são devido à direção do foco de luz, expressa pelo azimute e elevação em relação ao eixo da câmera. A elevação e o azimute positivo indicam que a fonte de luz está acima do horizonte e à direita da face, enquanto que valores negativos indicam que a fonte luminosa está abaixo do horizonte e à esquerda da face. A figura 6 ilustra as diferentes condições de iluminação.
(a) (b) (c)
Figura 6 – Exemplos da intensidade da iluminação examinada para cada face, durante o processo de recuperação.
A imagem da figura 6(a) tem iluminação com azimute 0(zero) e elevação 0(zero), isto é, a fonte luminosa está na frente da face. A imagem da figura 6(b) tem iluminação com azimute -70 e elevação 0(zero), isto é, a fonte luminosa está a 70 graus à esquerda da face. Finalmente, a imagem da figura 6(c) ilustra um caso em que a fonte luminosa foi obtida com azimute -120 e elevação 0(zero), isto é, a fonte luminosa está a 120 graus à esquerda da face.
Os resultados da recuperação de cada face consulta são mostrados no gráfico da precisão pela revocação na figura 7. Os resultados mostrados são em relação ao número M de ' autovalores selecionados. Para uma melhor visualização de cada gráfico, sempre que a curva dos resultados se encontra entre as curvas dos 90 maiores e 90 menores autovalores, apenas estas últimas são contempladas.
Figura 7(a) – Gráfico da Precisão e Revocação da imagem consulta da figura 3(a), em relação às diferentes intensidades de iluminação.
Figura 7(b) – Gráfico da Precisão e Revocação da imagem consulta da figura 3(b), em relação às diferentes intensidades de iluminação.
Figura 7(c) – Gráfico da Precisão e Revocação da imagem consulta da figura 3(c), em relação às diferentes intensidades de iluminação.
3.2 Desempenho do processo de recuperação
O método do PCA, quando aplicado em situações em que a face consulta foi alterada, isto é, sofre perturbações (ruído, recortes, etc), se mostrou robusto na maior parte dos casos. Nos casos em que havia oclusão, ruído e alteração das características internas de uma face presente na base de dados, o uso dos maiores autovalores resultou em posições mais relevantes do conjunto resposta, de todo ou quase todo o conjunto de imagens daquela face pesquisada. Para esse experimento em particular, cada face da base de dados possuía 11 faces modificadas devido às perturbações. Para as imagens em que a modificação foi inverter a face, estreitar e cortar parte do cabelo, o PCA foi ineficiente ficando abaixo dos 30% de precisão. A face, cujas características foram modificadas por características de uma outra face presente na base de dados, foi mais bem reconhecida com os menores autovalores. Porém, de uma forma geral, o PCA é frágil a tal mudança.
Com referência à iluminação os experimentos afirmaram o fato de que a pouca intensidade de iluminação incidente numa face é prejudicial no processo de recuperação. Para as faces com iluminação normal ou pelo menos metade da face sendo iluminada, o PCA manteve uma taxa de precisão alta, recuperando mais faces relevantes do que as outras faces não relevantes, isto é, faces que não pertencem ao conjunto da imagem consulta. Com a face de pouca intensidade luminosa, deu-se o contrário, ou seja, o PCA trouxe maior quantidade de faces não relevantes do que faces relevantes, nas posições de maior interesse do conjunto resposta.
4. CONCLUSÃO
Os resultados mostraram, em algumas situações de pouca intensidade de iluminação e algumas manipulações, uma deficiência do PCA ao processo de recuperação. No caso de face com oclusão, ruído e algumas mudanças nas características internas, tais como, olhos, nariz e boca, o PCA manteve taxas satisfatórias na recuperação. A verificação do número de autovalores que devem ser selecionados para se obter resultados satisfatórios na recuperação e ainda, a influência de sua posição no conjunto ordenado de todos os autovalores possíveis, levam a crer que os maiores autovalores devem armazenar o formato da face, iluminação e algumas informações das características internas, como por exemplo, olhos, nariz e boca, e os menores autovalores devem armazenar ruídos e partes menos significativas da face, como por exemplo, informações do cabelo.
REFERÊNCIAS
Adini, M., and Ullman., 1997. Face Recognition: the problem of compensating for changes in illumination direction, IEEE Trans. Pattern Analysis and Machine Intelligence, pp. 721-732.
Bartlett, M. S., Movellan, J. R., and Seijnowski, T. J., 2002. Face Recognition by Independent Component Analysis, IEEE Trans. on Neural Networks, pp. 1450-1464.
Belhumeur, P., Hespanha, J., Kriegman, D., 1997. Eigenfaces vs Fisherfaces: Recognition using class specific linear projection, IEEE Trans. on Pattern Analysis and Machine Intelligence, pp. 771-720.
Chellappa, R., Wilson, C., and Siroshey, S., 1995. Human and Machine Recognition of Faces: A Survey”, In Proc. IEEE Image Analysis, (2), pp. 740-750.
Feris, R., Campos, T., and Cesar, R., 2000. Detection and tracking of facial features in video sequences, In Lecture Notes in Artificial Intelligence, Acapulco, Mexico.
Kukula and Elliott., 2004. Evaluation of a facial recognition algorithm across three illumination conditions, IEEE Aerospace and Electronic System Magazine, pp. 19-23. Lawrence, S. G., Giles, C. L., Tsoi, A. C., and Back, A. D., 1997. Face Recognition: A
convolutional neural network approach, IEEE Trans. Neural Networks.
Liu, N., and Wang, H., 2005. Feature extraction using evolutionary weighted principal component analysis, IEEE International Conference, Systems, Man and Cybernetics, pp.346-350.
Pentland, A., and Turk, M., 1991. Face Recognition using eigenfaces, In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 586-591.
Samal and Yiengar, 1992. Automatic Recognition and Analysis of Human Faces and Facial Expressions: A Survey, IEEE Trans. Pattern Recognition, pp. 65-67.
Schodl, A., Haro, A. and Essa, I., 1998. Head tracking using a textured polygonal model. In Workshop on Perceptual User Interfaces, pp. 43-48.
Turk, M., and Pentland, A., 1991. Eigenfaces for Face Recognition, Journal of Cognitive Neuroscience, (29), pp. 1461-1483.
Yale Face Database A, 1997. http://cvc.yale.edu/projects/yalefaces/yalefaces.html Yale Face Database B, 2001. http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html
