O sistema proposto também foi testado com a base de imagens CMU-PIE, esta base contém 41.368 imagens de faces de 68 indivíduos realizando 13 poses, com 43 condições di- ferentes de iluminação, e quatro expressões diferentes: neutra, sorriso, piscando, e falando. Para os experimentos, foram testadas duas expressões faciais: neutra e sorriso, visto que as expressões piscando e falando requerem informação temporal, o que está fora do escopo deste trabalho. Além disso, foram usadas as poses que são próximas da frontal (câmera 27) com rotação horizontal (câmeras 05 e 29) e vertical (câmeras 07 e 09), como mostrado na Figura 2.8.
Para o reconhecimento de duas classes de expressões, cinco imagens representativas foram tiradas de cada câmera, o que resultou em 778 imagens de expressões. As imagens da base têm resolução de 640×486 pixels, contudo elas são disponibilizadas no padrão de cores RGB, como o sistema proposto foi desenvolvido para processar imagens no padrão de 256 níveis de cinza foi necessária a conversão dessas imagens para o mesmo padrão, assim como nas bases anteriores.
Como nesta base não há sequências de imagens representando as expressões faciais, apenas imagens de diferentes posições, nos experimentos deste trabalho foram utilizadas uma imagem de cada câmera para o treinamento. No pré-processamento, além de converter
as imagens para 256 níveis de cinza, também foi aplicada a função ASEF para localização dos olhos e segmentação das faces em imagens com resolução 128×160 pixels, como pode ser visto na Figura 4.10.
Figura 4.10: Imagens de faces segmentadas da base CMU-PIE. Fonte: autor.
Nas Tabelas 4.43 a 4.50 são apresentadas as matrizes de confusão com os resultados dos experimentos do reconhecimento das expressões faciais dentro da base de imagens CMU- PIE, variando a quantidade de coordenadas com maiores ocorrências que serão utilizadas no cálculo dos HOVs e com tamanho fixo de bloco 12×12 para o cálculo dos MVs.
Tabela 4.43: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 1
HOV.
Neutra Sorriso
(%) (%)
Neutra 86,52 13,48 Sorriso 20,75 79,25
Tabela 4.44: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 2
HOVs.
Neutra Sorriso
(%) (%)
Neutra 88,91 11,19 Sorriso 23,27 76,73
Tabela 4.45: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 4
HOVs.
Neutra Sorriso
(%) (%)
Neutra 88,04 11,96 Sorriso 17,61 82,39
Tabela 4.46: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 6 HOVs. Neutra Sorriso (%) (%) Neutra 91,96 8,04 Sorriso 26,10 73,90
Tabela 4.47: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 8
HOVs.
Neutra Sorriso
(%) (%)
Neutra 92,61 7,39 Sorriso 29,24 72,96
Tabela 4.48: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 10
HOVs.
Neutra Sorriso
(%) (%)
Neutra 93,26 6,74 Sorriso 25,16 74,84
Tabela 4.49: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 12
HOVs.
Neutra Sorriso
(%) (%)
Neutra 90,43 9,57 Sorriso 21,07 78,93
Tabela 4.50: Matriz de confusão do reconhecimento de expressões faciais na base CMU-PIE, utilizando 14
HOVs.
Neutra Sorriso
(%) (%)
Neutra 88,48 11,52 Sorriso 26,21 75,79
base CMU-PIE, para quantidades diferentes de HOVs. 0 2 4 6 8 10 12 14 75 80 85 90 95 Quantidade de HOVs Ta xa d e ac er to s (% ) neutra sorriso
Figura 4.11: Taxas de reconhecimento para cada expressão facial da base CMU-PIE. Fonte: autor.
A Figura 4.12 mostra a taxa média de acertos no reconhecimento de todas as expressões faciais da base CMU-PIE, para quantidades diferentes de HOVs.
0 2 4 6 8 10 12 14 82 83 84 85 82, 99 82, 72 85, 22 82, 9382,79 84, 05 84, 68 82, 14 Quantidade de HOVs Ta xa m éd ia d e ac er to s (% )
Figura 4.12: Quantidade de coordenadas de maiores ocorrências nos vetores de movimento x Respectivas taxas
de reconhecimento da expressões faciais na base de imagens CMU-PIE. Fonte: autor.
Nas Tabelas 4.43 a 4.50 e no gráfico da Figura 4.11 é possível observar que a expressão facial que apresenta a melhor taxa de reconhecimento é a neutra, com taxa média de acerto de 90,03%. A expressão sorriso apresenta a pior taxa de reconhecimento, com taxa média de acerto de 76,85%. Em todas as tabelas, as taxas de acerto no reconhecimento de cada
expressão são superiores a 72%. As taxas mais baixas para esta base de imagens, deve-se ao fato de que os MVs são calculados entre duas imagens, da mesma face ou similar, de poses diferentes, diferentemente das outras bases onde a pose é a mesma para todas as imagens. Outro fato que leva a menores taxas de acertos é a presença de óculos e barba em algumas imagens, o que dificulta a etapa de busca da imagem de maior semelhança para o cálculo dos MVs.
Finalmente, no gráfico da Figura 4.12 é possível observar que quando são utilizados dois HOVs, há uma pequena diminuição na média de acertos do reconhecimento com re- lação ao uso de apenas um HOV, contudo a média de acertos aumenta quando são usados quatro HOVs, então há uma oscilação quando são usados de 6 a 14 HOVs. Esse padrão é diferente das demais bases de imagens utilizadas nos experimentos deste trabalho, devido aos fatos mencionados no parágrafo anterior.
4.5.1 Comparação dos algoritmos de estimação de movimento por
casamento de blocos na base CMU-PIE
Assim como foi feito para as bases JAFFE, CK, CK+ e MMI, para verificar a eficiência do algoritmo de estimação de movimento proposto (MARSA), foram realizados experimentos também com os algoritmos FS e ARSA. Seguindo os mesmos critérios para a definição dos tamanhos de blocos para o cálculo dos MVs e para os HOVs. O tamanho de bloco 12×12
gerou a maior taxa de reconhecimento, portanto foi utilizado para o cálculo das matrizes de confusão para as respectivas quantidades de HOVs: 1, 2, 4, 6, 8, 10, 12 e 14. A quantidade de
HOVs que forneceu as maiores taxas médias de acertos para os três algoritmos foi quatro,
assim como é mostrado no gráfico da Figura 4.12.
Na Tabela 4.51 são mostradas as taxas médias de acerto para o reconhecimento de ex- pressões faciais utilizando os três algoritmos de estimação de movimento no método pro- posto: FS, ARSA e MARSA. É possível observar a superioridade do algoritmo proposto, pela mesma razão apresentada na comparação dos algoritmos nas bases anteriores.
Tabela 4.51: Taxas médias de reconhecimento dos algoritmos de estimação de movimento para tamanhos dife-
rentes de blocos, utilizando a base CMU-PIE.
Algoritmo Tamanho do bloco
4×4 (%) 8×8 (%) 12×12 (%) FS 79,8±5,3 82,1±4,5 83,5±4,3 ARSA 78,7±5,1 82,8±3,5 83,3±4,2
MARSA 80,5±4,1 82,8±3,1 85,2±3,9
Além da comparação das taxas médias de acertos entre os algoritmos de estimação, tam- bém foi realizada a comparação dos tempos de processamento, assim como foi feito com as bases de imagens JAFFE, CK, CK+ e MMI. A Tabela 4.52 mostra três tempos de processa- mento: treinamento, teste e para uma única imagem. Também foram comparados os tempos de processamento para diferentes tamanhos de blocos: 4×4, 8×8 e 12×12. É possível ob- servar que algoritmo MARSA apresenta os menores tempos de processamento no método proposto: sendo em média 15,18% mais veloz no treinamento, 20,04% mais veloz nos testes e no reconhecimento da expressão facial em uma única imagem, quando comparado com o segundo algoritmo mais veloz.
Tabela 4.52: Tempos de processamento dos algoritmos de estimação de movimento para tamanhos diferentes
de blocos, utilizando a base CMU-PIE.
Algor.(tam. do bloco) Tempo de processamento
treinamento(min.) teste(min.) p/ imagem(seg.)
FS (4×4) 13,49 1,05 0,29 FS (8×8) 11,38 0,86 0,24 FS (12×12) 14,96 0,95 0,27 ARSA (4×4) 11,21 0,97 0,27 ARSA (8×8) 11,10 0,77 0,22 ARSA (12×12) 14,83 0,89 0,25 MARSA (4×4) 8,37 0,70 0,20 MARSA (8×8) 9,95 0,66 0,18 MARSA (12×12) 13,37 0,73 0,20