Fusões dos Dados

A fusão dos dados no reconhecimento de faces no infravermelho tem atraído muito interesse nos últimos anos. A maior parte utiliza a decomposição das wavelets para realizar a fusão dos dados. Gyaourova et al. e Singh et al. [45, 82] usaram um esquema de fusão dos dados das imagens no infravermelho e no visível para o reconhecimento facial. A abordagem proposta visa superar as limitações causadas pela opacidade dos óculos nas imagem no infravermelho. As imagens no visível são menos sensíveis aos óculos do que as imagens no infravermelho, por outro lado, as imagens no infravermelho térmico são menos sensíveis à variação da iluminação. A fusão das duas modalidades pode levar a uma melhoria dos resultados. A estratégia de fusão opera no domínio

2.2. RECONHECIMENTO FACIAL EM IMAGENS LWIR 23

das wavelets, combinando os coeficientes das wavelets de Haar. Os coeficientes das

wavelets, tanto os das imagens no visível como os das imagens no LWIR, são combi- nados usando Algoritmos Genéticoss (AGs). Os AGs escolhem quais os coeficientes que devem ser utilizados e como combiná-los. Os autores apresentam uma melhoria considerável quando são usadas as imagens fundidas e existe a presença de óculos.

As wavelets de Haar também foram usadas por Chang et al. e Kong et al. [31, 32, 58]. Chang et al. [31, 32] propuseram um esquema de fusão de dados para ajustar a iluminação e melhorar as taxas de reconhecimento facial. Os testes foram realizados na fusão de imagens multi-espectrais. Eles utilizam duas abordagens: a fusão ponderada e wavelets de Haar para a fusão dos dados. O desempenho no reconhecimento facial foi testado usando FaceIt R _{e o melhor desempenho foi obtido com as imagens fundidas.}

Kong et al. _{[58] apresentaram uma estratégia de fusão multi-escala de imagens no}

visível e térmicas. O método de registo usa as derivadas dos mapas direccionais [20] e a fusão dos dados em multi-escala é realizada usando a Discrete Wavelet Transform (DWT). A fusão dos dados consiste numa combinação ponderada dos coeficientes da DWT das imagens no visível e térmicas. A fusão das imagens no infravermelho e no visível é referido como sendo a que possui melhores resultados.

Singh et al. _{[81] propuseram uma fusão hierárquica das imagens no infravermelho e}

no visível (figura 2.8). O algoritmo usa as wavelets de Gabor para realizar a fusão das imagens. No processo de treino, são usados SVMs para seleccionar as características extraídas das imagens, como a amplitude e fase. As características seleccionadas são usadas para produzir as imagens fundidas. Durante o seu trabalho, estes autores analisaram as fusões em diferentes comprimentos de onda. Sendo que a fusão entre imagens da face no visível e no SWIR foram as que produziram melhores resultados.

Bebis et al. [18] propôs uma estratégia de fusão das eigenfeatures. As eigenfeatures foram extraídos directamente das imagens no visível e no infravermelho. A selecção das

eigenfeatures _{mais apropriadas para fusão das imagens no visível e no infravermelho}

foi realizada recorrendo aos AGs. Os autores apresentam um aumento no desempenho de reconhecimento com a fusão proposta.

Hariharan et al. [46] apresentam uma fusão de imagens LWIR e no visível através

de um Empirical Mode Decomposition (EMD). O EMD decompõe sinais não-lineares

e não-estacionários num Intrinsic Mode Function (IMF). As imagens no visível e no infravermelho são transformadas num vector e o EMD é aplicado sobre esses vectores

24 CAPÍTULO 2. ESTADO DA ARTE

greater than the SVM classification margin of FP, then out- put O(x, y) of the learning algorithm is 1 otherwise the out- put is !1. As shown in Eq. (20), amplitude and phase features are selected depending on the output O(x, y).

FF ðx; yÞ ¼ F_FAðx; yÞ if Oðx; yÞ > 0 Pðx; yÞ if Oðx; yÞ < 0 !

ð20Þ where FF is the fused feature vector. Furthermore, to match the two fused feature vectors, FF1and FF2, the correlation based matching technique is applied. The features are first divided into m frames, each of size k· l. The correlation dis- tance, CDi_F, between two corresponding frames is com- puted using Eq.(21). Using the frame matching threshold TIF, the intermediate matching score MSIFfor the frames and the final matching score MSF is calculated using Eq.

(22). A person is said to be matched if MSFis greater than the fused feature vector matching threshold, TF.

CDi F ¼ FFi 1% FFi2 kl ; i ¼ 1; 2; . . . ; m ð21Þ MSIF ¼ MSIFþ 1 if CDiF P TIF MSIF if CDiF < TIF ( MSF ¼MSIF m ð22Þ

3.2. Fusion of features from multi-spectral face images To enhance the performance of face recognition, the amplitude and phase features of face images from different spectrum are fused as shown in Fig. 3. Features are extracted from two single-spectrum face images using the algorithm described in Section 2. For each image, the extracted amplitude and phase features are fused using the algorithm described in Section 3.1 to generate two fused feature vectors FFVand FFIR in visible and infrared spectrum, respectively. These fused feature vectors are then

combined using Eq.(25), to generate an optimal fused fea- ture vector, FFV–IR,

FFV ¼ FA!V if O1ðx; yÞ > 0 F_{P !V} if O1ðx; yÞ < 0 ! ð23Þ FFIR¼ FA!IR if O2ðx; yÞ > 0 F_{P !IR} if O2ðx; yÞ < 0 ! ð24Þ FFV –IR¼ FFV if O3ðx; yÞ > 0 FFIR if O3ðx; yÞ < 0 ! ð25Þ where O1(x, y), O2(x, y) and O3(x, y) are the outputs of the three trained 2t-SVM. These feature vectors are further matched using the correlation based matching described in Eqs. (21) and (22). The SVM based feature fusion ap- proach can handle images that have variations in occlusion and expression.

3.3. Fusion of multi-spectral face images

Image level fusion for the IR and visible face images has been proposed by various researchers [12,13,23]. These algorithms are generally based on learning techniques such as genetic algorithms which are computationally intensive. In this paper, we propose an algorithm to fuse the visible and IR face image using DWT with mother wavelet Daubechies 9/7[2]. This mother wavelet is chosen because it is among the best filters for wavelet based operations such as image compression when operating in a distributed environment [27].

Since the visible and IR imaging devices usually have different spatial resolutions and viewpoints, face images may exhibit different pose and size. Before fusion, face images should be normalized and aligned. Face region is first detected using the triangle based face detection algo- rithm [10]. Preprocessing is then performed using affine transformation, which also handles the rotation, transla- tion and scaling. Let (x1, y1), (x2, y2), and (x3, y3) be the eyes

Face Image (Spectrum 2) Amplitude Features Phase Features Phase Features Amplitude Features Fused Feature Vector Fused Feature Vector Fused Feature Vector from Multi Spectral Images SVM based Feature Fusion SVM based Feature Fusion SVM based Feature Fusion Face Image (Spectrum 1)

Fig. 3. Feature fusion from multi-spectral face images.

204 R. Singh et al. / Information Fusion 9 (2008) 200–210

Figura 2.8: Fusão das características em imagens multi-espectrais da face [81].

para obter os IMFs no visível e no infravermelho. Um número de IMFs é seleccionado para a fusão. Os IMFs são pesados, sendo que estes pesos obtidos de forma empírica, para diminuir a informação mútua entre as imagens no visível e no infravermelho.

Os IMFs são combinados e o reconhecimento facial é realizado usando a imagem

fundida. As experiências foram realizadas em imagens da base de dados Equinox [4]. O reconhecimento facial foi realizado usando o FaceIt R _{e o desempenho foi avaliado} em imagens fundidas, obtidas através: da média, da fusão da PCA, fusão com base nas

wavelets _{e na fusão EMD. Os autores relatam que o melhor desempenho foi obtido}

com as imagens da fusão usando o EMD, mesmo na presença de mudança de condições de iluminação e expressões faciais.