AVALIAC ¸ ˜ AO DE T´ ECNICAS PARA O RECONHECIMENTO DE PESSOAS PELA FORMA DE ANDAR (GAIT
RECOGNITION)
CURITIBA
2010
AVALIAC ¸ ˜ AO DE T´ ECNICAS PARA O RECONHECIMENTO DE PESSOAS PELA FORMA DE ANDAR (GAIT
RECOGNITION)
Disserta¸c˜ ao apresentada como requisito parcial ` a obten¸c˜ ao do grau de Mestre.
Programa de P´ os-Gradua¸c˜ ao em Inform´ atica, Setor de Ciˆ encias Exatas, Universidade Federal do Paran´ a.
Orientadora: Profa. Dra. Olga R. P. Bellon Orientador: Prof. Dr. Luciano Silva
CURITIBA
2010
AGRADECIMENTOS
Agrade¸co primeiramente a Deus por ter me iluminado durante todo o per´ıodo de desenvolvimento deste trabalho.
Agrade¸co aos meus orientadores Olga Regina Pereira Bellon e Luciano Silva pela oportunidade de trabalhar junto ao Grupo IMAGO de Pesquisa e por todo o apoio, paciˆ encia e compreens˜ ao durante o meu mestrado.
Aos meus pais, Edgard e Neusa, que sempre me incentivaram e apoiaram em todos os momentos da minha vida. Aos meus irm˜ aos, Thiago e Edgard, pelas palavras de incentivo nos momentos em que eu mais precisava.
Aos grandes amigos que em Curitiba conquistei e que de alguma forma que seja colaboram com o desenvolvimento deste trabalho.
E por fim, agrade¸co ao CNPq pelo apoio financeiro durante meu mestrado.
SUM ´ ARIO
LISTA DE FIGURAS viii
LISTA DE TABELAS ix
RESUMO x
ABSTRACT xi
1 INTRODUC ¸ ˜ AO 1
2 BASES DE DADOS 5
2.1 UCSD Gait Data . . . . 5
2.2 Primeira vers˜ ao da Soton Gait Data . . . . 7
2.3 Soton Database . . . . 8
2.4 CASIA Database . . . . 9
2.5 UMD Database . . . . 11
2.6 USF Database . . . . 11
3 ABORDAGENS DE RECONHECIMENTO 16 3.1 Baseline . . . . 19
3.2 Abordagens Implementadas . . . . 24
3.2.1 Averaged Silhouette . . . . 25
3.2.2 Width Vectors e Mass Vectors . . . . 27
3.3 Experimentos e Abordagens Desenvolvidas . . . . 31
3.3.1 Abordagem Averaged Width Vectors . . . . 32
3.3.2 Abordagem Averaged Mass Vectors . . . . 33
3.3.3 Adi¸c˜ ao Silhueta M´ edia Mediana . . . . 35
3.3.4 Somente Silhueta M´ edia Mediana . . . . 37
3.3.5 M´ edia Medianas . . . . 38
3.3.6 Ciclos Intercalados . . . . 39 4 AN ´ ALISE DA QUALIDADE DAS SILHUETAS DA USF DATABASE 41
5 CONCLUS ˜ AO 46
A RESULTADOS DAS FILTRAGENS PARA A ABORDAGEM
BASELINE 53
B RESULTADOS DAS FILTRAGENS PARA A ABORDAGEM DE
SILHUETAS M ´ EDIAS 57
C RESULTADOS DAS FILTRAGENS PARA A ABORDAGEM DE
VETORES DE LARGURA 61
LISTA DE FIGURAS
1.1 Descri¸c˜ ao do ciclo da forma de andar [33] . . . . 2
2.1 Quadro de exemplo de uma sequˆ encia de v´ıdeo da UCSD Gait Data [21]. . 6
2.2 Imagem de exemplo da Soton Gait Data [9]. . . . 7
2.3 Imagens da base menor da Soton Database. . . . 9
2.4 Imagens do Conjunto A da CASIA Database. . . . 10
2.5 Imagens do Conjunto B da CASIA Database. . . . 10
2.6 Imagens do Conjunto C da CASIA Database. . . . 11
2.7 Imagens do primeiro (a, b, c, d) e segundo (e, f) conjunto de dados da UMD Database. . . . 12
2.8 Descri¸c˜ ao do local das grava¸c˜ oes da USF Database [38]. . . . 13
2.9 Imagens da USF Database com varia¸c˜ ao de superf´ıcie e cˆ amera. . . . 13
2.10 Poss´ıveis combina¸c˜ oes de varia¸c˜ oes para Maio e Novembro da USF Database. 14 3.1 Fluxograma das principais etapas do baseline algorithm . . . . 19
3.2 Subtra¸c˜ ao de Fundo: (a) quadro de uma sequˆ encia da forma com o retˆ angulo delimitador em vermelho, (b) imagem bin´ aria gerada no processo de subtra¸c˜ ao deste quadro e (c) silhueta extra´ıda. . . . 21
3.3 Exemplo de erros de segmenta¸c˜ ao de silhuetas que ocorrem no baseline algorithm. Na primeira linha (a-e) as imagens e na segunda linha (f-j) as silhuetas extra´ıdas [38]. . . . 22
3.4 Periodicidade da forma de andar: (a) regi˜ ao de uma silhueta (quadrado vermelho) utilizada no c´ alculo da periodicidade da forma de andar e (b) gr´ afico da varia¸c˜ ao da quantidade de pixels classificados como de movimento dessa regi˜ ao. . . . 23
3.5 Desempenho do baseline algorithm nos 12 experimentos [38]. . . . 24
3.6 Descri¸c˜ ao do processo de gera¸c˜ ao das silhuetas m´ edias a partir de uma sequˆ encia de silhuetas. . . . 25 3.7 Amostras de silhuetas de um ciclo da forma de andar (a) e uma silhueta
m´ edia (b) de um ciclo da forma de andar de um mesmo indiv´ıduo [27]. . . 26 3.8 Taxas de reconhecimento alcan¸cados pelo Averaged Silhouette. . . . 27 3.9 Exemplo de uma (a) silhueta e seus respectivos vetores de (b) largura e (c)
massa. . . . 27 3.10 Sinais de varia¸c˜ ao dos pixels classificados como de movimento de dois
meio ciclos diferentes: (a) antes do alinhamento por DTW e (b) ap´ os o alinhamento. . . . 29 3.11 Taxas de reconhecimento alcan¸cados por pela abordagem de vetores de
largura: (a) no per´ıodo de maio e (b) nos per´ıodos de maio e novembro do HumanID Gait Challenge Problem. . . . 30 3.12 Taxas de reconhecimento alcan¸cados por pela abordagem de vetores de
massa: (a) no per´ıodo de maio e (b) nos per´ıodos de maio e novembro do HumanID Gait Challenge Problem . . . . 31 3.13 Exemplo de uma (a) silhueta, (b) imagem bin´ aria de largura e (c) imagem
m´ edia de imagens bin´ arias de largura. . . . 32 3.14 Taxas de reconhecimento alcan¸cadas pela abordagem Averaged Width Vectors 33 3.15 Exemplo de uma (a) silhueta, (b) imagem bin´ aria de masas e (c) imagem
m´ edia de imagens bin´ arias de massa. . . . 34 3.16 Taxas de reconhecimento alcan¸cados pela abordagem Averaged Mass Vectors 35 3.17 Exemplo de um conjunto de silhuetas m´ edias de uma sequˆ encia da forma de
andar (a-f) e (g) uma silhueta m´ edia mediana gerada a partir desse conjunto. 36 3.18 Taxas de reconhecimento alcan¸cados pela abordagem de silhuetas m´ edias
sem e com a adi¸c˜ ao de silhuetas m´ edias medianas: (a) Experimentos A-F
e (b) Experimentos G-H. . . . 36
3.19 Taxas de reconhecimento alcan¸cados pela abordagem de silhuetas m´ edias sem e com o uso de apenas silhuetas m´ edias medianas: (a) Experimentos A-F e (b) Experimentos G-H. . . . 37 3.20 Taxas de reconhecimento alcan¸cados pela abordagem de silhuetas m´ edias
sem e com a nova forma de c´ alculo de similaridade: (a) Experimentos A-F e (b) Experimentos G-H. . . . 38 3.21 Taxas de reconhecimento alcan¸cados pela abordagem de silhuetas m´ edias
sem e com a intercala¸c˜ ao de ciclos: (a) Experimentos A-F e (b) Experimentos G-H. . . . 40 3.22 Taxas de reconhecimento alcan¸cados pela abordagem de silhuetas m´ edias
sem e com a intercala¸c˜ ao e a nova forma de c´ alculo de similaridade: (a) Experimentos A-F e (b) Experimentos G-H. . . . 40 4.1 Exemplos de silhuetas etiquetadas: (a) TAG PERDA PERNA, (b)
TAG PERDA DUAS PERNAS, (c) TAG PERDA CABECA,
(d) TAG SUB VAZIA, (e) TAG TODO QUADRO MOVIMENTO, (f) TAG RUIDOS, (g) TAG DEGRADACAO 1 e (h) TAG DEGRADACAO 2. 42 4.2 Diagrama do processo de filtragem das listas de sequˆ encias. . . . 43 A.1 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta
TAG PERDA PERNA. . . . 53 A.2 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta
TAG PERDA DUAS PERNAS. . . . 53 A.3 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta
TAG PERDA CABECA. . . . 54 A.4 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta
TAG SUB VAZIA. . . . 54 A.5 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta
TAG ERRO TODO QUADRO MOVIMENTO. . . . 55
A.6 Taxas de reconhecimento da abordagem baseline ap´ os filtragem da etiqueta TAG DEGRADACAO 1. . . . 55 A.7 Taxas de reconhecimento baseline algrithm ap´ os filtragem da etiqueta
TAG DEGRADACAO 2. . . . 56 B.1 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG PERDA PERNA. . . . 57 B.2 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG PERDA DUAS PERNAS. . . . 57 B.3 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG PERDA CABECA. . . . 58 B.4 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG SUB VAZIA. . . . 58 B.5 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG ERRO TODO QUADRO MOVIMENTO. . . . . 59 B.6 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG DEGRADACAO 1. . . . 59 B.7 Taxas de reconhecimento da abordagem de silhuetas m´ edias ap´ os filtragem
da etiqueta TAG DEGRADACAO 2. . . . 60 C.1 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG PERDA PERNA. . . . 61 C.2 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG PERDA DUAS PERNAS. . . . 61 C.3 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG PERDA CABECA. . . . 62 C.4 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG SUB VAZIA. . . . 62 C.5 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG ERRO TODO QUADRO MOVIMENTO. . . . 63
C.6 Taxas de reconhecimento da abordagem de vetores de largura ap´ os filtragem da etiqueta TAG DEGRADACAO 1. . . . 63 C.7 Taxas de reconhecimento da abordagem de vetores de largura ap´ os
filtragem da etiqueta TAG DEGRADACAO 2. . . . 64
LISTA DE TABELAS
2.1 Vis˜ ao geral das bases de dados da forma de andar . . . . 6 2.2 Conjunto de 12 experimentos da USF Database. . . . 15 4.1 Etiquetas utilizadas no processo de classifica¸c˜ ao da qualidade das silhuetas
obtidas pelo baseline algorithm . . . . 41 4.2 Quantidade de sequˆ encias antes e ap´ os processo de filtragem em cada lista. 43 4.3 Total de silhuetas classificadas nas listas de teste e galeria para cada tipo
de etiqueta. . . . 44
RESUMO
A possibilidade de uso da forma de andar de seres humanos como caracter´ıstica biom´ etrica para a identifica¸c˜ ao de indiv´ıduos ´ e o foco de estudo deste trabalho. Al´ em de apresentar vantagens em rela¸c˜ ao a outras biometrias, como o reconhecimento por face, impress˜ ao digital ou ´ıris, o reconhecimento de pessoas pela forma de andar possibilita a extra¸c˜ ao de caracter´ısticas biom´ etricas ` a distˆ ancia de forma n˜ ao invasiva, e n˜ ao necessita de imagens de alta resolu¸c˜ ao.
O presente trabalho apresenta um estudo das principais e atuais abordagens de reconhecimento de pessoas pela forma de andar, livres de modelos (model-free ). Foram exploradas as principais bases de dados utilizadas atualmente assim como os m´ etodos estado da arte. Cada uma das bases apresenta diferentes varia¸c˜ oes nos ambientes das filmagens (interno ou externo), tipo de superf´ıcie, tipo de cal¸cado, ˆ angulos de cˆ amera e a varia¸c˜ ao de datas de grava¸c˜ ao das sequˆ encias. Dessa forma, pode ser medido qual a influˆ encia de cada uma destas varia¸c˜ oes no processo de reconhecimento de pessoas pela forma de andar.
S˜ ao apresentadas em detalhes as etapas de funcionamento das abordagens de reconhecimento definidas como baseline, silhuetas m´ edias, vetores de largura e vetores de massa. Modifica¸c˜ oes na abordagem de silhuetas m´ edias foram propostas e os resultados obtidos s˜ ao discutidos em detalhes.
Ap´ os a an´ alise de qualidade das silhuetas extra´ıdas da USF Database, foi efetuada a
classifica¸c˜ ao de uma parcela das silhuetas da base de acordo com a presen¸ca de erros de
segmenta¸c˜ ao. Por meio dessa classifica¸c˜ ao s˜ ao apresentadas as taxas de reconhecimento
obtidas ap´ os a remo¸c˜ ao de cada tipo de erro da base, de forma a poder avaliar a influˆ encia
destes erros nos resultados dos m´ etodos implementados.
ABSTRACT
The potential of using the human gait as a biometric feature for identification is the goal of this work.
The human gait recognition allows the extraction of biometric features at distance in a non-invasive way without requiring high resolution images, and also presents advantages in comparison to other biometrics, such as face, fingerprint and iris recognition.
This work presents a study of the main current approaches of gait recognition, model-free. The main databases employed in state-of-the-art methods were exploited.
Each database presents different environment variations, such as indoor or outdoor sets, flooring, shoes, viewpoints and time instants. So the influence of each variation in the gait recognition process can be evaluated.
The working steps of approaches defined as baseline, averaged silhouettes, width vectors and mass vectors is also presented. Modification in the averaged silhouettes approach were proposed, and the results are discussed in details.
After a quality analysis of the silhouettes extracted from USF Database, a portion of
the resulting database silhouettes were classified according to the presence of segmentation
errors. The recognition rates are presented after removing each error type of the
database separately, in order to evaluate the influence of these errors in the results of
the implemented methods.
CAP´ ITULO 1 INTRODUC ¸ ˜ AO
O estudo da forma de andar (”gait” em inglˆ es) de seres humanos para ser utilizado como biometria est´ a adquirindo destaque entre as biometrias existentes, pois possibilita a identifica¸c˜ ao de indiv´ıduos a distˆ ancia e sem a necessidade de imagens de alta qualidade.
Essas condi¸c˜ oes n˜ ao s˜ ao favor´ aveis ` a outras biometrias como o reconhecimento por face, impress˜ ao digital ou pela ´ıris. Estudos de v´ arias ´ areas como psicologia, medicina e at´ e literatura demonstram ind´ıcios da possibilidades de que os seres humanos podem ser reconhecidos pela sua forma de andar.
De acordo com Nixon et al. [32], Shakespeare j´ a demonstrava em v´ arios de seus textos ind´ıcios da capacidade dos seres humanos em reconhecer outros seres pela sua forma de andar, como exemplo em A Tempestade ”High’st Queen of state, Great Juno comes; I know her by her gait” e Twelfth Night ”wherein, by the color of his beard, the shape of his leg, the manner of his gait, the expressure of his eye, forehead, and complexion, he shall find himself most feelingly personated”.
Ainda segundo Nixon et al. [32], Arist´ oteles pode ser considerado um dos primeiros
a estudar a forma de andar. Outros grandes nomes como Leonardo da Vinci e Galileu
contribu´ıram indiretamente para o avan¸co das pesquisas, pois Leonardo da Vinci estudou
vetores de for¸ca e Galileu iniciou a aplica¸c˜ ao de seus conhecimentos da mecˆ anica na
biomecˆ anica. Borelli (1608-1679) foi um dos primeiros a estudar a locomo¸c˜ ao humana
e estava interessado nos princ´ıpios mecˆ anicos da locomo¸c˜ ao. Posteriormente os irm˜ aos
Weber (1836) investigaram a forma de andar dos seres humanos, tanto o andar como
o correr, utilizando instrumentos simples tentaram descrever o movimento dos membros
inferiores relacionando-os ao movimento de um pˆ endulo. Por´ em era necess´ ario a utiliza¸c˜ ao
de t´ ecnicas matem´ aticas mais avan¸cadas e instrumentos mais precisos para que essas ideias
pudessem ser comprovadas
Murray et al. [31] desenvolveram pesquisas na ´ area da medicina com o objetivo de classificar as componentes da forma de andar dos seres humanos para o tratamento de pacientes com anormalidades patol´ ogicas. A inten¸c˜ ao era classificar as componentes da forma de andar de pacientes com condi¸c˜ oes patol´ ogicas normais e descobrir suas faixas de varia¸c˜ ao para posteriormente comparar com as componentes e varia¸c˜ oes de pacientes com condi¸c˜ oes patol´ ogicas anormais [30]. Para efetuar a coleta de informa¸c˜ oes as pessoas envolvidas no estudo deveriam utilizar marcadores espalhados ao corpo, t´ atica comum para estudos feitos em laborat´ orios, por´ em inadequada para prop´ ositos de reconhecimento.
Alguns termos envolvidos ao ciclo da forma de andar s˜ ao descritos na Figura 1.1. O ciclo da forma de andar (gait cycle) ´ e definido como o espa¸co de tempo entre o momento em que o p´ e direto ou esquerdo de uma pessoa entra em contato com o solo durante o ato de andar at´ e que este mesmo p´ e entre novamente em contato com o solo. Durantes os ciclos as pernas podem ser classificadas em dois momentos: apoiada ao solo suportando o peso do corpo (stance) ou em movimento (swing ).
Figura 1.1: Descri¸c˜ ao do ciclo da forma de andar [33]
De acordo com Nixon et al. [32], por meio do estudo feito por Murray et al. [31],
pode ser conclu´ıdo que se todos os movimentos da forma de andar forem levados em
considera¸c˜ ao, cada indiv´ıduo possui uma forma de andar ´ unica. Por´ em algumas dessas
componentes s´ o podem ser mensuradas a partir de uma vis˜ ao superior dos indiv´ıduos,
como exemplo os movimentos de rota¸c˜ ao da p´ elvis e do t´ orax. Murray et al. [31]
demonstrou que os movimentos destas componentes, movimentos de rota¸c˜ ao da p´ elvis e do t´ orax, s˜ ao altamente vari´ aveis de um indiv´ıduo para outro entretanto n˜ ao aparentam ser constantes em ciclos repetidos da forma de andar. J´ a os movimentos de rota¸c˜ ao do tornozelo, inclina¸c˜ ao da p´ elvis e o deslocamento espacial possuem uma consistˆ encia individual em ciclos repetidos da forma de andar, por´ em medir esses movimentos por meio de imagens reais (sem o uso de marcadores) ´ e muito dif´ıcil [32].
Resultados obtidos por Johanson [22] em pesquisas na ´ area da Psicologia demostraram que os seres humanos possuem a capacidade de reconhecer por meio de pontos de luz em movimento o padr˜ ao de locomo¸c˜ ao humano entre qualquer outro padr˜ ao de movimento.
Cutting e Kozlowski [11] conseguiram demonstrar em seus estudos que al´ em da capacidade de reconhecer padr˜ oes de movimento, eles conseguiam reconhecer amigos. Posteriormente outros experimentos mostraram que mais caracter´ısticas poderiam ser extra´ıdas tais como, gˆ enero, dire¸c˜ ao do movimento e condi¸c˜ oes de transporte de objetos.
Estudos mais atuais [39] por meio do uso de v´ıdeo ao inv´ es de pontos de luz em movimento demonstraram que realmente os seres humanos possuem a capacidade de reconhecer pessoas pela sua forma de andar, e al´ em disso memorizar esta forma para posteriores reconhecimentos. Tamb´ em foi poss´ıvel demonstrar que mesmo sobre condi¸c˜ oes adversas, como varia¸c˜ ao de ilumina¸c˜ ao ou de espa¸co de tempo exposto a uma sequˆ encia de v´ıdeo, o reconhecimento ainda poderia ser alcan¸cado.
Com o passar do tempo grandes avan¸cos foram alcan¸cados na ´ area de vis˜ ao computacional, possibilitando dessa forma an´ alises mais aprofundadas do comportamento dos movimentos do corpo humano e por consequˆ encia o desenvolvimento de v´ arias abordagens para a an´ alise [1, 14, 18, 29, 41] e reconhecimento da forma de andar dos seres humanos [25].
O uso da forma de andar de seres humanos como caracter´ıstica biom´ etrica para a
identifica¸c˜ ao de indiv´ıduos apresenta vantagens em rela¸c˜ ao a outras biometrias, como
o reconhecimento por face, impress˜ ao digital ou ´ıris, pois possibilita a extra¸c˜ ao de
caracter´ısticas biom´ etricas ` a distˆ ancia de forma n˜ ao invasiva e n˜ ao necessita de imagens
de alta resolu¸c˜ ao. Estas vantagens s˜ ao os principais motivadores para o desenvolvimento
deste trabalho.
O presente trabalho tem por finalidade apresentar um estudo sobre o uso da forma de andar dos seres humanos como uma caracter´ıstica biom´ etrica na identifica¸c˜ ao de indiv´ıduos, um levantamento das principais abordagens de reconhecimento desenvolvidas e as bases utilizadas para avalia¸c˜ ao destas abordagens. Outro objetivo ´ e propor modifica¸c˜ oes que melhorem os resultados de reconhecimento das abordagens estudadas.
Este trabalho est´ a organizado conforme descrito a seguir. O Cap´ıtulo 2 apresenta quais foram as primeiras bases de dados utilizadas para o estudos da forma de andar e quais s˜ ao as atuais bases utilizadas na avalia¸c˜ ao das abordagens de reconhecimento.
No Cap´ıtulo 3 s˜ ao apresentadas os m´ etodos de reconhecimento estudados, as etapas de
processamento dos principais m´ etodos e os resultados de experimentos desenvolvidos. No
Cap´ıtulo 4 ´ e feito uma an´ alise da qualidade das silhuetas extra´ıdas de uma parcela da
USF Database. Ap´ os esta an´ alise, s˜ ao apresentadas as taxas de reconhecimento obtidas
ap´ os a filtragem da base. Por fim, no Cap´ıtulo 5 s˜ ao apresentadas as conclus˜ oes finais e
os propostos trabalhos futuros.
CAP´ ITULO 2 BASES DE DADOS
Inicialmente, para que estudos relacionados a an´ alise da forma de andar dos seres humanos possam ser desenvolvidos, ´ e necess´ ario que exista previamente uma base de dados com v´ arias sequˆ encias de imagens (v´ıdeos) sobre o assunto.
As primeiras bases (UCSD Gait Data e a primeira vers˜ ao da Soton Gait Data, ver Se¸c˜ oes 2.1 e 2.2) de dados surgiram com a inten¸c˜ ao de descobrir se o reconhecimento pela an´ alise do andar poderia ser realmente alcan¸cado. J´ a as atuais bases de dados (Soton Database, CASIA Database, UMD Database e USF Database, ver se¸c˜ oes 2.3, 2.4, 2.5 e 2.6) foram desenvolvidas com o objetivo de serem usadas na avalia¸c˜ ao dos m´ etodos de reconhecimento. As atuais bases s˜ ao maiores em rela¸c˜ ao a quantidade de indiv´ıduos, apresentam varia¸c˜ oes de ambientes (interno e externo), varia¸c˜ oes e at´ e segmenta¸c˜ ao manual de sequˆ encias de v´ıdeo para uso em ground truths. A Tabela 2.1 apresenta uma vis˜ ao geral sobre as bases de dados da forma de andar que ser˜ ao abordadas neste cap´ıtulo.
2.1 UCSD Gait Data
A UCSD Gait Data [26] foi desenvolvida em 1998 pelo Visual Computing Group da University of California San Diego. Esta foi a primeira base de dados a ser disponibilizada e surgiu inicialmente composta por 5 indiv´ıduos e 6 sequˆ encias de v´ıdeo por indiv´ıduo. Em seguida suas sequˆ encias foram estendidas de 5 para 6 por indiv´ıduo e um novo indiv´ıduo foi adicionado ` a base, este o ´ unico com 7 sequˆ encias de v´ıdeo.
As grava¸c˜ oes foram divididas em duas sess˜ oes de datas diferentes. Para a aquisi¸c˜ ao das imagens foi utilizada um cˆ amera Sony Hi8 que foi posicionada em dire¸c˜ ao a um muro de um p´ atio externo. As pessoas deviam andar em um caminho circular em torno da cˆ amera e somente uma pessoa por vez deveria passar pelo campo de vis˜ ao da cˆ amera.
A cˆ amera foi posicionada de forma que as pessoas fossem filmadas andando com a sua
Tabela 2.1: Vis˜ ao geral das bases de dados da forma de andar
N´umero de
Nome Indiv´ıduos Ambiente Data Varia¸c˜oes
UCSD Gait Data 7 Externo 1998 –
Primeira vers˜ao da Soton Gait Data
10 Interno (chromakey)
1996 –
Soton Database 116 Externo, interno (chromakey) e em uma esteira ergom´etrica
2001 2 ˆangulos de vis˜ao (fronto paralela e inclinada)
12 Interno 2001 Carregando mochila ou pasta, tipos de cal¸cados, tipos de roupas, varia¸c˜ao de velocidades e ˆangulos de vis˜ao (fronto paralela, fronto paralela elevada, inclinada e frontal)
CASIA Database 20 Externo 2001 3 ˆangulos de vis˜ao (fronte paralela, inclinada e frontal)
124 Interno 2005 11 ˆangulos de vis˜ao, carregando mochilha e usando casaco
153 Externo e noturno (infravermelho)
2005 velocidade (normal, r´apido e lento) e carregando mochila
UMD Database 25 Externo 2001 2 ˆangulos de vis˜ao (frontal e fronte paralela)
55 Externo 2001 2 ˆangulos de vis˜ao (frontal e fronte paralela)
USF Database 74 Externo 2001 2 ˆangulos de vis˜ao (direita e esquerda), 2 tipos de superf´ıcie e dois tipos de cal¸cados
122 (74+48) Externo 2001 2 ˆangulos de vis˜ao (direita e esquerda), 2 tipos de superf´ıcie, dois tipos de cal¸cados, carregando ou n˜ao pasta e dois intervalos de coleta das imagens
fronte paralela a posi¸c˜ ao da cˆ amera, isto ´ e, a dire¸c˜ ao em que as pessoas deveriam andar
´ e perpendicular ` a dire¸c˜ ao em que a cˆ amera estava posicionada. Durante as filmagens as pessoas percorreram o caminho circular durante aproximadamente quinze minutos e foram removidas as duas primeiras passagens em frente a cˆ amera para aguardar a estabiliza¸c˜ ao da cˆ amera e tamb´ em para que as pessoas estabele¸cam um andar mais est´ avel.
As sequˆ encias de v´ıdeo da base possu´ıam aproximadamente 100 quadros a uma taxa de 30 quadros por segundo com 640x480 pixels de dimens˜ ao. A Figura 2.1 exemplifica um quadro de uma sequˆ encia de v´ıdeo da base.
Figura 2.1: Quadro de exemplo de uma sequˆ encia de v´ıdeo da UCSD Gait Data [21].
2.2 Primeira vers˜ ao da Soton Gait Data
A primeira vers˜ ao da Soton Gait Data surgiu em Southampton (University of Southampton) no Reino Unido em 1996 e foi desenvolvida para ser utilizada em estudos baseados na abordagem model-based de reconhecimento da forma de andar. Os v´ıdeos foram obtidos por meio de uma cˆ amera CCD ligada a um gravador de v´ıdeo para posteriormente serem digitalizados. O posicionamento da cˆ amera foi o mesmo adotado na UCSD Gait Data, as pessoas envolvidas nas filmagens passavam em frente a cˆ amera com a sua fronte paralela a posi¸c˜ ao da cˆ amera, por´ em as filmagens desta base foram feitas em um ambiente fechado com um fundo de pano e a ilumina¸c˜ ao era controlada.
Para contornar problemas como a dificuldade de distinguir a perna direita da perna esquerda e a oclus˜ ao de uma perna pela outra, as pessoas a serem filmadas utilizavam uma cal¸ca especial com uma tarja preta em sua lateral (Fig. 2.2).
Figura 2.2: Imagem de exemplo da Soton Gait Data [9].
Foram gravadas dez sequˆ encias de cada pessoa passando em frente a cˆ amera, por´ em as trˆ es primeiras e as trˆ es ultimas sequˆ encias foram descartadas restando quatro sequˆ encias por pessoa. As primeiras e ´ ultimas sequˆ encias s˜ ao descartadas na inten¸c˜ ao de obter somente sequˆ encias onde as pessoas apresentem um andar mais est´ avel e a uma velocidade constante. Mesmo sem definir um caminho circular ao qual as pessoas deveriam percorrer como foi feito na UCSD Gait Data, as sequˆ encias selecionadas conseguiram registar o ato de andar a uma velocidade constante.
A UCSD Gait Data e a primeira vers˜ ao da Soton Gait Data ainda est˜ ao dispon´ıveis,
mas atualmente est˜ ao superadas por bases mais atuais tanto na quantidade de indiv´ıduos
e tamb´ em em termos de varia¸c˜ oes da forma de andar (fatores que exercem influˆ encia no
desempenho do reconhecimento da forma de andar).
2.3 Soton Database
A Soton Database
1possui sequˆ encias de v´ıdeo de ambientes internos e externos e est´ a dividida em duas bases: uma base com um grande n´ umero de pessoas (large-subject database) e outra com um n´ umero menor de pessoas (small-subject database ). As sequˆ encias de v´ıdeo foram armazenadas em formato de v´ıdeo digital (DV) e algoritmos para capturar os quadros de cada sequˆ encias est˜ ao dispon´ıveis em Python e C junto com a base.
A base maior possui 116 indiv´ıduos e foi criada com a inten¸c˜ ao de estudar o potencial da forma de andar como biometria e analisar as varia¸c˜ oes da forma de andar entre pessoas diferentes. As filmagens dessa base foram obtidas em trˆ es tipos de cen´ arios: trajeto em ambiente externo, trajeto em ambiente interno e em uma esteira ergom´ etrica.
O trajeto definido para o ambiente interno e externo s˜ ao os mesmos, o indiv´ıduo a ser filmado deveria percorrer um trajeto em linha reta e quando chegar ao seu final retornaria fazendo o caminho inverso. Por´ em para que o indiv´ıduo n˜ ao parasse quando fosse fazer o caminho inverso, ao final deste trajeto ele deveria retornar desenvolvendo um percurso circular, mantendo assim a sua forma de andar est´ avel e cont´ınua. Para o cen´ ario da esteira ergom´ etrica a pessoa a ser filmada deveria andar a uma velocidade de 4.1 km/h e a uma inclina¸c˜ ao de 3
◦na inten¸c˜ ao de se obter um andar natural.
Nos cen´ arios de ambiente interno (trajeto em ambiente interno e em esteira ergom´ etrica) foram utilizados refletores de luz para controlar a ilumina¸c˜ ao do ambiente e as paredes e o ch˜ ao foram cobertos por um fundo de cor verde (chromakey ). Todos esses cuidados foram tomados para reduzir a intensidade das sobras no ambiente das filmagens e para que os processos de subtra¸c˜ ao de fundo e extra¸c˜ ao de informa¸c˜ ao apresentem bons resultados. J´ a nas filmagens externas, n˜ ao h´ a controle de ilumina¸c˜ ao e outros fatores influenciam a qualidade dos resultados dos processos de extra¸c˜ ao de informa¸c˜ ao das sequˆ encias de v´ıdeo. Esses fatores do mundo real (varia¸c˜ oes de ilumina¸c˜ ao, varia¸c˜ oes nas sombras, movimentos de galhos de ´ arvores e objetos se movimentando ao fundo da cena) devem ser particularmente tratados para que melhores resultados sejam obtidos.
1
http://www.gait.ecs.soton.ac.uk/data.php3 ( ´ Ultimo acesso em 07/01/2009)
Em cada, cen´ ario duas cˆ ameras (Canon MV30i e Sony TRV900E) foram posicionadas em ˆ angulos diferentes, uma perpendicular a dire¸c˜ ao em que as pessoas andavam (fronto- paralela a dire¸c˜ ao da cˆ amera) e a outra a um ˆ angulo mais inclinado.
A base menor possui 12 indiv´ıduos e foi criada com a inten¸c˜ ao de analisar a varia¸c˜ ao da forma de andar em situa¸c˜ oes diferentes, como carregando uma mochila, carregando uma pasta de documentos, usando cal¸cados diferentes, usando roupas diferentes e andando a velocidades diferentes (Fig. 2.3). As filmagens dessa base foram obtidas em um ambiente interno, o mesmo utilizado na base maior com o mesmo trajeto, com ilumina¸c˜ ao controlada por refletores de luz e o uso de chromakey. Por´ em al´ em das duas cˆ ameras utilizadas nas filmagens da base anterior, mais duas cˆ ameras foram adicionadas, uma posicionada na dire¸c˜ ao em que as pessoas andam (frontal) e a outra perpendicular a dire¸c˜ ao em que as pessoas andam a uma altura mais elevada (fronto-paralela elevada).
(a) Perpendicular (fronto-paralela)
(b) Inclinada (c) Perpendicular elevada (fronte paralela elevada)
(d) Frontal
Figura 2.3: Imagens da base menor da Soton Database.
2.4 CASIA Database
A CASIA Database
2foi desenvolvida pelo Instituto de Automa¸c˜ ao da Academia Chinesa de Ciˆ encias (CASIA). As pessoas a serem filmadas deveriam percorrer um caminho em linha reta, somente uma pessoa aparece em cada sequˆ encia de v´ıdeo sem nenhuma ocorrˆ encia de oclus˜ ao. A base ´ e composta por 3 conjuntos de dados: Conjunto A, Conjunto B e Conjunto C.
O Conjunto A foi gerado em 10 de dezembro de 2001 e possui 20 pessoas, no total de 240 sequˆ encias de v´ıdeo, 12 sequˆ encias por pessoa (4 sequˆ encias para cada ˆ angulo
2
http://www.sinobiometrics.com/english/Gait%20Databases.asp ( ´ Ultimo acesso em 07/01/2009)
de vis˜ ao). As sequˆ encias foram capturadas em um ambiente externo a partir de trˆ es ˆ
angulos diferentes (Fig. 2.4): perpendicular ao caminho a ser percorrido (fronte paralela), inclinado e frontal. Todas as sequˆ encias deste conjunto foram separadas em quadros e est˜ ao dispon´ıveis no formato PNG.
(a) Frontal (b) Inclinado (c) Perpendicular (fronte paralela)
Figura 2.4: Imagens do Conjunto A da CASIA Database.
O Conjunto B foi gerado em janeiro de 2005 e ´ e composto por sequˆ encias de v´ıdeo de 124 pessoas. As sequˆ encias de v´ıdeo est˜ ao dispon´ıveis no formato AVI e foram capturadas em um ambiente interno a partir de 11 ˆ angulos diferentes. Al´ em de possuir varia¸c˜ oes de ponto de vis˜ ao este conjunto possui varia¸c˜ oes de tipo de roupa (casaco) e o carregamento ou n˜ ao de uma mochila (carregando peso) (Fig. 2.5).
(a) Normal (b) Casaco (c) Mochila
Figura 2.5: Imagens do Conjunto B da CASIA Database.
O ´ ultimo conjunto, Conjunto C, foi gerado durante os meses de julho e agosto de 2005
e ´ e composto por 153 pessoas. As sequˆ encias de v´ıdeo deste conjunto est˜ ao dispon´ıveis em
formato AVI e foram capturadas em um ambiente externo por meio de cˆ ameras t´ ermicas
(infravermelho) durante a noite. Este conjunto possui quatro condi¸c˜ oes de varia¸c˜ ao da
forma de andar (Fig. 2.6): andar normal, andar r´ apido, andar lento e carregando um
mochila.
(a) Normal (b) Carregando mochila
Figura 2.6: Imagens do Conjunto C da CASIA Database.
2.5 UMD Database
A UMD Database
3foi desenvolvida pela University of Maryland e ´ e composta por dois conjuntos de dados. O primeiro conjunto possui 25 pessoas filmadas individualmente por uma cˆ amera de vigilˆ ancia (Phillips G3 EnviroDome) durante os meses de fevereiro e maio de 2001. Foram definidos quatro caminhos aos quais as pessoas deveriam percorrer durante as filmagens (Fig. 2.7a-d): frontal/ida, frontal/volta, lateral/dire¸c˜ ao direita-esquerda e lateral/dire¸c˜ ao esquerda-direita. O segundo conjunto ´ e composto por 55 pessoas filmadas individualmente por duas cˆ ameras de vigilˆ ancia (Phillips G3 EnviroDome) nos meses de junho e julho de 2001. As cˆ ameras foram ortogonalmente (90
◦) posicionadas uma em rela¸c˜ ao a outra a uma altura de 1,5 metros do solo. Em cada sequˆ encia de v´ıdeo as pessoas foram filmadas por dois ˆ angulos diferentes percorrendo um caminho em forma de “T” (Fig. 2.7e-f). Todas as sequˆ encias foram gravadas a uma resolu¸c˜ ao de 640×480 pixels.
2.6 USF Database
Conhecida como a base do HumanID Gait Challenge Problem, a USF Database
4foi gravada na University of South Florida. Inicialmente era composta de 452 sequˆ encias de v´ıdeo de 74 pessoas, por´ em posteriormente foi expandida para 1870 sequˆ encias de v´ıdeo de 122 pessoas. As grava¸c˜ oes foram divididas em duas sess˜ oes de datas diferentes, a primeira em maio de 2001 e a segunda em novembro de 2001.
Um percurso el´ıptico com aproximadamente 15 metros de comprimento por 4 metros
3
http://www.umiacs.umd.edu/labs/pirl/hid/data.html ( ´ Ultimo acesso em 07/01/2009)
4
http://figment.csee.usf.edu/GaitBaseline/Data%20Set.htm ( ´ Ultimo acesso em 07/01/2009)
(a) Frontal/ida (b) Frontal/volta (c) Lateral/dire¸ c˜ ao direita-esquerda
(d) Lateral/dire¸ c˜ ao esquerda-direita
(e) Cˆ amera 6 (f) Cˆ amera 8
Figura 2.7: Imagens do primeiro (a, b, c, d) e segundo (e, f) conjunto de dados da UMD Database.
de largura foi definido como caminho ao qual as pessoas deveriam andar durante as grava¸c˜ oes. Duas cˆ ameras dispostas em ˆ angulos diferentes foram utilizadas para filmar as pessoas enquanto andavam no percurso definido. Ao fundo da cena foram colocadas duas placas com o desenho de um tabuleiro de xadrez para serem usados em experimentos quem necessitem da calibra¸c˜ ao das cˆ ameras. Cada cˆ amera foi posicionada a uma distˆ ancia de aproximadamente 15 metros da extremidade mais pr´ oxima do percurso el´ıptico, de forma que todo o percurso estivesse em seu campo de vis˜ ao (Fig. 2.8).
Todas as sequˆ encias foram gravas em ambientes externos (Fig. 2.9) sobre a influˆ encia de movimentos no fundo das sequˆ encias e de sombras geradas por nuvens e pela luz do sol. Foi feita a escolha por ambientes externos por j´ a existirem v´ arias bases em ambientes internos e abordagens com desempenho de reconhecimento muito bons nessas bases. Outro motivo ´ e o interesse em usar o reconhecimento pela forma de andar em ambientes externos e a distˆ ancia, condi¸c˜ oes que n˜ ao s˜ ao favor´ aveis a outras biometrias.
A USF Database possui cinco varia¸c˜ oes, as quais foram escolhidas baseadas na hip´ otese
de que exercem influˆ encia na forma de andar ou na extra¸c˜ ao de caracter´ısticas da forma
de andar a partir de imagens. As cinco varia¸c˜ oes foram selecionadas a partir de uma
grande lista de varia¸c˜ oes, lista que surgiu ap´ os discuss˜ oes entre v´ arios pesquisadores do
Figura 2.8: Descri¸c˜ ao do local das grava¸c˜ oes da USF Database [38].
(a) concreto - cˆ amera da esquerda (b) concreto - cˆ amera da direita
(c) grama - cˆ amera da esquerda (d) grama - cˆ amera da direita
Figura 2.9: Imagens da USF Database com varia¸c˜ ao de superf´ıcie e cˆ amera.
HumanID Program sobre a importˆ ancia das varia¸c˜ oes na an´ alise da forma de andar.
Combinando as cinco varia¸c˜ oes existem 32 poss´ıveis combina¸c˜ oes diferentes, por´ em nem todos os indiv´ıduos da base possuem sequˆ encias de v´ıdeo de todas as combina¸c˜ oes. Para cada varia¸c˜ oes existem duas poss´ıveis varia¸c˜ oes (Fig. 2.10
5): dois tipos de superf´ıcie
5
http://figment.csee.usf.edu/GaitBaseline/Data%20Set.htm ( ´ Ultimo acesso em 07/01/2009)
(concreto e grama), dois tipos de cal¸cado, carregando ou n˜ ao uma pasta de documentos (carregando peso), dois diferentes ˆ angulos de cˆ amera e as sequˆ encias foram coletadas em duas datas diferentes (intervalo de tempo de seis meses).
Figura 2.10: Poss´ıveis combina¸c˜ oes de varia¸c˜ oes para Maio e Novembro da USF Database.
Al´ em da grande quantidade de sequˆ encias de v´ıdeo e varia¸c˜ oes da forma de andar, a USF Database possui para cada sequˆ encia da base um arquivo contendo as coordenadas da regi˜ ao (bounding box ) onde se localiza a pessoa a ser analisada em cada quadro da sequˆ encia. A base tamb´ em disponibiliza a rotula¸c˜ ao manual de um ciclo da forma de andar de 72 indiv´ıduos da base sob a influˆ encia de diferentes varia¸c˜ oes. As silhuetas foram rotuladas separando por meio de cores diferentes as seguintes parte do corpo:
cabe¸ca, t´ orax, bra¸co direito, bra¸co esquerdo, coxa esquerda, coxa direita, perna esquerda e perna direita. Por meio das rotula¸c˜ oes manuais ´ e poss´ıvel comparar os resultados obtidos pelos segmentadores autom´ aticos e tamb´ em detectar poss´ıveis erros gerados durante o processo de segmenta¸c˜ ao, al´ em de possibilitar o estudo da rela¸c˜ ao entre o desempenho do reconhecimento e a qualidade da segmenta¸c˜ ao das silhuetas.
Com o objetivo de possibilitar a an´ alise de desempenho das abordagens de reconhecimento da forma de andar o projeto HumanID Gait Challenge Problem
6disponibiliza um conjunto de 12 experimentos e um algoritmo de reconhecimento (baseline
6
http://www.gaitchallenge.org ( ´ Ultimo acesso em 12/07/2010)
algorithm ) para ser usado na USF Database. O baseline algorithm ´ e disponibilizado com a inten¸c˜ ao de que seus resultados de desempenho nos 12 experimentos sejam utilizados como uma referˆ encia de compara¸c˜ ao com outras abordagens de reconhecimento.
Os 12 experimentos est˜ ao classificados de acordo com o n´ıvel de dificuldade de reconhecimento, estes n´ıveis s˜ ao alcan¸cados por meio da combina¸c˜ ao de v´ arias varia¸c˜ oes da forma de andar existentes na USF Database (Tab. 2.2
7). Este conjunto de experimentos possibilita a avalia¸c˜ ao das abordagens de reconhecimento na presen¸ca de cada uma das varia¸c˜ oes da base. Dessa forma, ´ e poss´ıvel analisar quais abordagens de reconhecimento mais adequadas a um determinado cen´ ario controlado. Outra possibilidade ´ e utilizar estes experimentos para estudar quais as componentes da forma de andar s˜ ao alteradas ap´ os a presen¸ca de uma determinada varia¸c˜ oes.
Tabela 2.2: Conjunto de 12 experimentos da USF Database.
Qtd. Pessoas
Experimento Total Somente Maio Varia¸c˜oes
A 122 71 ˆangulo de vis˜ao
B 54 41 cal¸cado
C 54 41 ˆangulo de vis˜ao e cal¸cado
D 121 70 superf´ıcie
E 60 44 superf´ıcie e cal¸cado
F 121 70 superf´ıcie e ˆangulo de vis˜ao G 60 44 superf´ıcie, cal¸cado e ˆangulo de vis˜ao
H 120 70 carregando pasta
I 60 47 cal¸cado e carregando pasta
J 120 70 ˆangulo de vis˜ao e carregando pasta K 33 33 varia¸c˜ao de tempo (cal¸cado e roupa) L 33 33 superf´ıcie e varia¸c˜ao de tempo
Dentre as bases apresentadas, a USF Database foi a escolhida para avaliar o desempenho das abordagens e os experimentos que ser˜ ao apresentados neste trabalho.
Esta base de dados foi escolhida por apresentar uma grande quantidade de indiv´ıduos, varia¸c˜ oes e um conjunto definido de experimentos que possibilitam a avalia¸c˜ ao das abordagens de reconhecimento com e sem a presen¸ca das varia¸c˜ oes citadas anteriormente.
7
http://marathon.csee.usf.edu/GaitBaseline/Experiments.htm ( ´ Ultimo acesso em 11/07/2010)
CAP´ ITULO 3
ABORDAGENS DE RECONHECIMENTO
As abordagens de reconhecimento da forma de andar podem ser classificadas em dois tipos: baseados em modelos e livres de modelo. Os m´ etodos baseados em modelos s˜ ao caracterizados pela constru¸c˜ ao de um modelo pr´ evio para descrever os movimentos do corpo humano. Este modelo ´ e respons´ avel em manter informa¸c˜ oes sobre a posi¸c˜ ao e trajet´ oria dos membros humanos extra´ıdos em cada quadro de uma dada sequˆ encia de v´ıdeo. Um exemplo deste tipo de abordagem ´ e apresentado por Cunado et al. [9] o qual descrevem a movimenta¸c˜ ao das pernas das pessoas como a movimenta¸c˜ ao de um pˆ endulo. As caracter´ısticas utilizadas no reconhecimento s˜ ao extra´ıdas de componentes de frequˆ encia da varia¸c˜ ao de inclina¸c˜ ao das pernas. Estas informa¸c˜ oes s˜ ao obtidas com a ajuda da transformada de Fourier. J´ a Johnson and Bobick [4, 5], extraem parˆ ametros est´ aticos do corpo durante o ato de andar para serem utilizados no processo de reconhecimento. Nesta abordagem somente os parˆ ametros est´ aticos foram utilizados sem analisar diretamente a dinˆ amica dos padr˜ oes da forma de andar. Posteriormente, BenAbdelkader et al. [2, 3] utilizaram auto-similaridade e parˆ ametros estruturais (largura de passo e ritmo do andar) para descrever e reconhecer a forma de andar de indiv´ıduos.
As abordagens livres de modelos se caracterizam por n˜ ao necessitar da constru¸c˜ ao de um modelo pr´ evio do corpo humano. Estes m´ etodos analisam as sequˆ encias de imagens geradas durante o processo de caminhar, atrav´ es da detec¸c˜ ao de movimento e/ou forma que os indiv´ıduos produzem, para extrair caracter´ısticas necess´ arias ao reconhecimento.
Uma das vantagens das abordagens baseadas em modelos em rela¸c˜ ao as livres de modelos
´ e a imunidade a mudan¸cas de roupa e de ponto de vis˜ ao (ˆ angulo de cˆ amera), por´ em, por outro lado exige um grande custo computacional.
Lee e Grimson [25] apresentaram um m´ etodo simples para a descri¸c˜ ao da forma de
andar. Este m´ etodo est´ a diretamente relacionado ao apresentado por Little e Boyd [26],
entretanto ao inv´ es analisar as silhuetas por inteiro as silhuetas s˜ ao divididas em regi˜ oes para serem processadas individualmente. Para cada uma das regi˜ oes da silhueta ´ e feito o encaixe de uma elipse sobre a ´ area classificada como de movimento e caracter´ısticas como a varia¸c˜ ao do centro e largura das elipses s˜ ao utilizadas no processo reconhecimento.
Phillips et al. [34,35,38] apresentaram o projeto Human Gait Challenge Problem. Este projeto ´ e composto por uma grande base de dados sobre a forma de andar (USF Database), uma cole¸c˜ ao de 12 experimentos classificados em ordem de dificuldade e um algoritmo de reconhecimento, o baseline algorithm. Este projeto tem como objetivo principal definir uma forma de mensurar o desempenho das abordagens de reconhecimento, possibilitando a compara¸c˜ ao de desempenho das abordagens em cada um dos experimentos propostos.
O baseline algorithm utiliza a correla¸c˜ ao espa¸co-temporal de silhuetas para alcan¸car o reconhecimento da forma de andar.
Logo em seguida, Foster et al. [12, 13] apresentaram uma abordagem que combina a simplicidade do baseline algorithm com o c´ alculo de ´ area (quantidade de pixels classificados como de movimento) de regi˜ oes espec´ıficas das silhuetas. Os sinais gerados pela varia¸c˜ ao da ´ area em cada regi˜ ao s˜ ao utilizados como uma assinatura da forma de andar.
Kale et al. [23] apresenta uma abordagem baseada no uso de vetores de largura (width vectors) de silhuetas binarizadas como uma caracter´ıstica b´ asica para a representa¸c˜ ao da forma de andar. Devido a velocidade durante o ato de andar n˜ ao ser constante de pessoa para pessoa e entre ciclos da mesma pessoa, foi utilizado o m´ etodo de “dynamic time warping (DTW)”
1para alinhar os vetores de largura antes de calcular a distˆ ancia entre cada vetor.
Sundaresan et al. [40] desenvolvram uma abordagem que utiliza “Hidden Markov Models (HMM)” para gerar um modelo probabil´ıstico para o reconhecimento da forma de andar. Nesta abordagem as silhuetas binarizadas s˜ ao utilizadas para treinar e efetuar o reconhecimento. J´ a em Kale et al. [24], foram utilizados vetores de largura e as silhuetas
1
Dynamic Time Warping (DTW) ´ e um m´ etodo para calcular uma fun¸ c˜ ao n˜ ao linear que alinha
da melhor forma duas sequˆ encias temporais (sinais) de tamanhos diferentes. Essa fun¸ c˜ ao de ajuste
tamb´ em pode ser usada para calcular a similaridade entre duas sequˆ encias ou para encontrar regi˜ oes
correspondentes ` a elas.
binarizadas para treinar e efetuar o reconhecimento.
Liu e Sarkar [27] apresentam uma abordagem de reconhecimento baseado no c´ alculo de silhuetas m´ edias (Averaged Silhouette) a partir de uma sequˆ encia de silhuetas. Essa abordagem alcan¸cou taxas de reconhecimento equivalentes as do baseline algorithm por´ em a uma velocidade muito maior. A mesma abordagem foi utiliza no trabalho de Veres et al. [8] que analisou o potencial das silhuetas m´ edias para o reconhecimento e por Han et al. [15] o qual a definiu como Gait Energy Image (GEI).
Zhao et al. [43] apresentam um m´ etodo de reconhecimento baseado no espectro de amplitude (Fourier spectrum ) do dom´ınio da frequˆ encia. Neste m´ etodo, ao inv´ es de utilizar todas as silhuetas de um ciclo da forma de andar, somente quatro silhuetas (silhuetas chaves) s˜ ao utilizadas para descrever cada ciclo. Ap´ os extra´ıdas as quatro silhuetas chaves ´ e calculada a amplitude m´ edia do espectro de frequˆ encia de cada silhueta. Ao final as quatro amplitudes m´ edias de cada ciclo s˜ ao utilizados no processo de reconhecimento.
Han e Bhanu [16] apresentaram um m´ etodo de reconhecimento que utiliza GEI [15]
em conjunto com GEIs sint´ eticas. As GEIs sint´ eticas s˜ ao geradas por meio da simula¸c˜ ao da adi¸c˜ ao de ru´ıdos e distor¸c˜ ao as GEIs originais. O processo de reconhecimento
´ e aprimorado ap´ os a utiliza¸c˜ ao das GEIs originais em conjunto com as sint´ eticas.
Ainda nesta abordagem, foram utilizadas duas t´ ecnicas de redu¸c˜ ao de dimensionalidade combinadas, “Principal Component Analysis (PCA)” com “Multiple Discriminant Analysis (MDA)” [21].
Hong et al. [19] desenvolveram um algoritmo de reconhecimento da forma de andar baseado no uso de vetores de massa (mass vectors ). Essa abordagem foi inspirada na abordagem apresentada por Kale et al. [23] (vetores de largura) e tamb´ em utiliza DTW para alinhar os vetores antes de calcular a distˆ ancia entre cada vetor.
Inspirados por [16], Yang et al. [42] apresentaram uma abordagem que utiliza GEI [15], GEIs sint´ eticas e Gabor. Ao inv´ es de utilizar as GEIs como caracter´ıstica principal para descrever a forma de andar, Yang et al. [42] utilizaram o per´ıodo do espectro de Gabor.
Posteriormente, utilizaram “Locality Preserving Projections (LPP)” [17] para projetar as
caracter´ısticas em um subespa¸co menor.
Hong et al. [20] desenvolveram uma abordagem que utiliza ao inv´ es de um conjunto de vetores de largura como apresentado por [23], apenas um vetor de largura m´ edio (width vector mean) extra´ıdo de uma sequˆ encia de silhuetas. Ap´ os calculados os vetores de largura m´ edios da base, os vetores s˜ ao projetados em um subespa¸co menor por meio da t´ ecnica de redu¸c˜ ao de dimensionalidade PCA.
Na pr´ oxima se¸c˜ ao ser´ a descrito em maiores detalhes a abordagem de reconhecimento baseline algorithm, bem como suas etapas de extra¸c˜ ao de fundo, extra¸c˜ ao das silhuetas, estima¸c˜ ao do per´ıodo da forma de andar e o c´ alculo de similaridade entre as sequˆ encias de silhuetas.
3.1 Baseline
O baseline algorithm ´ e um algoritmo baseado no encaixe de modelos de silhueta (silhouette template matching ) e o seu processo de funcionamento pode ser dividido em quatro etapas principais [38]: (1) defini¸c˜ ao dos retˆ angulos delimitadores (bounding box ) ao redor da pessoa em movimento em cada quadro de uma sequˆ encia; (2) extra¸c˜ ao das silhuetas de dentro de cada retˆ angulo delimitador; (3) c´ alculo do per´ıodo da forma de andar por meio das silhuetas extra´ıdas e (4) c´ alculo de similaridade entre sequˆ encias da forma de andar por meio da correla¸c˜ ao espa¸co temporal (spatial-temporal ) entre as mesmas. A Figura 3.1 apresenta um fluxograma das etapas principais do baseline algorithm.
Figura 3.1: Fluxograma das principais etapas do baseline algorithm
A defini¸c˜ ao dos retˆ angulos delimitadores (bounding boxes) ´ e feita previamente de forma
semi-manual e tem como fun¸c˜ ao delimitar a regi˜ ao onde se localiza a pessoa em movimento
em cada quadro de uma sequˆ encia da forma de andar. Inicialmente s˜ ao definidos de forma
manual trˆ es retˆ angulos delimitadores em cada sequˆ encia: o inicial, o da posi¸c˜ ao central
e o final. A partir destes trˆ es retˆ angulos delimitadores s˜ ao calculados todos os outros
restantes por meio da interpola¸c˜ ao linear dos pontos superior esquerdo e inferior direito de cada retˆ angulo delimitador [38].
Para extrair as silhuetas de uma sequˆ encia da forma de andar ´ e necess´ ario analisar a sequˆ encia duas vezes: uma para construir um modelo de fundo e outra para efetuar a subtra¸c˜ ao do fundo de cada quadro da sequˆ encia. O modelo de fundo composto pela m´ edia µ
B(x, y) e a covariˆ ancia P
B
(x, y) das componentes RGB das posi¸c˜ oes (x, y) de cada quadro de uma sequˆ encia que n˜ ao estejam dentro dos retˆ angulos delimitadores demarcados anteriormente. Ap´ os constru´ıdo o modelo de fundo inicia-se o processo de subtra¸c˜ ao de fundo de cada quadro da sequˆ encia, onde para cada pixel (x, y) de um quadro ´ e calculado a distˆ ancia de Mahalanobis [28] entre esse pixel e o modelo de fundo e o resultado ´ e salvo em uma matriz de distˆ ancias. Em uma vers˜ ao mais antiga, a imagem bin´ aria (Fig. 3.2b) resultante do processo de subtra¸c˜ ao de fundo era gerada por meio de um limiar definido pelo usu´ ario aplicado a matriz de distˆ ancias. J´ a a vers˜ ao atual n˜ ao necessita da defini¸c˜ ao de um limiar pois utiliza um algoritmo de Expectation Maximization (EM) para classificar as distˆ ancias da matriz de distˆ ancias como fundo ou movimento [38].
Ap´ os a cada subtra¸c˜ ao de fundo, a imagem bin´ aria (Fig. 3.2b) ´ e submetida aos seguintes processos: remo¸c˜ ao de ru´ıdos e extra¸c˜ ao da silhueta. A remo¸c˜ ao de ru´ıdos tem o objetivo de remover pequenas regi˜ oes de ru´ıdo que possam surgir ap´ os a subtra¸c˜ ao do fundo, dessa forma ´ e mantido somente a maior regi˜ ao e todas as outras menores s˜ ao removidas. Logo ap´ os ´ e feito a extra¸c˜ ao e o redimensionamento da silhueta por meio de sua altura para que fique com o tamanho padr˜ ao de 128x88 pixels. Por ´ ultimo, a silhueta
´ e a centralizada horizontalmente. O processo de redimensionamento torna a abordagem de reconhecimento mais resistente a varia¸c˜ ao de escala das silhuetas e a centraliza¸c˜ ao contribuir´ a posteriormente facilitando o processo de similaridade. Ao final da etapa de subtra¸c˜ ao de fundo de uma sequˆ encia da forma de andar, as silhuetas extra´ıdas s˜ ao agrupadas em sequˆ encias de silhuetas. A Figura 3.2 apresenta a imagem bin´ aria (Fig. 3.2b) e a silhueta (Fig. 3.2c) extra´ıdas de um quadro (Fig. 3.2a) de uma sequˆ encia da forma de andar da USF Data base.
A estrat´ egia adotada no processo de extra¸c˜ ao das silhuetas, na maioria dos casos,
(a) (b) (c)
Figura 3.2: Subtra¸c˜ ao de Fundo: (a) quadro de uma sequˆ encia da forma com o retˆ angulo delimitador em vermelho, (b) imagem bin´ aria gerada no processo de subtra¸c˜ ao deste quadro e (c) silhueta extra´ıda.
apresentou bons resultados na qualidade das silhuetas. Por´ em, algumas silhuetas apresentaram erros de segmenta¸c˜ ao como os apresentados na Figura 3.3. Estes erros ocorreram devido aos seguintes fatores [38]:
1. a presen¸ca de sombras (especialmente em sequˆ encias filmadas em superf´ıcie de concreto);
2. incapacidade de segmentar regi˜ oes que possuem colora¸c˜ ao muito pr´ oxima a cor do fundo, por isso s˜ ao classificadas como fundo e s˜ ao removidas;
3. presen¸ca de objetos em movimentos que pertencem ao fundo da sequˆ encia (folhas em movimento, pessoas andando ao fundo entre outros objetos);
4. ru´ıdos gerados pelo formato de compress˜ ao de v´ıdeo digital (DV compression artifacts
2).
O ciclo da forma de andar, descrito na Se¸c˜ ao 1 e ilustrado pela Figura 1.1, ´ e definido como o espa¸co de tempo entre o momento em que o p´ e direto ou esquerdo de uma pessoa entra em contato com o solo durante o ato de andar at´ e que este mesmo p´ e entre novamente em contato com o solo. Este ciclo sempre se repete a cada dois passos completos e pode se repetir v´ arias vezes em uma sequˆ encia da forma de andar. Uma forma de calcular a periodicidade (N
gait) dos ciclos da forma de andar ´ e analisar a varia¸c˜ ao da quantidade dos pixels classificados como de movimento N
f(t) de cada silhueta de uma sequˆ encia de
2
Compression artifacts s˜ ao gerados ap´ os a compacta¸ c˜ ao de dados com uso de algoritmos de
compacta¸ c˜ ao com perda de dados (lossy data compression algorithms).
(a) (b) (c) (d) (e)
(f) (g) (h) (i) (j)
Figura 3.3: Exemplo de erros de segmenta¸c˜ ao de silhuetas que ocorrem no baseline algorithm. Na primeira linha (a-e) as imagens e na segunda linha (f-j) as silhuetas extra´ıdas [38].
silhuetas. ´ E poss´ıvel identificar que essa varia¸c˜ ao possui um certo padr˜ ao c´ıclico (um pico seguido de um vale), apresenta valores m´ınimos (vales) nos momentos em que as pessoas est˜ ao com as pernas juntas (sobrepostas) e valores m´ aximos (picos) nos momentos em que as pernas est˜ ao afastadas. Quando analisada somente a metade inferior das silhuetas (Fig. 3.4a), ou seja, calcular somente a varia¸c˜ ao dos pixels classificados como de movimento que est˜ ao contidos na regi˜ ao das pernas das silhuetas, a varia¸c˜ ao se apresenta menos ruidosa e mais precisa. A Figura 3.4 apresenta a regi˜ ao das silhuetas que ´ e utilizada no c´ alculo da periodicidade da forma de andar e um gr´ afico da varia¸c˜ ao da quantidade de pixels classificados como de movimento dessa regi˜ ao de uma sequˆ encia de silhuetas da USF Database.
Com base no exposto acima, ´ e poss´ıvel calcular o tamanho de cada ciclo por meio da quantidade de silhuetas a cada dois vales consecutivos. Essa estrat´ egia funciona para sequˆ encias filmadas fronto-paralela a dire¸c˜ ao da cˆ amera ou com leve inclina¸c˜ ao (caso da USF Database). Ap´ os calculados os tamanhos de cada ciclo de uma sequˆ encia de silhuetas, o valor mediano dos tamanhos ´ e considerado como o per´ıodo da forma de andar (N
gait).
Para calcular as taxas de similaridade as sequˆ encias de silhuetas extra´ıdas nos
processos anteriores s˜ ao separadas em dois grupos: sequˆ encias da galeria (gallery ) e
sequˆ encias de teste (probe). O processo de reconhecimento consiste em calcular a
(a)
1200 1400 1600 1800 2000 2200 2400 2600 2800 3000
60 80 100 120 140 160 180 200 220 240 260
Quantidade de pixels
Quadros
Pixels classificados como de movimento Mínimos Locais Vales
(b)
Figura 3.4: Periodicidade da forma de andar: (a) regi˜ ao de uma silhueta (quadrado vermelho) utilizada no c´ alculo da periodicidade da forma de andar e (b) gr´ afico da varia¸c˜ ao da quantidade de pixels classificados como de movimento dessa regi˜ ao.
similaridade entre as sequˆ encias de teste e todas as sequˆ encias da galeria. Uma sequˆ encia de teste de M quadros ´ e descrita como S
P= {S
P(0), ..., S
P(M − 1)} e uma sequˆ encia da galeria de N quadros ´ e descrita como S
G= {S
G(0), ..., S
G(N − 1)}. As sequˆ encias de teste s˜ ao particionadas em subsequˆ encias de N
gaitquadros cont´ıguos, onde N
gait´ e o per´ıodo estimado do ciclo da forma de andar da sequˆ encia de teste. As k subsequˆ encias de teste s˜ ao descritas como S
P k= {S
P(kN
gait), ..., S
P((k + 1)N
gait− 1)}.
O processo de c´ alculo de similaridade ´ e dividido em trˆ es passos: c´ alculo de similaridade entre quadros de silhueta, c´ alculo de similaridade entre S
P ke S
Ge o c´ alculo de similaridade entre S
Pe S
G. O c´ alculo de similaridade entre quadros de silhueta ´ e obtido atrav´ es da raz˜ ao do n´ umero de pixels gerados pela intersec¸c˜ ao de S
P(i) e S
G(j) pelo n´ umero de pixels gerados pela uni˜ ao de S
P(i) e S
G(j) (Eq. 3.1). O pr´ oximo passo ´ e o c´ alculo da similaridade entre S
P ke S
Gpor meio da similaridade entre quadros de silhuetas (Eq. 3.2) e por ´ ultimo o c´ alculo da similaridade entre a sequˆ encia de teste S
Pe uma sequˆ encia da galeria S
G(Eq. 3.3).
F rameSim(S
P(i), S
G(j)) = N um(S
P(i) ∩ S
G(j ))
N um(S
P(i) ∪ S
G(j )) (3.1)
Corr(S
P k, S
G)(l) =
Ngait−1
X
j=0
F rameSim(S
P(k + j), S
G(l + j)) (3.2)
Sim(S
P, S
G) = M edian
k(max
l
Corr(S
P k, S
G)(l)) (3.3) As taxas de identifica¸c˜ ao (Cumulative Match Scores [6]) do baseline algorithm na USF Database variaram de 3% (no experimento de maior dificuldade de reconhecimento) ` a 78% (no experimento de menor dificuldade de reconhecimento). A Figura 3.5 apresenta um gr´ afico com as taxas de reconhecimento do baseline algorithm nos 12 experimentos propostos pelo projeto HumanID Gait Challenge Problem.
0 10 20 30 40 50 60 70 80 90 100
0 2 4 6 8 10 12 14 16 18 20
Taxa de Reconhecimento (%)
Rank Baseline
A B C D E F G H I J K L
Figura 3.5: Desempenho do baseline algorithm nos 12 experimentos [38].
3.2 Abordagens Implementadas
A seguir ser˜ ao apresentadas as abordagem implementadas neste trabalho e os resultados
alcan¸cados por cada uma. No total foram implementadas trˆ es abordagens de
reconhecimento: silhuetas m´ edias (ou GEI), vetores de largura e vetores de massa. O
interesse em implementar essas abordagens ´ e justificado devido ao uso dos seus conceitos
em v´ arias abordagens: abordagem de silhuetas m´ edias em [15, 16, 27, 42] e vetores
em [19, 20, 23, 24].
3.2.1 Averaged Silhouette
A abordagem de reconhecimento Averaged Silhouette (silhueta m´ edia) apresentada por Liu e Sarkar [27] ´ e baseada no c´ alculo de silhuetas m´ edias a partir de uma sequˆ encia de silhuetas. ´ E uma abordagem simples e alcan¸cou desempenhos quase equivalentes as do baseline algorithm por´ em a uma velocidade de reconhecimento muito maior.
O processo de subtra¸c˜ ao de fundo, redimensionamento das silhuetas e o c´ alculo do per´ıodo do ciclo da forma de andar s˜ ao os mesmos utilizados no baseline algorithm [38].
Ap´ os essas trˆ es etapas s˜ ao calculadas as silhuetas m´ edias a partir de uma sequˆ encia de silhuetas. Por meio do per´ıodo do ciclo da forma de andar N
gaitcalculado anteriormente, uma sequˆ encia de silhuetas S com M quadros, descrita como S = {S(0), ..., S (M − 1)}, ´ e particionada gerando S
P k= {S(k), ..., S(kN
gait− 1)} subsequˆ encias. Para cada subsequˆ encia S
P kde S ´ e gerado um silhueta m´ edia AS(k), dessa forma a partir de S
´ e gerado um conjunto de
NMgait
silhuetas m´ edias (Eq. 3.4). A Figura 3.6 apresenta um diagrama do processo de gera¸c˜ ao das silhuetas m´ edias.
AS(i) = 1 N
gait(i+1)Ngait−1
X
k=iNgait
S(k) (3.4)
Figura 3.6: Descri¸c˜ ao do processo de gera¸c˜ ao das silhuetas m´ edias a partir de uma
sequˆ encia de silhuetas.
O resultado da gera¸c˜ ao de uma silhueta m´ edia a partir de um ciclo da forma de andar
´ e apresentado na Figura 3.7, em resumo a silhueta m´ edia ´ e gerada pela m´ edia de todas as silhuetas de uma subsequˆ encia S
P k.
(a) (b)
Figura 3.7: Amostras de silhuetas de um ciclo da forma de andar (a) e uma silhueta m´ edia (b) de um ciclo da forma de andar de um mesmo indiv´ıduo [27].
Para calcular a similaridade entre uma sequˆ encia de silhuetas de teste e uma sequˆ encia de silhuetas da galeria, as suas respectivas silhuetas m´ edias s˜ ao utilizadas nesse processo.
Dado um conjunto de silhuetas m´ edias de teste AS
Pcom N
Psilhuetas m´ edias e um conjunto de silhuetas m´ edias da galeria AS
Gcom N
Gsilhuetas m´ edias, a similaridade entre esses dois conjuntos ´ e obtida pela mediana negativa da distˆ ancia Euclidiana entre as silhuetas m´ edias de teste e da galeria (Eq. 3.5).
Sim(AS
P, AS
G) = −M edian
Ni=1P(
NG
min
j=1||AS
P(i) − AS
G(j)||) (3.5)
A abordagem de silhuetas m´ edias alcan¸cou taxas de reconhecimento equivalentes
ao do baseline algorithm nos 12 experimentos propostos pelo HumanID Gait Challenge
Problem (Fig. 3.8), por´ em a uma velocidade 30 vezes maior [27]. De acordo com Liu e
Sarkar [27], em testes executados em um SunFire Server de 800 MHz a compara¸c˜ ao de duas
sequˆ encias por meio do baseline algorithm demora em m´ edia 4.63s, j´ a pela abordagem de
silhuetas m´ edias 0.14s. Em alguns experimentos como A (ˆ angulo de vis˜ ao), B (cal¸cado)
e H (carregando ou n˜ ao uma pasta de documentos) a abordagem de silhuetas m´ edias
apresentou taxas de reconhecimento maiores do que o baseline algorithm e apresentou
taxas menores somente nos experimentos D (superf´ıcie) e K (tempo).
0 10 20 30 40 50 60 70 80 90 100
0 2 4 6 8 10 12 14 16 18 20
Taxa de Reconhecimento (%)
Rank Averaged Silhouette
A B C D E F G H I J K L
