Rastreamento de Objetos por Eigenbackground e Separação em Classes

Rastreamento de Objetos por Eigenbackground e Separac¸˜ao em Classes

Greice Martins de Freitas, Cl´esio Luis Tozzi Universidade de Campinas

Faculdade de Engenharia El´etrica e de Computac¸˜ao Av. Albert Einstein - 400

CP 6101 - Campinas, SP, Brasil {greice, clesio}@dca.fee.unicamp.br

Resumo

Modelos de background e subtrac¸˜ao de fundo utilizando subespac¸os s˜ao uma opc¸˜ao em vis˜ao computacional por seu baixo custo de processamento, viabilizando aplicac¸˜oes em tempo real. Neste contexto, este trabalho apresenta um sis- tema de rastreamento de objetos utilizando o modelo de fundo Eigenbackground para segmentac¸˜ao dos objetos em movimento e um sistema de classificac¸˜ao que permite mo- nitor´a-los quando sofrem oclus˜ao ou est˜ao indispon´ıveis.

Tamb´em ´e apresentado um m´etodo de atualizac¸˜ao do Ei- genbackground atrav´es da modificac¸˜ao dos vetores que comp˜oem seu subespac¸o. O sistema proposto foi testado em v´ıdeos das bases de dados PETS e CAVIAR.

1. Introduc¸˜ao

O barateamento da instalac¸˜ao e obtenc¸˜ao de cˆameras de seguranc¸a tˆem resultado numa grande demanda por siste- mas robustos e confi´aveis de monitoramento de atividades humanas, auxiliando no trabalho dos operadores de v´ıdeo no controle de entrada e sa´ıda de pessoas em um ambiente bem como suas atividades.

Neste contexto, ´e desej´avel um sistema que permita pro- cessamento em tempo real, visando o acompanhamento dos indiv´ıduos levando em conta as variac¸˜oes no ambiente como mudanc¸as de iluminac¸˜ao, sombra e entradas e sa´ıdas de ob- jetos de natureza diversa.

Em Vis˜ao Computacional, a an´alise de movimento atrav´es de v´ıdeos pode consistir em trˆes etapas funda- mentais: detecc¸˜ao, rastreamento e reconhecimento [11].

Os objetos em movimento, ou foreground, s˜ao reconhe- cidos e segmentados durante a etapa de detecc¸˜ao, fun- damental para o sucesso da an´alise uma vez que fornece informac¸˜oes para as demais etapas. Os objetos detecta- dos s˜ao seguidos e associados quadro a quadro durante a

etapa de rastreamento e, finalmente, na etapa de reconheci- mento, os objetos s˜ao classificados quanto `a sua natureza, isto ´e, identifica-se, por exemplo, se o objeto ´e uma pes- soa, um carro ou apenas uma ´arvore balanc¸ando.

O presente trabalho visa propor um sistema de monito- ramento das atividades humanas baseado no rastreamento dos objetos de foreground atrav´es da associac¸˜ao de obje- tos por cor, ´area e posic¸˜ao e velocidade dos centr´oides, ob- tidos atrav´es da aplicac¸˜ao do Filtro de Kalman. Durante o rastreamento, os objetos s˜ao organizados em classes que re- presentam seu estado, ou seja, estados que definem se o ob- jeto entra na cena, sai, est´a em oclus˜ao etc. O modelo de segmentac¸˜ao proposto ´e baseado decomposic¸˜ao do modelo de fundo, oubackground, em autoespac¸o atrav´es da Ana- lise de Componentes Principais (PCA).

2. Detecc¸˜ao de Movimento: Eigenbackground

A detecc¸˜ao, ou segmentac¸˜ao, de objetos m´oveis numa cena ´e uma etapa fundamental na an´alise de movimento, sendo determinante para que as etapas de rastreamento e re- conhecimento recebam dados coerentes e precisos [5]. Den- tre os m´etodos de segmentac¸˜ao destaca-se a Subtrac¸˜ao de Fundo, na qual assume-se que o fundo de uma sequˆencia de cenas ´e est´atico ou sofre lentas variac¸˜oes ao longo do tempo, portanto pass´ıvel de modelagem. O modelo, “sub- tra´ıdo”da cena atual, resulta na identificac¸˜ao de objetos em movimento.

M´etodos de subtrac¸˜ao de fundo vˆem sendo estudados desde o final da d´ecada de 70 [6], entretanto tornaram-se mais populares com a introduc¸˜ao de modelos gaussianos para a modelagem dos pixels do fundo [15]. Desde ent˜ao, outras abordagens tais como mistura de gaussianas [13] e Hidden Markov Models[12] foram propostas para a mode- lagem individual dos pixels.

Em oposic¸˜ao `a modelagem da variac¸˜ao individual dos pi- xels, Oliver et al. [9] propuseram uma subtrac¸˜ao de fundo chamada Eigenbackground, baseada na decomposic¸˜ao da

imagem em autoespac¸o, com o objetivo de obter o menor n´umero de caracter´ısticas que represente o fundo com pre- cis˜ao.

Um autoespac¸o que modela o fundo ´e formado pelas pri- meirasN imagens da sequˆencia de v´ıdeo. Delas s˜ao toma- das a m´ediaµ_ae a matriz de covariˆanciaC_a, que pode ser diagonalizada pela decomposic¸˜aoLa = ΦaCaΦ^T_a, ondeΦa

´e a matriz de autovetores da matriz de covariˆancia eLa ´e a matriz diagonal de seus autovalores. Aplicando a Analise de Componente Principal - Principal Component Analy- sis(PCA) sobre a matriz diagonal, obt´em-seΦM, matriz que cont´em osMmaiores autovetores deCa.

Objetos m´oveis s˜ao tipicamente pequenos em relac¸˜ao

`a cena e n˜ao aparecem na mesma posic¸˜ao nosN primei- ros quadros, desta forma n˜ao contribuem significativamente na formac¸˜ao do modelo de fundo, bem como variac¸˜oes de iluminac¸˜ao e ru´ıdos nas imagens.

Com o fundo da cena modelado, uma nova imagemI_i pode ser projetada no autoespac¸o e em seguida transfor- mada para o espac¸o original:

B_i= (Φ^T_MΦ_M(I_i−µ_a)) +µ (1) Desta forma, os objetos em movimento s˜ao detectados aplicando um limiar `a diferenc¸a absolutaDi =|Ii−Bi|.

A figura 1 mostra um exemplo da decomposic¸˜ao em autoespac¸o e o resultado da subtrac¸˜ao de fundo. Pode-se notar que objetos em movimento, ou objetos doforeground, s˜ao claramente identificados.

Embora a utilizac¸˜ao desta modelagem fornec¸a bons re- sultados, obackgroundainda est´a sujeito a mudanc¸as como variac¸˜oes de iluminac¸˜ao e incorporac¸˜ao de objetos. O mo- delo de atualizac¸˜ao adotado no presente trabalho foi pro- posto por Hallet al[3]. A cada nova colec¸˜ao comK no- vos dados, obtemosB= (B1B2...Bk), ondeBi´e a i-´esima nova imagem vetorizada. Podemos atualizar a m´edia por:

µ⁰_a= (1−β)µa+βµb, (2) ondeβ ´e a taxa de aprendizado. Entretanto calcular di- retamente a atualizac¸˜ao da matriz de covariˆancia,C_a⁰ bem como seus autovalores e autovetores, ´e indesej´avel uma vez que este processo ´e lento e, portanto, impratic´avel em tempo real [4]. Desta maneiraC_a⁰ ´e decomposto como:

C_a⁰ = [U|E]D[U|E]^T, (3) ondeE ´e uma base ortonormal dos novos dados eD = RΣR^T, sendoΣuma matriz diagonal de autovalores deC_a⁰ eR uma matriz de rotac¸˜ao. Desta forma, a decomposic¸˜ao deC_a⁰ ´e equivalente `a decomposic¸˜ao da matriz D, de di- mens˜ao muito menor:

D= [U|E]^TC_a⁰[U|E]. (4)

(a)

(b)

(c)

Figura 1. Decomposic¸ ˜ao em autoespac¸o: (a) imagem de entrada, (b) imagem reconstru´ıda depois de projetada no autoespac¸o e (c) diferenc¸a das imagens (a) e (b).

3. Rastreamento

A complexidade da etapa de rastreamento est´a em as- sociar objetos doforeground num instante t com objetos do instante seguintet+ 1, uma vez que os mesmos podem apresentar variac¸˜oes em sua velocidade, direc¸˜ao e topolo- gia, al´em de estarem sujeitos a agrupamentos, separac¸˜oes, aparecimentos e desaparecimentos.

A associac¸˜ao dos objetos entre cenas ´e feita atrav´es de uma medida de custo envolvendo a previs˜ao gerada pelo filtro de Kalman e atributos do objeto: distribuic¸˜oes de cor e ´area. As entidades cujo movimento pretende-se ras- trear atrav´es do filtro de Kalman s˜ao representadas pelos centr´oides, e seu vetor de estados ´e composto pelas respec- tivas posic¸˜oes e velocidades.

Al´em de estabelecer m´etricas de associac¸˜ao, para um rastreamento consistente ´e necess´ario criar uma estrutura de dados que acompanhe os objetos rastreados em suas mudanc¸as de estado, desta forma auxiliando na associac¸˜ao

Figura 2. Fluxograma da transic¸ ˜ao de clas- ses.

de objetos entre as cenas e no monitoramento de atividades [8]. Com o objetivo de monitorar tais mudanc¸as sem per- der o objeto seguido ou fazer falsas associac¸˜oes, bem como evitar o rastreamento de ru´ıdos, cada objeto pode transi- tar entre sete diferentes classes: Fundo, Iniciante, Perma- nente, Temporariamente indispon´ıvel, Oclus˜ao, Separado, Desaparecido e Fora de cena.

3.1. Classes

Como discutido na sec¸˜ao 3, os objetos seguidos podem ser classificados segundo seis diferentes classes descritas a seguir, baseadas no trabalho de Lei e Xu [8]. O modelo de transic¸˜ao entre classes ´e mostrada pela figura 2.

Iniciante Qualquer objeto classificado como foreground e encontrado numa das regi˜oes pr´e definidas como regi˜oes de entrada, isto ´e, portas ou limites da ima- gem por onde ´e poss´ıvel um objeto entrar, ´e inicial- mente classificado como Iniciante. N˜ao se pode afir- mar se o objeto ´e apenas um ru´ıdo ou um objeto em movimento, desta forma s˜ao realizadas duas medidas de confianc¸a para que o objeto transite para a classe Permanente ou seja descartado. A primeira medida diz respeito `a quantidade de quadros em que o objeto foi seguido e a segunda ao “fator de movimento”, calcu- lado por:

mov= ( σ_cx²

σ_vx² ++ σ²_cy

σ_vy² +)/2, (5) ondeσ_cx² (σ²_cx)´e a variˆancia da posic¸˜ao do centr´oide na direc¸˜aox(y)eσ_vx² (σ_vy² )a variˆancia da velocidade do centr´oide na direc¸˜aox(y)euma pequena constante para impedir divergˆencia.

Fundo Um objeto ´e classificado como Fundo se foi iden- tificado como um objeto deforeground e encontra-se fora das regi˜oes de entrada. Este objeto pode passar para a classe Permanente se permanecer na cena por um certo per´ıodo de tempo e, ao se movimentar, sur- gir um novo objeto deforeground em sua localizac¸˜ao inicial. Este novo objeto ´e gradualmente integrado ao fundo da cena atrav´es da adaptac¸˜ao do fundo.

Permanente Um objeto neste estado ´e classificado como um objeto em movimento, entretanto seu estado pode mudar e consequentemente ser classificado como (a) Temporariamente Indispon´ıvel: parte da estrutura da cena esconde o objeto (ex.: Pessoa que passa atr´as de um poste ou coluna); (b) Oclus˜ao: um ou mais objetos se juntam (ex.: Grupo de pessoas que se encontram);

(c) Separado: o objeto divide-se em duas ou mais par- tes (ex.: Grupo de pessoas que se desfaz).

Temporariamente Indispon´ıvel Se o objeto volta `a cena, ent˜ao retorna `a classe Permanente, caso contr´ario, se continua nesta classe durante um certo n´umero de ce- nas, ´e classificado como Desaparecido.

Oclus˜ao Ainda ´e poss´ıvel adquirir algumas informac¸˜oes sobre o objeto enquanto encontra-se neste estado como posic¸˜ao e velocidade, analisando tais atributos do ob- jeto formado pela uni˜ao dos objetos em Oclus˜ao. Se o objeto volta a aparecer ent˜ao volta `a classe perma- nente, caso contr´ario, segue em Oclus˜ao.

Separado Um objeto Separado tˆem como produto dois ou mais objetos classificados como Partes. Caso a distˆancia entre os centr´oides das Partes aumente gra- dativamente no decorrer das cenas, ent˜ao s˜ao classi- ficadas como pertencentes `a classe Permanente, caso contr´ario, continuam classificadas como Partes at´e que se unam novamente e ent˜ao o objeto classificado como Separado volta `a classe Permanente ou ainda, s˜ao apli- cadas as mesmas medidas de confianc¸a da classe Inici- ante, ent˜ao as Partes podem cegar `a classe Permanente ou serem descartadas.

Desaparecido Uma vez que o objeto ´e classificado como Desaparecido pode evoluir para duas classes: Fora de cena ou Permanente. Se a m´etrica descrita na sec¸˜ao 3.2 associa as caracter´ısticas do objeto Desaparecido a um novo objeto, ent˜ao ´e classificado como Permanente, caso contr´ario, decorrido um determinado n´umero de cenas, o objeto ´e classificado como Fora de cena.

Fora de cena Considera-se que objetos desta classe est´a fora de cena e portanto n˜ao retornar´a. Desta forma, informac¸˜oes sobre o objeto podem ser exclu´ıdas da mem´oria.

3.2. M´etrica de Associac¸˜ao

S˜ao utilizadas duas m´etricas de associac¸˜ao para correla- cionar objetos numa cena no instantet a objetos na cena seguinte, no instantet+ 1. A primeira m´etrica ´e baseada na distˆancia entre as posic¸˜oes dos centr´oides e a segunda nos histogramas de cor e ´areas dos objetos, sendo esta utili- zada quando existem objetos nas classes Temporariamente indispon´ıvel e/ou Oclus˜ao. Esta divis˜ao ocorre em virtude de eventuais falhas na previs˜ao da posic¸˜ao dos centr´oides fornecidas pelo filtro de Kalman, uma vez que o mesmo, para objetos nestas classes, n˜ao pode ser corrigido com no- vas medidas.

3.2.1. Associac¸˜ao de Centr´oides S˜ao calculadas as distˆancias euclidianas entre as posic¸˜oes dos centr´oides es- timadas pelo filtro de Kalman e as posic¸˜oes medidas na cena atual. Os objetos s˜ao associados se a distˆancia for m´ınima e menor que um limite estabelecido. Se al- gum centr´oide dos objetos medidos n˜ao se associa com algum centr´oide estimado, ent˜ao considera-se um novo ob- jeto em cena e este ´e classificado como Iniciante.

3.2.2. Associac¸˜ao de Cor e ´Area Cada objeto encontrado na cena carrega um atributo de corH_i^h,s,ve outro de ´area Ai, ondeH_i^h,s,vs˜ao os histogramas dehue,saturationeva- lue. O histograma de cor ´e formado por:

H(x) = N(x) Pl

j=1N(xj) (6)

ondeN(x)´e o n´umero de pixels com valores iguais ax el o n´umero de valores do histograma. A ´area A_i ´e dada pelo n´umero depixelsdo objeto.

Assim como na associac¸˜ao de centr´oides, os objetos s˜ao associados se sua func¸˜ao custo for m´ınima e menor que um limite pr´e-definido assim, um objetoi´e associado a um ob- jetojse os custosC_i,j^A eC_i,j^H s˜ao m´ınimos e satisfazem:

C_i,j^A < T₁ C_i,j^H < T2

(7) Baseado na distribuic¸˜aoχ², o custoC_i,j^H ´e calculado por:

C_i,j^H =

l

X

b=1

(H_i(b)−H_m(b))²

Hm(b) , (8) ondeHm(b) = ^Hi(b)+H₂ ^m(b).

O custo entre ´areas ´e calculado por:

C_i,j^A = 1− min(Ai, Aj) max(A_i, A_j)

2

. (9)

Note que o custoC_i,j^A varia entre 0 e 1, sendo que quando os objetos tˆem ´areas similares o custo ser´a aproximada- mente 0 e, caso contr´ario, aproximadamente 1.

4. Resultados

Com o objetivo de avaliar o sistema proposto, o mesmo foi testado em imagens de cˆameras de seguranc¸a adquiridas atrav´es do conjunto de dados CAVIAR [2] e PETS [10].

A figura 3 mostra os resultados obtidos em duas sequˆencias de v´ıdeo diferentes. Na sequˆencia repre- sentada pela figura 3 (a), uma pessoa entra na cena e ´e classificada como objeto Permanente 1. Logo de- pois, um grupo de pessoas entra e ´e classificado como objeto Permanente 2. A priori n˜ao h´a como classifi- car o objeto 2 como grupo, uma vez que este entra junto na cena. Na sequˆencia os objetos se juntam, sendo clas- sificadas como Oclus˜ao e ent˜ao se separam, voltando `a classe Permanente e novamente s˜ao classificadas como ob- jeto 1 e 2.

A sequˆencia representada pela figura 3 (b) mostra duas pessoas que entram na cena caminhando juntas, contudo detecta-se apenas um objeto uma vez que as pessoas est˜ao conectadas e a subtrac¸˜ao de fundo sozinha n˜ao ´e suficiente para fazer este tipo de reconhecimento. Ap´os uma breve pausa as pessoas se separam, sendo classificadas como Partes de um objeto da classe Separado, e caminham em direc¸˜oes opostas. Neste momento, a distˆancia entre as Par- tes aumenta a cada cena que desta forma passam a ser clas- sificadas como objetos Permanentes e o objeto Separado ´e exclu´ıdo.

Nas sequˆencias de video testadas, o sistema apresen- tou bons resultados, rastreando o alvo em aproximadamente 86% dos quadros, sendo o sucesso do rastreamento propor- cional `a efic´acia da subtrac¸˜ao de fundo. Em v´ıdeos muitos ruidosos como o mostrado na figura 3 (a), ocorreu frequen- temente a fragmentac¸˜ao dos objetos seguidos, dificultando a identificac¸˜ao dos mesmos, principalmente em presenc¸a de oclus˜oes.

A variac¸˜ao da luminosidade numa mesma cena tamb´em causou algumas falhas no processo de segmentac¸˜ao, sendo desej´avel a aplicac¸˜ao de diferentes thresholds na mesma imagem, normalmente 2 ou 3 para sequˆencias de v´ıdeo que apresentam esta variac¸˜ao. Este processo pode ser automa- tizado recalculando othresholdda diferenc¸aDi(sec¸˜ao 2), como discutido nos trabalhos [4, 3].

5. Conclus˜oes e Perspectivas

O presente trabalho contempla um sistema de vis˜ao computacional para detecc¸˜ao e rastreamento de obje- tos em v´ıdeos de seguranc¸a, visando sua aplicac¸˜ao em tempo real. O sistema ´e baseado na segmentac¸˜ao atrav´es de da decomposic¸˜ao do background em autoespac¸o e na organizac¸˜ao dos objetos deforeground em classes que re- presentam seu estado, permitindo monitor´a-los mesmo quando sofrem oclus˜ao ou est˜ao indispon´ıveis.

(a) (b)

Figura 3. Resultados da aplicac¸ ˜ao do algo- ritmo em duas sequencias de v´ıdeos diferen- tes. As letras p e o, representam, respectiva- mente, as classes Permanente e Oclus ˜ao.

Como trabalho futuro pretende-se avanc¸ar na etapa de reconhecimento, focando na identificac¸˜ao de pessoas. Para tal, espera-se identificar periodicidades nos objetos de fo- regroundcom o objetivo de reconhecer a marcha humana [14, 1, 7].

Referˆencias

[1] C. Bregler. Learning and recognizing human dynamics in video sequences. InComputer Vision and Pattern Recogni- tion, 1997. Proceedings., 1997 IEEE Computer Society Con- ference on, pages 568–574, Jun 1997.

[2] CAVIAR. Ec funded caviar project/ist 2001 37540.

http://groups.inf.ed.ac.uk/vision/

CAVIAR/CAVIARDATA1/, 2001. [Online; accessed 15-Junho-2009].

[3] P. Hall, D. Marshall, and R. Martin. Merging and splitting eigenspace models.IEEE Trans. Pattern Anal. Mach. Intell., 22(9):1042–1049, 2000.

[4] B. Han and R. Jain. Real-time subspace-based background modeling using multi-channel data.

[5] W. A. Higashino. Estudo comparativo de algoritmos de subtrac¸˜ao de fundo em sequencias de imagens. Master’s the- sis, Universidade Estadual de Campinas - UNICAMP, 2006.

[6] R. Jain and H.-H. Nagel. On the analysis of accumulative dif- ference pictures from image sequences of real world scenes.

Pattern Analysis and Machine Intelligence, IEEE Transacti- ons on, PAMI-1(2):206–214, April 1979.

[7] C.-S. Lee and A. Elgammal. Gait tracking and recognition using person-dependent dynamic shape model. InAutoma- tic Face and Gesture Recognition, 2006. FGR 2006. 7th In- ternational Conference on, pages 553–559, April 2006.

[8] B. Lei and L.-Q. Xu. Real-time outdoor video surveillance with robust foreground extraction and object tracking via multi-state transition management. Pattern Recogn. Lett., 27(15):1816–1825, 2006.

[9] N. Oliver, B. Rosario, and A. Pentland. A bayesian com- puter vision system for modeling human interactions. Pat- tern Analysis and Machine Intelligence, IEEE Transactions on, 22(8):831–843, Aug 2000.

[10] PETS2001. 2nd ieee international workshop on per- formance evaluation of tracking and surveillance.

http://ftp.pets.rdg.ac.uk/PETS2001/

DATASET1/TESTING/, 2001. [Online; accessed 30- Junho-2009].

[11] R. Pinho, J. Tavares, and M. Correia. Introduc¸˜ao `a an´alise de movimento por vis˜ao computacional. Relat´orio Interno, Faculdade de Engenharia, Universidade do Porto, 2004.

[12] J. Rittscher, J. Kato, S. Joga, and A. Blake. A probabilistic background model for tracking. InECCV ’00: Proceedings of the 6th European Conference on Computer Vision-Part II, pages 336–350, London, UK, 2000. Springer-Verlag.

[13] C. Stauffer and W. Grimson. Learning patterns of activity using real-time tracking. Pattern Analysis and Machine In- telligence, IEEE Transactions on, 22(8):747–757, Aug 2000.

[14] L. Wang, T. Tan, H. Ning, and W. Hu. Silhouette analysis- based gait recognition for human identification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(12):1505–1518, 2003.

[15] C. Wren, A. Azarbayejani, T. Darrell, and A. Pentland. Pfin- der: real-time tracking of the human body. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 19(7):780–

785, Jul 1997.