SEQ ¨ Uˆ ENCIAS DE IMAGENS

RODRIGO ANDRADE DE BEM

UMA ABORDAGEM LIVRE DE MODELO PARA RASTREAMENTO DE OBJETOS EM

SEQ ¨ Uˆ ENCIAS DE IMAGENS

S˜ao Paulo

2007

UMA ABORDAGEM LIVRE DE MODELO PARA RASTREAMENTO DE OBJETOS EM

SEQ ¨ Uˆ ENCIAS DE IMAGENS

Disserta¸c˜ao apresentada `a Escola Polit´ecnica da Universidade de S˜ao Paulo para obten¸c˜ao do T´ıtulo de Mestre em Engenharia El´etrica.

S˜ao Paulo

2007

RODRIGO ANDRADE DE BEM

UMA ABORDAGEM LIVRE DE MODELO PARA RASTREAMENTO DE OBJETOS EM

SEQ ¨ Uˆ ENCIAS DE IMAGENS

Disserta¸c˜ao apresentada `a Escola Polit´ecnica da Universidade de S˜ao Paulo para obten¸c˜ao do T´ıtulo de Mestre em Engenharia El´etrica.

Area de concentra¸c˜ao: ´ Sistemas Digitais

Orientadora: Professora Livre-Docente Anna Helena Reali Costa

S˜ao Paulo

2007

S˜ao Paulo, 04 de maio de 2007.

Assinatura do autor Assinatura do orientador

FICHA CATALOGR´ AFICA

Bem, Rodrigo Andrade de

Uma abordagem livre de modelo para rastreamento de objetos em seq¨uˆencias de imagens/ R.A. de Bem. – ed.rev. – S˜ao Paulo, 2007. 86 p.

Disserta¸c˜ao (Mestrado) — Escola Polit´ecnica da Universi- dade de S˜ao Paulo. Departamento de Engenharia de Computa¸c˜ao e Sistemas Digitais.

1. Vis˜ao computacional. 2. Inteligˆencia artificial. 3. Pro-

cessamento digital de imagens. I. Universidade de S˜ao Paulo. Es-

cola Polit´ecnica. Departamento de Engenharia de Computa¸c˜ao

e Sistemas Digitais II.t.

DEDICAT ´ ORIA

A Carol.

Parece que dois anos passam r´apido, quase em um piscar de olhos, especialmente quando estamos nos divertindo, o tempo voa! J´a nos momentos de dificuldade, o tempo insiste em passar mais devagar, e um simples dia parece ter muito mais de vinte e quatro horas. Aqui, quero agradecer aos que fizeram o meu tempo passar r´apido nestes dois anos do mestrado, mas tamb´em aos que estiveram presentes nos momentos em que o tempo n˜ao passava.

Agrade¸co primeiramente a Deus por ter me sustentado em todos os aspectos, e por ter me ensinado muito nestes dois anos.

A professora Anna Helena Reali Costa, minha orientadora, pela dedica¸c˜ao e por constan- ` temente instigar o desenvolvimento do trabalho e o meu desenvolvimento pessoal.

Aos amigos que me auxiliaram ao longo do trabalho, dando sugest˜oes, dispondo seu tempo para escutar minhas d´uvidas e discutindo quest˜oes t´ecnicas, Antˆonio Selvatici, Evaldo Ara´ujo, Roberto Barra, Valdinei Freire, Valdir Grassi e Valguima Odakura. Aos amigos Evaldo Ara´ujo e Jo˜ao Vital pela ajuda na corre¸c˜ao do texto, e ao amigo Milton Schivani pelo aux´ılio na prepara¸c˜ao de dados para os experimentos.

Agrade¸co especialmente a Carol, minha namorada, pelo amor, carinho, compreens˜ao, paciˆencia e apoio em todos os momentos, desde quando decidi fazer o mestrado em S˜ao Paulo, at´e o final do curso. Por esses e muito outros motivos, este trabalho ´e dedicado a ela.

Aos meus pais, Raul e Anelita, aos meus irm˜aos, Eduardo e Daniela, meus av´os, Raul, Emy e Maria, e aos meus demais familiares, pelo amor e suporte durante todo tempo e em todos os sentidos. Agrade¸co especialmente a minha tia Vanilde e sua fam´ılia, pela dedica¸c˜ao, carinho e por ter me recebido t˜ao bem em S˜ao Paulo.

A todos os demais amigos do LTI e da Poli, por todas as conversas, churrascos e outros bons momentos que compartilhamos. Em especial aos amigos Andr´e Iasi, Diana Adamatti, Lucas De Marchi, Luciano Coutinho.

Aos amigos com os quais morei durante um ”bom”tempo, Andr´e Lopes, Evaldo Ara´ujo, Vicente de Barros e Jo˜ao Vital, pela amizade, companheirismo e ajuda sempre que precisei.

Este trabalho foi realizado com bolsa de Mestrado no Pa´ıs, concedida pelo Conselho Naci-

onal de Desenvolvimento Cient´ıfico e Tecnol´ogico - CNPq - processo n´umero 132185/2005-9.

RESUMO

Este trabalho prop˜oe uma abordagem para o rastreamento de objetos observados em seq¨uˆencias de imagens. O objetivo principal ´e o desenvolvimento de uma metodologia eficiente, capaz de realizar o rastreamento de um ou mais alvos heterogˆeneos, usando pouca informa¸c˜ao a priori sobre os mesmos. Para alcan¸car este objetivo ´e proposta a descri¸c˜ao dos alvos livre de um modelo expl´ıcito de forma, atrav´es de uma representa¸c˜ao baseada em contornos, a qual ´e inte- ressante pois tem a capacidade de adaptar-se dinamicamente a alvos com formas heterogˆeneas de modo eficaz. Al´em disso, ´e usado um modelo de movimento ´unico e simples, considerando somente transla¸c˜ao e mudan¸ca de escala quadro a quadro. Este modelo possibilita o tra- tamento de movimentos suaves e previamente desconhecidos dos alvos. O rastreamento de cada alvo ´e executado com a combina¸c˜ao de dois Filtros de Kalman: um para estima¸c˜ao do movimento e outro para estima¸c˜ao do contorno. O modelo de observa¸c˜ao ´e baseado em linhas de medida 1D fixadas ao longo do contorno estimado e tem baixo custo computacio- nal. Experimentos foram conduzidos para avaliar a efic´acia e eficiˆencia da proposta, utilizando seq¨uˆencias de imagens controladas e reais. Os resultados mostram que a abordagem proposta

´e capaz de rastrear alvos distintos (figuras geom´etricas, pessoas e robˆos m´oveis), executando diferentes movimentos considerando a posi¸c˜ao de observa¸c˜ao da cˆamera. Embora haja uma rela¸c˜ao cr´ıtica entre a varia¸c˜ao quadro a quadro do movimento e da forma dos alvos, e o n´ıvel de ru´ıdo nas imagens, a abordagem ´e adequada nos casos em que informa¸c˜oes detalhadas a respeito do movimento e da forma dos alvos n˜ao s˜ao dispon´ıveis.

Palavras-chave: Rastreamento visual. Vis˜ao computacional. Processamento digital de ima-

gens.

This work proposes an approach to track objects observed in sequences of images. The main objective is the development of an efficient methodology, capable of performing the tracking of one or more heterogeneous targets by using a small amount of a priori information about them. To accomplish this objective we propose a description of the targets free of an explicit shape model. This description is a contour-based representation, which is interesting because it is capable of adapting dynamically to targets that have heterogeneous shapes in an effective way. Besides this, a unique and simple movement model is used, considering only translation and scaling frame by frame. This model allows treating smooth and previously unknown tar- gets movements. The tracking of each target is executed by the combination of two Kalman Filters: one used to estimate movement and another one to estimate contour. The observation model is based on 1D measurement lines fixed along the estimated contour and requires low computational power. Experiments were performed to evaluate the efficacy and the efficiency of the proposal, using controlled and real image sequences. Results show that the proposed approach is capable of tracking distinct targets (geometric figures, human bodies and mobile robots), which execute different movements regarding the observation position of the camera.

Despite the critical tradeoff between the frame by frame variation of the targets movements and shapes and the level of noise in the images, the approach showed to be adequate for those cases of application where detailed information about target movement and shape are not available.

Keywords: Visual tracking. Computer vision. Digital image processing.

LISTA DE FIGURAS

2.1 Taxonomia apresentada por Hu et al. (2004) que define as categorias de abor- dagens para o rastreamento visual de acordo com a representa¸c˜ao utilizada.

. . . . 9 2.2 Proposta de adapta¸c˜ao da taxonomia apresentada por Hu et al. (2004) feita

com base na classifica¸c˜ao das abordagens sugerida por Gavrila (1999). . . 10 3.1 Cen´ario b´asico: o sensor ´optico produz uma observa¸c˜ao do ambiente dentro de

seu campo de vis˜ao, no qual o alvo de interesse descreve a trajet´oria indicada. 14 3.2 Cen´ario com alvos heterogˆeneos: dois alvos com formas distintas descrevem

trajet´orias no ambiente enquanto observa¸c˜oes s˜ao realizadas pelo sensor ´optico. 15 4.1 (a) Imagem original. (b) Resultado da subtra¸c˜ao de fundo e limiariza¸c˜ao e o

pol´ıgono convexo envolvente. (c) Resultado da detec¸c˜ao de bordas e o pol´ıgono convexo envolvente. (d) Pol´ıgono convexo com 21 v´ertices. . . 31 4.2 Dezesseis pontos, representados por quadrados, amostrados uniformemente ao

longo do pol´ıgono convexo. . . 32 4.3 Fun¸c˜ao B-spline c´ubica (linha pontilhada), definida por seus pontos de controle

(arteriscos), que aproxima o pol´ıgono convexo (linha cont´ınua). . . 34 4.4 Aproxima¸c˜oes feitas a um pol´ıgono convexo (linha cont´ınua) com 21 v´ertices

e 16 pontos amostrados, utilizando-se uma B-spline c´ubica (linha pontilhada) com: (a) 15 pontos de controle; (b) 11 pontos de controle; (c) 7 pontos de controle; (d) 4 pontos de controle. . . 35 5.1 (a) Intensidade dos pixels em uma linha de medida extra´ıda da imagem. (b)

Aplica¸c˜ao dos detectores de bordas e movimento. (c) Densidade de probabi-

lidade Gaussiana. (d) Probabilidade de cada pixel corresponder `a borda real

(mais escuro corresponde `a maior probabilidade). . . . 42

o ponto de controle e o centr´oide do alvo. (b) A nova posi¸c˜ao do ponto de controle no quadro k, denotada por x

, ´e definida em fun¸c˜ao de sua posi¸c˜ao anterior, somada ao deslocamento do centr´oide, dado por v

, e a altera¸c˜ao da distˆancia entre o ponto e o centr´oide, definida pelo fator de escala s

. . . 46 7.1 Esquema da abordagem proposta. As n primeiras imagens s˜ao usadas na

inicializa¸c˜ao, enquanto as demais s˜ao tratadas diretamente pelo processo de rastreamento. . . 48 7.2 Na inicializa¸c˜ao os alvos s˜ao detectados, e gerada uma estimativa inicial de

suas posi¸c˜oes e velocidades. . . 50 7.3 O esquema mostra as etapas do processo de rastreamento dos alvos. . . 51 8.1 Quadros da seq¨uˆencia onde o quadrado contrastante com o fundo ´e rastreado.

O contorno resultante ´e mostrado em torno do alvo, bem como a trajet´oria estimada de seu centr´oide (linha cont´ınua). . . 61 8.2 Contorno estimado do alvo rastreado e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo do contorno. . . 62 8.3 Compara¸c˜ao entre a posi¸c˜ao real do centr´oide (linha cont´ınua) e a posi¸c˜ao

estimada no rastreamento (linha tracejada). Os instantes inicial e final do rastreamento s˜ao indicados no gr´afico por k = 1 e k = 299. . . 62 8.4 Quadros da seq¨uˆencia onde um quadrado ´e rastreado. O contorno resultante ´e

mostrado em torno do alvo, bem como a trajet´oria estimada de seu centr´oide (linha cont´ınua). . . 64 8.5 Contorno estimado do alvo rastreado e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo do contorno. . . 64 8.6 Alvo A (esquerda) realiza transla¸c˜ao na vertical e na diagonal; Alvo B (direita)

se afasta da cˆamera e executa transla¸c˜ao na vertical. O contorno resultante

´e mostrado em torno de cada alvo, bem como a trajet´oria estimada de seus centr´oides (linhas cont´ınuas). . . 65 8.7 Contorno estimado dos alvos rastreados e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo do contorno. . . 66

8.8 Compara¸c˜ao entre a posi¸c˜ao real do centr´oide (linha cont´ınua) e a posi¸c˜ao estimada no rastreamento (linha tracejada) dos alvos A e B. Os instantes inicial e final do rastreamento s˜ao indicados no gr´afico por k = 1 e k = 299. . 66 8.9 Quadros da seq¨uˆencia onde um pessoa ´e rastreada. O contorno resultante ´e

mostrado em torno do alvo, bem como a trajet´oria estimada de seu centr´oide (linha cont´ınua). . . 70 8.10 Contorno estimado do alvo rastreado e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo do contorno. . . 70 8.11 Compara¸c˜ao entre a posi¸c˜ao real do centr´oide (linha cont´ınua) e a posi¸c˜ao

estimada no rastreamento (linha tracejada). Os instantes inicial e final do rastreamento s˜ao indicados no gr´afico por k = 1 e k = 174. . . 71 8.12 Quadros da seq¨uˆencia onde trˆes pessoas s˜ao rastreadas. O contorno resultante

´e mostrado em torno do alvo, bem como a trajet´oria estimada de seu centr´oide (linha cont´ınua). . . . 73 8.13 Contorno estimado dos alvos rastreados e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo dos contornos. . . 74 8.14 Compara¸c˜ao entre a posi¸c˜ao real dos centr´oides (linhas cont´ınuas) e a posi¸c˜ao

estimada (linhas tracejadas). . . 74 8.15 Quadros da seq¨uˆencia onde quatro robˆos m´oveis s˜ao rastreados. O contorno

resultante ´e mostrado em torno dos alvos, bem como a trajet´oria estimada de seu centr´oide (linha cont´ınua). . . . 76 8.16 Contorno estimado dos alvos rastreados e as linhas de medida usadas no modelo

de observa¸c˜ao fixadas ao longo dos contornos. . . 77 8.17 Compara¸c˜ao entre a posi¸c˜ao real dos centr´oides (linhas cont´ınuas) e a posi¸c˜ao

estimada (linhas pontilhadas) dos alvos A, B, C e D, da esquerda para direita. 77

1.1 Suposi¸c˜oes a respeito dos movimentos, ambientes e alvos tratados pela abor- dagem proposta. . . . 6 8.1 Parˆametros utilizados na configura¸c˜ao do sistema de rastreamento para execu¸c˜ao

dos Testes 1, 2 e 3 da Se¸c˜ao 8.1. . . 61 8.2 Parˆametros utilizados na configura¸c˜ao do sistema de rastreamento para execu¸c˜ao

do Teste1 em imagens reais. . . 69 8.3 Parˆametros utilizados na configura¸c˜ao do sistema de rastreamento para execu¸c˜ao

do Teste2 em imagens reais. . . 72 8.4 Parˆametros utilizados na configura¸c˜ao do sistema de rastreamento para execu¸c˜ao

do Teste 3 em imagens reais. . . 75

LISTA DE ABREVIATURAS E SIGLAS

CCD Charge Coupled Device

Condensation Conditional Density Propagation

EQM Erro Quadrado M´edio

i.i.d. independente e identicamente distribu´ıdo JPDAF Joint Probabilistic Data Association Filter

pdf fun¸c˜oes densidade de probabilidade

SIR Sampling Importance Resampling

SIS Sequential Importance Sampling

As conven¸c˜oes e s´ımbolos utilizados s˜ao mostrados nas tabelas seguintes:

Conven¸c˜ao Defini¸c˜ao

~x vetores s˜ao denotados por uma seta sobrescrita

n

dimens˜ao de um vetor ~x

P matrizes s˜ao denotadas por letras mai´usculas P

matriz de covariˆancia de um vetor de estado ~x f(.) fun¸c˜oes s˜ao denotadas por letras min´usculas

~

x

, X ~

, P

, P

, f

(.), x

o ´ındice temporal discreto ´e subescrito nos vetores, matrizes, fun¸c˜oes e vari´aveis

~x

o ´ındice superescrito em um vetor indica elemento de um con- junto

x ´e o valor esperado ou m´edia da vari´avel x

x

´e o valor estimado da vari´avel x

A

´e a matriz transposta de A

A

´e a matriz inversa de A

f ˙ derivada total da fun¸c˜ao f(.)

∂f

∂x

derivada parcial da fun¸c˜ao f (.) em rela¸c˜ao `a x

I

matriz identidade de dimens˜ao n × n

I matriz identidade de dimens˜ao gen´erica

S´ımbolo Defini¸c˜ao

∆T intervalo de tempo

I

conjunto de observa¸c˜oes realizadas entre os instantes i e j

p(.) fun¸c˜ao densidade de probabilidade

p(.|.) fun¸c˜ao densidade de probabilidade condicional N (0, P ) distribui¸c˜ao Gaussiana com m´edia 0 e covariˆancia P P

matriz de covariˆancia do vetor de estado X ~

P

matriz de covariˆancia do vetor de estado M ~ ω

peso de uma amostra ou part´ıcula i no instante k C

continuidade at´e a n-´esima derivada

r(u) r(.) ´e um fun¸c˜ao B-spline parametrizada por u B

(u) i-´esima fun¸c˜ao base de uma B-spline de ordem k

b

(t) i-´esimo segmento polinomial constituinte de uma fun¸c˜ao base de ordem k

x

i-´esimo ponto de controle de uma fun¸c˜ao B-spline 1D x

= (x

, y

) i-´esimo ponto de controle de uma fun¸c˜ao B-spline 2D

P

j-´esimo ponto amostrado ao longo do pol´ıgono envolvente de um alvo

ˆ

u

j-´esima amostra do intervalo de valores do parˆametro u de uma B-spline

z

linha de medida

C

m´ascara de convolu¸c˜ao discreta usada na aplica¸c˜ao de filtros so- bre as linhas de medida

L comprimento em pixels de um linha de medida

z

reta param´etrica normal `a curva B-spline ˆ

n vetor unit´ario normal `a curva B-spline

z

valor de intensidade no ponto (x

, y

) da linha de medida z

V (i, j ) valor de intensidade do pixel (i, j) em uma imagem

w

peso de um pixel (i, j) usado na interpola¸c˜ao bilinear de intensi- dade

c

= (c

, c

) coordenadas da posi¸c˜ao do centr´oide de um alvo no instante k v

= (v

, v

) velocidade de transla¸c˜ao do centr´oide de um alvo em x e y no

instante k

s

= (s

, s

) fator de mudan¸ca de escala de um alvo em x e y no instante k s

fator de mudan¸ca de escala uniforme (s

= s

= s

) de um

alvo no instante k

K Ganho de Kalman

, igual por defini¸c˜ao

∼ distribu´ıdo como

k.k norma Euclididana

b.c piso

Z conjunto dos n´umeros inteiros

R conjunto dos n´umeros reais

1 Introdu¸c˜ ao 1

1.1 Motiva¸c˜ao . . . . 4

1.2 Objetivo . . . . 5

1.3 Dom´ınio de Aplica¸c˜ao . . . . 6

1.4 Organiza¸c˜ao do Trabalho . . . . 6

2 Revis˜ ao Bibliogr´ afica 8 2.1 Taxonomia . . . . 8

2.2 Trabalhos Relacionados . . . 10

2.3 Considera¸c˜oes Finais . . . 13

3 Abordagem Probabil´ıstica do Rastreamento Visual 14 3.1 Filtros Probabil´ısticos Aplicados ao Rastreamento Visual . . . 17

3.1.1 Filtro de Kalman . . . 18

3.1.2 Filtro de Kalman Estendido . . . 19

3.1.3 Conditional Density Propagation (Condensation) . . . 20

3.2 Considera¸c˜ao Finais . . . 22

4 Modelo de Representa¸c˜ ao Baseado em Contornos 24 4.1 Detec¸c˜ao de Objetos M´oveis . . . 24

4.2 Modelo de Representa¸c˜ao . . . 26

4.2.1 B-splines . . . 26

4.2.2 Aproxima¸c˜ao de uma B-spline a um Pol´ıgono . . . 30

4.3 Considera¸c˜oes Finais . . . 34

5 Modelo de Observa¸c˜ ao Baseado em Contornos 37

5.1 Linhas de Medida . . . 38

5.1.1 Constru¸c˜ao das Linhas de Medida . . . 38

5.1.2 Extra¸c˜ao de Caracter´ısticas . . . 39

5.1.3 Interpreta¸c˜ao Probabil´ıstica das Caracter´ısticas Detectadas . . . 41

5.2 Considera¸c˜oes Finais . . . 42

6 Modelo de Movimento dos Objetos 44 6.1 Modelo de Movimento . . . 45

6.2 Considera¸c˜oes Finais . . . 47

7 Detalhamento da Abordagem Proposta 48 7.1 Inicializa¸c˜ao . . . 49

7.2 Rastreamento . . . 51

7.2.1 Estima¸c˜ao do Movimento . . . 54

7.2.2 Estima¸c˜ao do Contorno . . . 56

7.3 Considera¸c˜oes Finais . . . 58

8 Experimentos e Resultados 59 8.1 Experimentos com Imagens Controladas . . . 59

8.1.1 Teste 1: Movimento . . . 60

8.1.2 Teste 2: Altera¸c˜ao de Forma . . . 63

8.1.3 Teste 3: Alvos Heterogˆeneos . . . 65

8.1.4 An´alise dos Resultados . . . 67

8.2 Alvos reais . . . 68

8.2.1 Teste 1: Uma Pessoa . . . 69

8.2.2 Teste 2: Grupo de Pessoas . . . 71

8.2.3 Teste 3: Robˆos M´oveis . . . 75

8.3 Considera¸c˜oes Finais . . . 79

9 Conclus˜ ao 80

9.1 Trabalhos Futuros . . . 81

REFERˆ ENCIAS BIBLIOGR´ AFICAS 83

1

1 Introdu¸c˜ ao

A vis˜ao computacional ´e uma das grandes ´areas da Inteligˆencia Artificial e pode ser definida como sendo a constru¸c˜ao de descri¸c˜oes expl´ıcitas e com significado de objetos f´ısicos a partir de imagens ( BALLARD; BROWN , 1982), envolvendo tamb´em o estudo do racioc´ınio e planejamento realizados com base em tais descri¸c˜oes ( DUDEK; JENKIN , 2000). Dois importantes problemas amplamente estudados na vis˜ao computacional s˜ao ( MACCORMICK , 2000):

• localizar um objeto em uma imagem est´atica;

• localizar um objeto m´ovel, em cada quadro de uma seq¨uˆencia de imagens (trecho de v´ıdeo).

O primeiro problema, definido na literatura como detec¸c˜ao, refere-se `a tarefa de determi- nar a presen¸ca de um objeto em uma cena (imagem) e tamb´em sua localiza¸c˜ao na mesma, diferenciando-o de todos os outros objetos e padr˜oes visuais presentes. O segundo, por sua vez, constitui o que ´e definido como rastreamento em seq¨uˆencias de imagens, ou rastrea- mento visual, que ´e a tarefa de seguir o objeto detectado, estabelecendo uma correspondˆencia temporal entre pontos de referˆencia do mesmo, diferenciando-o de outros objetos m´oveis, eventualmente presentes na cena ( GONG; MCKENNA; PSARROU , 2000). A localiza¸c˜ao de um objeto em uma imagem ´e determinada por sua posi¸c˜ao em rela¸c˜ao ao observador no ambiente.

´ E importante salientar que o termo objeto ´e empregado aqui de maneira geral, referindo-se a itens de interesse que podem ser diferenciados por suas caracter´ısticas de outros em uma imagem. Um objeto poderia ser, por exemplo, um ve´ıculo, uma pessoa, uma face, uma m˜ao ou uma laranja. O termo alvo, muito empregado na literatura de rastreamento visual, tamb´em ´e usado para referenciar um objeto que est´a sendo rastreado ao longo do tempo ( MACCORMICK , 2000). Neste trabalho os termos objeto e alvo ser˜ao utilizados sem distin¸c˜ao entre os mesmos.

O rastreamento de alvos ´e uma ampla e bem explorada ´area de pesquisa e desenvolvimento,

onde se encontra um grande n´umero de ferramentas matem´aticas probabil´ısticas propostas para

solu¸c˜ao do problema ( BAR-SHALOM; LI; KIRUBARAJAN , 2001). O cen´ario b´asico consiste em um

sensor, que produz observa¸c˜oes ruidosas do ambiente, e um alvo que descreve uma determinada

trajet´oria. O objetivo de um algoritmo de rastreamento ´e determinar a trajet´oria do alvo, usando as observa¸c˜oes fornecidas pelo sensor, e todo o conhecimento a priori dispon´ıvel sobre a dinˆamica do alvo ( S¨ ARKK¨ A et al. , 2004). Tratando-se do rastreamento visual, ´e empregado um sensor ´optico para extrair informa¸c˜oes do ambiente, como por exemplo uma cˆamera CCD (Charge Coupled Device), e os alvos podem ser quaisquer objetos de interesse dentro do campo de vis˜ao da cˆamera.

Um sistema de rastreamento visual pode ser dividido em quatro componentes: a re- presenta¸c˜ ao, que pode ser chamada de descri¸c˜ao, vetor de estado, ou modelo do alvo, e define como o mesmo ´e descrito no sistema; o modelo de observa¸c˜ ao empregado, que define, com base na representa¸c˜ao adotada, quais caracter´ısticas peculiares ao objeto de in- teresse est˜ao sendo buscadas nas imagens; o modelo de movimento, que descreve como o alvo movimenta-se no campo de vis˜ao do sensor ´optico; e o algoritmo de rastreamento propriamente dito que, em termos gerais, estabelece como a representa¸c˜ao e os modelos de ob- serva¸c˜ao e movimento ser˜ao empregados para detectar o objeto em cada quadro da seq¨uˆencia de imagens. O conhecimento dispon´ıvel a priori, referente `as caracter´ısticas apresentadas pelos objetos nas imagens e a sua movimenta¸c˜ao, determina qu˜ao espec´ıficos ser˜ao os modelos, e conseq¨uentemente como estes ser˜ao associados atrav´es do algoritmo de rastreamento. Uma boa quantidade de informa¸c˜oes pr´evias facilita a elabora¸c˜ao de uma solu¸c˜ao robusta ( GAVRILA , 1999).

Pelo fato de existir um grande n´umero de abordagens para tratar o rastreamento visual,

que variam de acordo com a aplica¸c˜ao em foco, n˜ao ´e simples classificar as propostas exis-

tentes. No Cap´ıtulo 2 alguns trabalhos ser˜ao apresentados em mais detalhes, por ora ser˜ao

identificados aqui dois tipos de solu¸c˜oes de interesse que apresentam principalmente dife-

ren¸cas quanto `a representa¸c˜ao empregada. No primeiro grupo de abordagens, que ser˜ao

denominadas como livres de modelo, n˜ao h´a uma descri¸c˜ao expl´ıcita da forma dos objetos

a serem rastreados, ou seja, a informa¸c˜ao pr´evia dispon´ıvel sobre os alvos ´e limitada, o que

impossibilita a constru¸c˜ao de uma representa¸c˜ao detalhada. Nesse caso os modelos podem

ser baseados em pontos, retˆangulos envolventes (bounding boxes) ( JUNG; SUKHATME , 2005),

contornos ( NGUYEN; WORRING , 2000) ou regi˜oes correspondentes aos alvos (blobs). J´a no

segundo grupo, das abordagens denominadas como baseadas em modelo, sabe-se exata-

mente quais objetos est˜ao sendo procurados, assim ´e poss´ıvel construir uma representa¸c˜ao

mais precisa da forma dos mesmos. Tais modelos podem ser definidos tanto no espa¸co 2D,

como estruturas formadas por arestas e jun¸c˜oes, ou como contornos ( MACCORMICK , 2000)

referentes `as proje¸c˜oes dos alvos no plano da imagem, quanto no espa¸co 3D, como formas

volum´etricas ( KOLLER; DANIILIDIS; NAGEL , 1993), ( CAMPOS , 2003).

Introdu¸c˜ao 3 De um modo geral, em ambos os grupos de abordagens, livres de modelo e baseadas em modelo, os algoritmos de rastreamento utilizados para seguir os alvos ao longo de seq¨uˆencias de imagens adotam a metodologia de predi¸c˜ao-observa¸c˜ao-filtragem. Neste arcabou¸co, o estado dos alvos no pr´oximo quadro de uma seq¨uˆencia de imagens ´e estimado atrav´es de uma predi¸c˜ao realizada com base no modelo de movimento do mesmo; logo depois, o modelo de observa¸c˜ao ´e empregado para extrair informa¸c˜oes da imagem, possibilitando a filtragem (tamb´em chamada de atualiza¸c˜ao) da estimativa executada no passo de predi¸c˜ao. Neste ponto, ´e importante salientar que esta metodologia tem uma correspondˆencia direta com as etapas de execu¸c˜ao de estimadores Bayesianos como o Filtro de Kalman ( GELB et al. , 1974), o Filtro de Kalman Estendido ( GELB et al. , 1974) e o Condensation ( BLAKE; ISARD , 1998), de modo que tais algoritmos s˜ao amplamente usados no rastreamento visual, principalmente nas abordagens baseadas em modelo. Ressalta-se que na literatura que trata dos estimadores recursivos Bayesianos os mesmos s˜ao descritos em duas etapas, predi¸c˜ao e filtragem, deixando impl´ıcita a observa¸c˜ao. Quanto `as abordagens livres de modelo, m´etodos mais simples s˜ao utilizados com maior freq¨uˆencia, como por exemplo no caso de alvos representados por regi˜oes nas imagens (blobs), em que os mesmos s˜ao rastreados atrav´es de t´ecnicas de similaridade de regi˜oes, baseadas em m´etricas como correla¸c˜ao ( HAGER; TOYAMA , 1998) ou histograma de cores ( COMANICIU; RAMESH; MEER , 2000). Mesmo nesses casos os passos de predi¸c˜ao- observa¸c˜ao-filtragem podem ser identificados.

A op¸c˜ao pela utiliza¸c˜ao de uma abordagem livre de modelo ou baseada em um modelo de forma dos objetos rastreados ´e especialmente relevante no rastreamento visual de m´ultiplos alvos. Nesta importante extens˜ao do problema com um ´unico alvo a defini¸c˜ao da representa¸c˜ao dos objetos, bem como dos outros componentes do sistema de rastreamento, torna-se cr´ıtica.

Isto ocorre devido a quest˜oes como oclus˜ao, necessidade de identifica¸c˜ao ´unica de cada alvo, desconhecimento ou varia¸c˜ao do n´umero de objetos rastreados, al´em da dificuldade carac- ter´ıstica do caso envolvendo mais de um alvo, estabelecida pelo problema da associa¸c˜ao de dados (data association) ( BAR-SHALOM; FORTMANN , 1988) apud ( SCHULZ et al. , 2001), que consiste na necessidade do estabelecimento de uma correspondˆencia entre as observa¸c˜oes do sensor e cada alvo rastreado no ambiente.

Ainda no contexto do problema com v´arios alvos as abordagens consideradas como livres

de modelo, que n˜ao utilizam uma representa¸c˜ao expl´ıcita da forma dos alvos, tˆem a vantagem

de possibilitarem o rastreamento de objetos com formas desconhecidas a priori, o que as torna

mais flex´ıveis, al´em de dispensar a elabora¸c˜ao de um modelo que em alguns casos pode ser

custoso. No entanto, em geral este tipo de abordagem n˜ao apresenta robustez no tratamento

de problemas como oclus˜ao e manuten¸c˜ao da identidade ´unica de cada alvo, baseando-se

em estrat´egias fracas como uni˜ao e separa¸c˜ao de regi˜oes, quando dois alvos aproximam-se, por exemplo, o que dificulta muito a manuten¸c˜ao da identidade dos mesmos ( HARITAOGLU;

HARWOOD; DAVIS , 1998). Por outro lado, as propostas classificadas como baseadas em modelo, as quais usam um modelo detalhado dos alvos, requerem necessariamente o conhecimento pr´evio dos alvos de interesse e a obten¸c˜ao de informa¸c˜oes sobre os mesmos, de modo que seja poss´ıvel a constru¸c˜ao da representa¸c˜ao. A descri¸c˜ao apurada dos alvos, associada a algoritmos de rastreamento probabil´ısticos favorecem a elabora¸c˜ao de abordagens robustas, que tratam satisfatoriamente os problemas mencionados anteriormente ( MACCORMICK; BLAKE , 2000). A principal desvantagem destes m´etodos ´e que em alguns ambientes, como locais p´ublicos, nem sempre ´e vi´avel determinar todos os tipos de alvos que entrar˜ao no campo de vis˜ao do sensor

´optico e, al´em disso, elaborar modelos para os mesmos.

Considerando o que foi exposto, o emprego de uma abordagem livre de modelo para o rastreamento de objetos em seq¨uˆencias de imagens possibilita a utiliza¸c˜ao de pouca quantidade de informa¸c˜oes pr´evias sobre os objetos de interesse. A relevˆancia deste tipo de abordagem torna-se clara quando se considera aplica¸c˜oes em que os alvos s˜ao desconhecidos, como em um local p´ublico, ou heterogˆeneos, como pessoas e ve´ıculos. No entanto, a disponibilidade de pouca informa¸c˜ao a priori compromete a efic´acia do processo de rastreamento. Deste modo, a quantidade de informa¸c˜oes pr´evias utilizadas e a efic´acia do processo de rastreamento estabelece um importante paradoxo a ser considerado no desenvolvimento de uma abordagem livre de modelo de forma dos alvos.

1.1 Motiva¸c˜ ao

O problema de rastrear objetos em seq¨uˆencias de imagens ainda n˜ao se encontra resolvido de forma definitiva na literatura. Quest˜oes como fundo dinˆamico de cena, oclus˜ao persis- tente, identifica¸c˜ao ´unica de alvos, n´umero desconhecido e vari´avel de objetos de interesse e o rastreamento de objetos sobre os quais n˜ao se tem muita informa¸c˜ao a priori mostram-se desafiadoras. Al´em disso, h´a um grande n´umero de aplica¸c˜oes nas quais abordagens eficien- tes podem ser empregadas, como na vigilˆancia autom´atica de ambientes, controle de tr´afego em estradas, rastreamento de pessoas, estimativa do n´umero de pessoas em multid˜oes, entre outras. Assim, a investiga¸c˜ao deste problema configura-se tanto uma importante tarefa ci- ent´ıfica, quanto a explora¸c˜ao de um dom´ınio repleto de aplica¸c˜oes promissoras. Nesta se¸c˜ao ser˜ao abordadas brevemente duas destas aplica¸c˜oes: a rob´otica m´ovel e o monitoramento autom´atico de ambientes.

Atualmente h´a uma crescente necessidade de intera¸c˜ao entre robˆos m´oveis e seres huma-

1.2 Objetivo 5 nos em lugares como ind´ustrias, escrit´orios, hospitais, locais p´ublicos e mesmo no ambiente dom´estico. Neste contexto, possibilitar que um robˆo m´ovel tenha a capacidade de realizar o rastreamento de objetos (pessoas ou outros robˆos) em imagens do ambiente captadas por ele ´e de fundamental importˆancia para sua autonomia. Atrav´es disso, um robˆo m´ovel pode, por exemplo, ajustar sua postura e velocidade de acordo com a movimenta¸c˜ao captada de um objeto no ambiente, diminuindo assim a possibilidade de colis˜oes ( SCHULZ et al. , 2001).

Al´em disso, detec¸c˜ao e rastreamento de outros robˆos m´oveis ´e uma tarefa de fundamental importˆancia na manuten¸c˜ao e estimativa do posicionamento de cada membro de grupos de robˆos durante a inspe¸c˜ao e explora¸c˜ao de ambientes, localiza¸c˜ao de v´ıtimas em ´areas de dif´ıcil acesso, onde ocorreram desastres, localiza¸c˜ao de pessoas em locais tomados por seq¨uestradores ou por terroristas, bem como na execu¸c˜ao de outras tarefas cooperativas ou competitivas.

O monitoramento de ambientes tamb´em ´e um assunto sobre o qual h´a um crescente interesse de pesquisa e desenvolvimento nas ´areas da rob´otica e vis˜ao computacional. Essa tarefa pode ser executada com o uso de circuitos fechados de v´ıdeo, com cˆameras fixas, por cˆameras instaladas em robˆos m´oveis atuando de maneira independente, ou ainda por equipes de robˆos agindo de modo coordenado. O monitoramento autom´atico de ambientes pode ser utilizado para realizar a vigilˆancia de um pr´edio, ou para proteger um determinado local, detectando a presen¸ca de intrusos.

1.2 Objetivo

O objetivo deste trabalho ´e propor uma abordagem ´unica, capaz de realizar o rastreamento visual de alvos heterogˆeneos com a utiliza¸c˜ao de pouco conhecimento a priori sobre os mesmos, isto ´e, uma abordagem livre de modelo de forma, mas ainda assim que seja eficiente e eficaz no processo de rastreamento. ´ E importante salientar que tais interesses s˜ao conflitantes, exigindo um equil´ıbrio entre a quantidade de informa¸c˜ao empregada e a eficiˆencia e efic´acia pretendidas.

Como j´a mencionado, as caracter´ısticas das abordagens classificadas como livres de mo-

delos favorecem o rastreamento de alvos heterogˆeneos, por outro lado, as abordagens tidas

como baseadas em modelos propiciam maior robustez quanto a quest˜oes como oclus˜ao e fundo

de cena dinˆamico. Pretende-se portanto, utilizar peculiaridades dos dois grupos para alcan¸car

os objetivos desejados. Mais especificamente, ser´a utilizada para os alvos uma representa¸c˜ao

livre de modelo de forma que permitir´a o rastreamento de objetos m´oveis desconhecidos a

priori. O algoritmo de rastreamento ser´a um estimador Bayesiano, o qual ´e associado aos mo-

delos de movimento e de observa¸c˜ao dos alvos, e fornece a base para elabora¸c˜ao de solu¸c˜oes

probabil´ısticas adequadas para o problema do rastreamento visual, como se pode ver em tra-

balhos encontrados na literatura ( MACCORMICK , 2000), ( TWEED; CALWAY , 2002). Para isso

´e necess´ario que haja uma boa adequa¸c˜ao entre a representa¸c˜ao dos alvos, os modelos de movimento e de observa¸c˜ao e o algoritmo de rastreamento.

1.3 Dom´ınio de Aplica¸c˜ ao

A abordagem proposta foi desenvolvida visando o rastreamento de alvos com formas hete- rogˆeneas, como pessoas e ve´ıculos (robˆos m´oveis), que se deslocam em ambientes internos, por exemplo em escrit´orios, centros comerciais e hospitais. Definiu-se que o sensoriamento do ambiente ´e feito por um sensor ´optico, mais especificamente uma cˆamera Charge Coupled Device (CCD) fixa em um ponto pr´e-determinado. Quanto aos objetos de interesse assume-se que os mesmos s˜ao m´oveis e se deslocam no campo de vis˜ao do sensor ´optico realizando movimentos suaves e simples; assim, esta ´e a primeira informa¸c˜ao pr´evia usada na abordagem adotada. As demais suposi¸c˜oes assumidas a respeito do dom´ınio de aplica¸c˜ao da abordagem s˜ao mostradas na Tabela 1.1. As mesmas s˜ao agrupadas nas categorias ambiente, alvos e movimentos, a exemplo do que ´e apresentado por Moeslund e Granum (2001).

Suposi¸c˜ oes

Movimentos Ambiente Alvos

Cˆamera est´atica Ilumina¸c˜ao constante Ve´ıculos Alvos com movimentos suaves Fundo de cena est´atico Pessoas Movimento limitado de membros (pessoas)

Movimentos sobre um plano

Tabela 1.1: Suposi¸c˜oes a respeito dos movimentos, ambientes e alvos tratados pela aborda- gem proposta.

1.4 Organiza¸c˜ ao do Trabalho

Os temas abordados neste trabalho est˜ao divididos da seguinte forma: no Cap´ıtulo 2 ´e apresen-

tada uma breve revis˜ao bibliogr´afica, assim como uma taxonomia que ser´a ´util para localizar

a abordagem proposta dentre as demais encontradas na literatura; o Cap´ıtulo 3 trata a mode-

lagem probabil´ıstica do rastreamento visual de objetos, al´em de apresentar alguns estimadores

recursivos Bayesianos considerados nos trabalhos de rastreamento visual; o modelo de repre-

senta¸c˜ao baseado nos contornos dos alvos ´e detalhado no Cap´ıtulo 4, enquanto o modelo de

observa¸c˜ao ´e apresentado em detalhes no Cap´ıtulo 5, e o modelo de movimento dos alvos ´e

descrito no Cap´ıtulo 6. O detalhamento da abordagem proposta neste trabalho encontra-se

no Cap´ıtulo 7. Por fim, os experimentos realizados e os resultados obtidos s˜ao mostrados no

1.4 Organiza¸c˜ao do Trabalho 7

Cap´ıtulo 8, seguidos da conclus˜oes finais desta pesquisa e indica¸c˜oes de trabalhos futuros, no

Cap´ıtulo 9.

2 Revis˜ ao Bibliogr´ afica

Devido ao grande n´umero e a variedade de abordagens encontradas na literatura, torna-se muito dif´ıcil o estabelecimento de uma taxonomia capaz de classificar as propostas existentes para o tratamento do problema do rastreamento visual de objetos, sem que haja uma s´erie de exce¸c˜oes e intersec¸c˜oes entre as classes definidas. Os pr´oprios trabalhos encontrados que se prop˜oem a estabelecer taxonomias mencionam tal problema ( HU et al. , 2004), ( MOESLUND;

GRANUM , 2001), ( GAVRILA , 1999). Dessa forma, n˜ao se pretende propor aqui uma taxonomia, e sim apresentar a proposta de Hu et al. (2004), e posteriormente propor uma simples adapta¸c˜ao da mesma, que se entende ser mais clara e compreens´ıvel, dados os trabalhos encontrados na literatura. N˜ao se tem como objetivo classificar uma s´erie de abordagens encontradas, e sim fornecer um panorama geral, de modo que se possa situar com facilidade o presente trabalho dentre as principais propostas existentes.

E importante salientar que as taxonomias podem ser constru´ıdas levando-se em consi- ´ dera¸c˜ao muitos crit´erios, como dimens˜ao da representa¸c˜ao (2D × 3D), n´umero de sensores (monocular × est´ereo), disposi¸c˜ao dos sensores (centralizados × distribu´ıdos), mobilidade dos sensores (est´aticos × m´oveis), entre outras ( GAVRILA , 1999). A taxonomia apresentada baseia-se no tipo de representa¸c˜ao utilizada para descrever os alvos, o que se ajusta perfeita- mente ao escopo do presente trabalho. Al´em da taxonomia mencionada, descrita na Se¸c˜ao 2.1, ainda neste cap´ıtulo ser˜ao apresentadas na Se¸c˜ao 2.2 propostas de interesse que apresentam abordagens relevantes ao rastreamento visual.

2.1 Taxonomia

Na taxonomia adotada, apresentada por Hu et al. (2004) e mostrada na Figura 2.1, os autores prop˜oem-se a dividir as abordagens que tratam o rastreamento visual, de acordo com o tipo de representa¸c˜ao utilizada para descrever os alvos, em quatro classes: baseadas em regi˜ ao, baseadas em contorno, baseadas em caracter´ısticas (features) e baseadas em modelo.

A primeira delas engloba os m´etodos que representam os alvos como regi˜oes nas imagens. Estes

2.1 Taxonomia 9 m´etodos s˜ao freq¨uentemente denominados na literatura como rastreadores de regi˜oes (blob trackers). Na categoria das t´ecnicas baseadas em contorno, os m´etodos descrevem os alvos de interesse por uma aproxima¸c˜ao da forma de suas proje¸c˜oes no plano da imagem. J´a os m´etodos baseados em caracter´ısticas modelam os alvos atrav´es de elementos com menos significado semˆantico, ou seja, centr´oides, ´areas, segmentos de reta e curva, v´ertices (quinas e cantos), ou mesmo rela¸c˜oes geom´etricas entre tais caracter´ısticas. Finalmente, as abordagens consideradas como sendo baseadas em modelo utilizam uma representa¸c˜ao expl´ıcita e detalhada dos alvos.

Estas representa¸c˜oes podem ser constru´ıdas tanto no espa¸co 2D, quanto no 3D, baseando-se na estrutura, nos contornos, em formas volum´etricas, ou ainda na conjun¸c˜ao destes modelos anteriores.

Rastreamento Visual

Baseadas em Regiões

Baseadas em Contornos

Baseadas em Características

Baseadas em Modelos

Figura 2.1: Taxonomia apresentada por Hu et al. (2004) que define as categorias de abor- dagens para o rastreamento visual de acordo com a representa¸c˜ao utilizada.

Neste momento ´e importante salientar alguns pontos de conflito em tal taxonomia. Pri-

meiramente, a existˆencia de uma classe de m´etodos baseados em modelo induz `a suposi¸c˜ao

de que as demais categorias n˜ao se baseiam em modelos dos alvos, no entanto, tal suposi¸c˜ao

n˜ao ´e confirmada. Como exemplo, pode-se citar o trabalho de Wren et al. (1997), inclu´ıdo na

classe das propostas baseadas em regi˜oes. De fato, s˜ao utilizadas regi˜oes para modelar os alvos

(pessoas) nas imagens, mas ´e estabelecida uma rela¸c˜ao expl´ıcita entre a posi¸c˜ao de cada regi˜ao

que comp˜oe um alvo (cabe¸ca, m˜aos, tronco, etc.), de tal modo que este trabalho ´e classificado

como baseado em modelo de forma em outras taxonomias ( MOESLUND; GRANUM , 2001), ( GA-

VRILA , 1999). Da mesma maneira, uma abordagem baseada em caracter´ısticas pode utilizar

uma defini¸c˜ao expl´ıcita da posi¸c˜ao relativa em que se espera encontrar tais caracter´ısticas nos

alvos, configurando assim um modelo de forma do mesmo. Apesar da controv´ersia apontada,

a taxonomia fornece um bom panorama dos tipos de representa¸c˜oes dos alvos encontrados na

literatura.

Pelos motivos acima expostos optou-se por realizar uma adapta¸c˜ao da classifica¸c˜ao apre- sentada anteriormente, baseada na taxonomia proposta por Gavrila (1999). Neste trabalho, mesmo sem fornecer uma descri¸c˜ao bem organizada dos tipos de representa¸c˜oes existentes, o autor prop˜oe uma classifica¸c˜ao em que h´a uma separa¸c˜ao clara entre abordagens que utilizam ou n˜ao modelos expl´ıcitos da forma dos alvos. Na adapta¸c˜ao apresentada, mostrada na Figura 2.2, as abordagens s˜ao primeiramente definidas como livres ou baseadas em um modelo de forma dos alvos, para depois serem classificadas em categorias como as expostas por Hu et al.

(2004). Tal adapta¸c˜ao n˜ao constitui de maneira alguma uma taxonomia absoluta, visto que s˜ao encontradas abordagens que associam mais de um tipo de representa¸c˜ao; o objetivo aqui, como dito anteriormente ´e fornecer um panorama de alguns m´etodos existentes na literatura, visando facilitar a localiza¸c˜ao do presente trabalho entre os mesmos.

Rastreamento Visual

Baseadas em Regiões

Baseadas em Contornos

Baseadas em Características

Baseadas em Modelos

Livres de Modelos

Baseadas em Regiões

Baseadas em Contornos

Baseadas em Características

Baseadas em Estruturas Baseadas em

Modelos 3D

Figura 2.2: Proposta de adapta¸c˜ao da taxonomia apresentada por Hu et al. (2004) feita com base na classifica¸c˜ao das abordagens sugerida por Gavrila (1999).

2.2 Trabalhos Relacionados

Como j´a mencionado, h´a uma grande quantidade de abordagens na literatura que tratam o

rastreamento de alvos em seq¨uˆencias de imagens. Neste trabalho, como foi descrito na Se¸c˜ao

1.2, tem-se como objetivo principal propor uma abordagem ´unica para o rastreamento visual de

alvos heterogˆeneos. Para tanto optou-se pela utiliza¸c˜ao de uma representa¸c˜ao livre de modelo

2.2 Trabalhos Relacionados 11 de forma dos alvos. Tendo em vista a taxonomia baseada na representa¸c˜ao dos alvos para classifica¸c˜ao dos m´etodos encontrados na literatura, mostrada na Figura 2.2, s˜ao considerados trˆes tipos de representa¸c˜oes livres de modelo de forma: baseadas em regi˜oes, baseadas em contornos e basedas em caracter´ısticas.

No primeiro tipo citado os alvos s˜ao representados por regi˜oes no plano das imagens, sendo que o modelo de observa¸c˜ao extrai informa¸c˜oes dos pixels componentes destas regi˜oes para execu¸c˜ao do rastreamento, como se pode observar em ( HARITAOGLU; HARWOOD; DAVIS , 1998), ( ISARD; MACCORMICK , 2001), ( MCKENNA et al. , 2000). Nas t´ecnicas baseadas em con- tornos ´e constru´ıda uma representa¸c˜ao aproximada das proje¸c˜oes das bordas dos objetos nas imagens, sendo neste caso a observa¸c˜ao dos alvos realizada usualmente atrav´es da extra¸c˜ao de bordas de intensidade, textura e cor das imagens, como se encontra em ( NGUYEN; WORRING , 2000), ( KOLLER; WEBER; MALIK , 1994), ( PARAGIOS; DERICHE , 2000). J´a nos m´etodos basedos em caracter´ısticas os alvos s˜ao representados por informa¸c˜oes de baixo n´ıvel semˆantico, como pontos e retˆangulos envolventes, com cantos, retas e quinas extra´ıdos pelo modelo de ob- serva¸c˜ao durante o rastreamento nas seq¨uˆencias de imagens, tal como em ( JUNG; SUKHATME , 2005), ( POLANA; NELSON , 1994), ( JIN; FAVARO; SOATTO , 2001), ( SHI; TOMASI , 1994).

Apesar de apresentarem flexibilidade quanto `a forma dos alvos de interesse, as aborda- gens que fazem uso de representa¸c˜oes livres de modelos geralmente apresentam limita¸c˜oes referentes ao tratamento de oclus˜oes e `a identifica¸c˜ao ´unica de cada alvo ao longo de uma seq¨uˆencia de imagens. Solu¸c˜oes eficazes de tais quest˜oes s˜ao freq¨uentemente encontradas entre as abordagens que utilizam representa¸c˜oes baseadas em modelos de forma dos alvos e empregam estimadores Bayesianos para executar o rastreamento, ( MACCORMICK; BLAKE , 2000), ( MACCORMICK , 2000), ( TWEED; CALWAY , 2002), ( ISARD; BLAKE , 1998).

Dentre os trabalhos estudados e referidos acima, ser˜ao apresentados em detalhes a seguir

aqueles que apresentam atributos que v˜ao ao encontro aos objetivos j´a expostos. O trabalho

de Koller, Weber e Malik (1994) apresenta uma proposta para o rastreamento de ve´ıculos em

estradas. Devido `a dificuldade de determinar previamente todos os tipos de alvos pass´ıveis de

serem rastreados (caminh˜oes, carros, motos, etc.), e construir uma descri¸c˜ao para cada um

deles, uma representa¸c˜ao livre de modelo foi adotada. Os alvos s˜ao descritos por seus contor-

nos, constru´ıdos com o uso de B-splines ( BLAKE; ISARD , 1998). O processo de rastreamento ´e

iniciado com a segmenta¸c˜ao dos alvos m´oveis atrav´es da t´ecnica de subtra¸c˜ao de fundo adap-

tativo, porque apesar das imagens serem captadas por uma cˆamera est´atica, posicionada sobre

a estrada, h´a uma varia¸c˜ao peri´odica de ilumina¸c˜ao j´a que o ambiente ´e externo. ´ E constru´ıda

ent˜ao o contorno aproximado de cada alvo segmentado, sendo estes rastreados na imagem

com a metodologia de predi¸c˜ao-observa¸c˜ao-filtragem, implementada com duas instˆancias do

Filtro de Kalman para cada objeto m´ovel, uma para estima¸c˜ao de movimento e outra para estima¸c˜ao de forma. O modelo de observa¸c˜ao extrai as bordas das proje¸c˜oes dos alvos no plano da imagem e oclus˜oes s˜ao tratadas atrav´es da modelagem geom´etrica da cena no espa¸co 3D, que ´e poss´ıvel porque a cˆamera ´e fixa, e em postura conhecida em rela¸c˜ao `a cena, como j´a mencionado.

Jung e Sukhatme (2005) prop˜oem uma abordagem para o rastreamento de alvos m´oveis em ambiente externo. Nesse caso tamb´em n˜ao h´a um conhecimento pr´evio sobre os obje- tos de interesse que viabilize a constru¸c˜ao de uma representa¸c˜ao ´unica da forma para cada alvo. Os mesmos podem ser pessoas ou qualquer tipo de ve´ıculo. A descri¸c˜ao ´e baseada em caracter´ısticas, mais especificamente pontos que s˜ao agrupados e delimitados por um retˆangulo envolvente (bounding box). Neste trabalho o sensor ´optico ´e m´ovel, posicionado em um robˆo m´ovel, por isso os alvos n˜ao s˜ao segmentados na inicializa¸c˜ao do processo. O rastreamento ´e executado com o uso de uma instˆancia do Filtro de Part´ıculas ( S¨ ARKK¨ A et al. , 2004) para cada alvo, sendo que conforme o n´umero de alvos varia, tais instˆancias s˜ao criadas ou eliminadas. O modelo de observa¸c˜ao baseia-se no movimento captado em cada imagem da seq¨uˆencia por diferencia¸c˜ao entre dois quadros subseq¨uentes, sendo que o movimento da cˆamera (egomovimento do robˆo) ´e compensado com o algoritmo KLT (Kanade-Lucas-Tomasi) ( TOMASI; KANADE , 1991). N˜ao h´a um tratamento expl´ıcito de oclus˜ao e este problema n˜ao ´e suficientemente abordado.

Com o objetivo de seguir pessoas em um ambiente interno, usando uma cˆamera est´atica, MacCormick e Blake (2000) empregam uma solu¸c˜ao baseada em modelo, que representa os alvos pelo contorno da cabe¸ca e ombros, constru´ıdo com B-splines. N˜ao h´a segmenta¸c˜ao dos alvos neste caso, sendo os mesmos perseguidos com o uso do algoritmo Condensation. O modelo de observa¸c˜ao extrai as bordas de intensidade das proje¸c˜oes dos alvos nas imagens utilizando linhas de medida anexadas `a representa¸c˜ao dos mesmos, que possibilitam a extra¸c˜ao de bordas no espa¸co 1D, reduzindo o custo computacional do algoritmo. H´a um rigoroso tratamento de oclus˜ao, por meio de um princ´ıpio de exclus˜ao probabil´ıstico, que torna robusta a identifica¸c˜ao ´unica de cada alvo ao longo de uma seq¨uˆencia de quadros, no entanto o n´umero de objetos reastreados deve ser fixo e conhecido previamente.

Isard e MacCormick (2001) tamb´em apresentam uma proposta para o monitoramento

da movimenta¸c˜ao de pessoas em ambientes internos com uma cˆamera fixa. Os alvos s˜ao

representados por um cilindro no espa¸co 3D da cena, mas o modelo torna-se na realidade

uma regi˜ao el´ıptica quando projetado no plano da imagem, utilizando para isso informa¸c˜oes

geom´etricas do ambiente. H´a uma fase de treinamento no processo onde as fun¸c˜oes de

verossimilhan¸ca do fundo da imagem e dos alvos s˜ao aprendidas para uma determinada cena,

2.3 Considera¸c˜oes Finais 13 com base no resultado fornecido por filtros aplicados nas 3 bandas das imagens (Y, Cr, Cb).

Os objetos de interesse s˜ao rastreados pelo algoritmo Condensation, sendo que o modelo de observa¸c˜ao utiliza uma grade sobre toda imagem para determinar as regi˜oes com maior probabilidade de corresponderem aos alvos, em uma dada cena. N˜ao h´a um tratamento de oclus˜ao expl´ıcito e problemas quanto `a identifica¸c˜ao ´unica dos alvos s˜ao relatados pelos autores, no entanto a abordagem ´e capaz de rastrear um n´umero vari´avel de alvos, e fornece uma metodologia para associa¸c˜ao entre um modelo baseado em regi˜ao e o algoritmo Condensation.

2.3 Considera¸c˜ oes Finais

As solu¸c˜oes apresentadas acima possuem atributos interessantes em rela¸c˜ao aos objetivos as-

sumidos neste trabalho. Koller, Weber e Malik (1994) e Jung e Sukhatme (2005) prop˜oem

abordagens livres de modelo, no entanto, no primeiro caso o tratamento de oclus˜oes fica con-

dicionado `a modelagem geom´etrica da cena, o que gera restri¸c˜oes quanto ao posicionamento

da cˆamera no ambiente, j´a no segundo trabalho este problema n˜ao ´e consideravelmente tra-

tado. Ambos tamb´em possibilitam que um n´umero vari´avel de alvos seja rastreado, bem como

a solu¸c˜ao de Isard e MacCormick (2001). O tratamento de oclus˜ao dado por MacCormick e

Blake (2000) ´e robusto e rigoroso, no entanto o n´umero de alvos deve ser estabelecido a priori e

a sua extens˜ao para oclus˜ao entre mais de dois alvos ´e complexa. Isard e MacCormick (2001)

utilizam uma representa¸c˜ao baseada em regi˜oes, o que torna o rastreamento mais robusto

em rela¸c˜ao ao uso de contornos aproximados, mas n˜ao h´a um modelo ´unico aprendido para

cada alvo, o que gera degrada¸c˜ao do rastreamento em situa¸c˜oes de oclus˜ao. Tais solu¸c˜oes

ser˜ao consideradas para elabora¸c˜ao da abordagem proposta no presente trabalho, de modo a

possibilitar o rastreamento eficiente de alvos com formas heterogˆeneas.

3 Abordagem Probabil´ıstica do Rastreamento Visual

O cen´ario b´asico de um problema de rastreamento ´e formado por um sensor, que fornece in- forma¸c˜oes ruidosas do ambiente, e um alvo que descreve uma determinada trajet´oria ( S¨ ARKK¨ A et al. , 2004). No caso do rastreamento visual, ´e utilizado um sensor ´optico, como uma cˆamera, como ilustrado na Figura 3.1, e as observa¸c˜oes s˜ao imagens captadas do ambiente. Varia¸c˜oes do caso b´asico podem ser criadas alterando-se o n´umero de alvos, como mostrado na Figura 3.2, o n´umero de sensores, ou as caracter´ısticas dos mesmos, como por exemplo sua mobili- dade. No caso do presente trabalho o problema em quest˜ao ´e o rastreamento visual de alvos com um sensor ´optico fixo.

Sensor (câmera) Campo

de Visão

Alvo

Observação (imagem)

Trajetória do Alvo

Figura 3.1: Cen´ario b´asico: o sensor ´optico produz uma observa¸c˜ao do ambiente dentro de seu campo de vis˜ao, no qual o alvo de interesse descreve a trajet´oria indicada.

O rastreamento visual pode ser modelado como um processo de estima¸c˜ao, no qual os alvos sensoriados constituem um sistema dinˆamico, ou seja, que se altera ao longo do tempo.

O estado do sistema, que corresponde `a localiza¸c˜ao dos alvos na cena, ´e representado por n

parˆametros que o definem unicamente em um instante t ∈ R; e pela descri¸c˜ao da evolu¸c˜ao

destes parˆametros ao longo do tempo ( MACCORMICK , 2000), ( BLAKE; ISARD , 1998). As incer-

tezas inerentes a aplica¸c˜oes reais, geradas por imperfei¸c˜oes no pr´oprio modelo matem´atico do

sistema dinˆamico, por ru´ıdos e por imprecis˜oes nas observa¸c˜oes sensoriais, devem ser conside-

Abordagem Probabil´ıstica do Rastreamento Visual 15

Sensor (câmera) Campo

de Visão

Alvo 1

Observação (imagem)

Trajetória do Alvo 1 Alvo 2

Trajetória do Alvo 2

Figura 3.2: Cen´ario com alvos heterogˆeneos: dois alvos com formas distintas descrevem trajet´orias no ambiente enquanto observa¸c˜oes s˜ao realizadas pelo sensor ´optico.

radas na estima¸c˜ao. Existem v´arias formas de modelar tais incertezas ( GOLDENSTEIN , 2004), dentre elas provavelmente a mais difundida e fundamentada seja a abordagem probabil´ıstica ( S¨ ARKK¨ A et al. , 2004),( BAR-SHALOM; LI; KIRUBARAJAN , 2001), por apresentar bons resultados pr´aticos. Nessa abordagem os parˆametros que definem o sistema s˜ao agrupados em uma vari´avel aleat´oria multidimensional ~x, denominada como vetor de estado do sistema. Dada a natureza dinˆamica do sistema, o vetor de estado em um determinado instante k ´e dado por

~x

, onde k ∈ Z ´e a representa¸c˜ao discreta do tempo, tal que t = k.∆T , sendo t ∈ R o tempo cont´ınuo. A evolu¸c˜ao do vetor de estado do sistema ao longo do tempo ´e dada por

~x

= f

(~x

, ~ w

), (3.1) onde a fun¸c˜ao f

: R

× R

→ R

representa o modelo de movimento do sistema, a dimens˜ao do vetor de estado ~x ´e dada por n

e n

´e a dimens˜ao do vetor w ~ que representa o ru´ıdo independente e identicamente distribu´ıdo (i.i.d.) do modelo. Como muitos sistemas po- dem ser considerados processos de Markov de ordem um, nos quais o estado seguinte depende apenas do estado imediatamente anterior, os vetores ~x

, com i = 0, ..., k − 2, correspondentes aos estados anteriores, n˜ao s˜ao considerados no modelo de evolu¸c˜ao do vetor de estado.

O objetivo do rastreamento ´e estimar o estado de um sistema, em um determinado ins- tante k, utilizando para isso o modelo de movimento mostrado na Equa¸c˜ao 3.1 e observa¸c˜oes indiretas dos parˆametros que comp˜oem o estado, fornecidas usualmente por sensores. Uma observa¸c˜ao indireta ~z

do estado do sistema ´e dada por

~z

= h

(~x

, ~v

), (3.2)

onde a fun¸c˜ao h

: R

× R

→ R

representa o modelo de observa¸c˜ao do sistema, a

dimens˜ao do vetor de observa¸c˜ao ~z ´e dada por n

e n

´e a dimens˜ao do vetor ~v que representa o ru´ıdo i.i.d. da observa¸c˜ao. Como uma observa¸c˜ao ´e realizada a cada instante k, tem-se o hist´orico de observa¸c˜oes do instante 1 at´e o instante k, definido como o conjunto I

, {~z

, ..., ~z

}. Neste ponto ´e v´alido fazer distin¸c˜ao entre trˆes problemas gerais de estima¸c˜ao, definidos de acordo com a rela¸c˜ao entre o instante k no qual se deseja realizar a estima¸c˜ao, e os instantes inicial e final que definem o conjunto das observa¸c˜oes utilizadas, denotados abaixo por i e j, respectivamente ( GELB et al. , 1974):

• Predi¸c˜ ao onde s˜ao usadas apenas observa¸c˜oes anteriores ao instante k: i ≤ j < k;

• Filtragem onde s˜ao usadas apenas observa¸c˜oes at´e o instante k (inclusive): i ≤ j = k;

• Suaviza¸c˜ ao onde s˜ao usadas observa¸c˜oes anteriores ou posteriores ao instante k: i ≤ k ≤ j.

Como o vetor de estado ~x

e o vetor de observa¸c˜oes ~z

s˜ao vari´aveis aleat´orias, os mesmos podem ser representados por fun¸c˜oes densidade de probabilidade (pdf) possibilitando o em- prego da estima¸c˜ao recursiva Bayesiana, que constitui um arcabou¸co confi´avel para combina¸c˜ao do modelo de movimento do sistema com seu modelo de observa¸c˜ao. A estima¸c˜ao Bayesiana em um instante k permite a utiliza¸c˜ao de toda informa¸c˜ao dispon´ıvel at´e este instante: todas as observa¸c˜oes at´e k e o conhecimento anterior sobre o estado. Com essas informa¸c˜oes, repre- sentadas pelo hist´orico de observa¸c˜oes I

= {~z

, ..., ~z

}, e pela distribui¸c˜ao de probabilidade do estado anterior p(~x

|I

), sendo esta ´ultima no instante inicial igual `a distribui¸c˜ao de probabilidade a priori do sistema p( x ~

), deseja-se calcular a distribui¸c˜ao a posteriori de ~x

: p(~x

|I

).

Para isso a Regra de Bayes pode ser aplicada, de modo que p(~x

|I

) = p(~x

|~z

, I

)

= R p(~z

|~x

, I

)p(~x

|I

)

p(~z

|~x

, I

)p(~x

|I

)d

(3.3)

= 1

c p(~z

|~x

, I

)p(~x

|I

),

onde c ´e uma constante normalizadora. Com a aplica¸c˜ao da equa¸c˜ao de Chapman-Kolmogorov, que ´e uma conseq¨uˆencia imediata do teorema da probabilidade total ( BAR-SHALOM; LI; KIRU- BARAJAN , 2001), tem-se que:

p(~x

|I

) = Z

p(~x

|~x

, I

)p(~x

|I

)d

. (3.4)

3.1 Filtros Probabil´ısticos Aplicados ao Rastreamento Visual 17 O sistema dado pela Equa¸c˜ao 3.1 foi assumido como um processo de Markov de ordem um, tem-se ( BAR-SHALOM; LI; KIRUBARAJAN , 2001):

p(~x

|I

) = 1

c p(~z

|~x

, I

) Z

p(~x

|~x

, I

)p(~x

|I

)d

= 1

c p(~z

|~x

) Z

p(~x

|~x

)p(~x

|I

)d

, (3.5) onde a fun¸c˜ao de verossimilhan¸ca p(~z

|~x

) ´e definida pelo modelo de observa¸c˜ao h

(.) na Equa¸c˜ao 3.2, a evolu¸c˜ao do estado p(~x

|~x

) ´e definida pelo modelo de movimento f

(.) na Equa¸c˜ao 3.1, e p(~x

|I

) representa a distribui¸c˜ao a posteriori do estado anterior, ou sim- plesmente a distribui¸c˜ao a priori p( x ~

) no primeiro passo do processo de estima¸c˜ao. Percebe-se claramente a caracter´ıstica recursiva do estimador Bayesiano, que ´e usualmente dividido em duas etapas: predi¸c˜ ao, quando o pr´oximo estado ´e estimado p(~x

|I

); e filtragem quando a observa¸c˜ao ´e incorporada na estimati¸c˜ao atrav´es da verossimilhan¸ca p(~z

|~x

).

Existe uma s´erie de estimadores que resolvem a equa¸c˜ao recursiva Bayesiana 3.5, cada um deles usando diferentes suposi¸c˜oes. O Filtro de Kalman ( GELB et al. , 1974), supondo as fun¸c˜oes f

(.) e h

(.) como lineares, e distribui¸c˜oes de probabilidade Gaussianas, fornece uma solu¸c˜ao anal´ıtica fechada da equa¸c˜ao. O Filtro de Kalman Estendido ( GELB et al. , 1974) ´e capaz de lidar com fun¸c˜oes f

(.) e h

(.) n˜ao-lineares, mas ainda exige distribui¸c˜oes Gaussianas. J´a o Condensation ( BLAKE; ISARD , 1998) (Filtro de Part´ıculas), permite tanto que as fun¸c˜oes sejam n˜ao-lineares, quanto que as distribui¸c˜oes de probabilidade envolvidas no processo se- jam n˜ao-Gaussianas. Na pr´oxima se¸c˜ao ser˜ao apresentados os estimadores Bayesianos mais freq¨uentemente usados no rastreamento visual.

3.1 Filtros Probabil´ısticos Aplicados ao Rastreamento Vi- sual

Nesta se¸c˜ao ser˜ao apresentados o Filtro de Kalman, o Filtro de Kalman Estendido e o algo-

ritmo Condensation, uma implementa¸c˜ao do Filtro de Part´ıculas muito difundida na ´area de

vis˜ao computacional ( MACCORMICK , 2000). Estes algoritmos, que implementam a estima¸c˜ao

Bayesiana descrita na se¸c˜ao anterior, s˜ao amplamente utilizados em abordagens propostas na

literatura para o rastreamento de objetos em seq¨uˆencias de imagens.