Uso de técnicas de recuperação de imagens para o problema de reidentificação de pessoas

(1)

Vladimir Jaime Rocca Layza

“Uso de T´

ecnicas de Recupera¸

c˜

ao de Imagens para o

Problema de Reidentifica¸

c˜

ao de Pessoas”

CAMPINAS

2015

(2)

(3)

(4)

Maria Fabiana Bezerra Muller - CRB 8/6162

Rocca Layza, Vladimir Jaime,

R581u RocUso de técnicas de recuperação de imagens para o problema de

reidentificação de pessoas / Vladimir Jaime Rocca Layza. – Campinas, SP : [s.n.], 2015.

RocOrientador: Ricardo da Silva Torres. RocCoorientador: Hélio Pedrini.

RocDissertação (mestrado) – Universidade Estadual de Campinas, Instituto de Computação.

Roc1. Identificação humana. 2. Reconhecimento de padrões. 3. Descritores. 4. Multiescala. 5. Imagens - Recuperação. 6. Recuperação da informação. I. Torres, Ricardo da Silva,1977-. II. Pedrini, Hélio,1963-. III. Universidade Estadual de Campinas. Instituto de Computação. IV. Título.

Informações para Biblioteca Digital

Título em outro idioma: Content-based image retrieval techniques applied to the person

reidentification problem Palavras-chave em inglês: Human identification Pattern recognition Descriptors Multiscale Image retrieval Information retrieval

Área de concentração: Ciência da Computação Titulação: Mestre em Ciência da Computação Banca examinadora:

Ricardo da Silva Torres [Orientador] Erickson Rangel do Nascimento Anderson de Rezende Rocha

Data de defesa: 20-03-2015

Programa de Pós-Graduação: Ciência da Computação

Powered by TCPDF (www.tcpdf.org)

(5)

(6)

(7)

Instituto de Computa¸c˜ao Universidade Estadual de Campinas

Uso de T´

ecnicas de Recupera¸

c˜

ao de Imagens para o

Problema de Reidentifica¸

c˜

ao de Pessoas

Vladimir Jaime Rocca Layza

20 de mar¸co de 2015

Banca Examinadora:

• Prof. Dr. Ricardo da Silva Torres (Supervisor/Orientador ) • Prof. Dr. Erickson Rangel do Nascimento

Departamento de Ciˆencia da Computa¸c˜ao - UFMG • Prof. Dr. Anderson de Rezende Rocha

Instituto de Computa¸c˜ao - UNICAMP • Prof. Dr. Jo˜ao Paulo Papa

Departamento de Ciˆencia da Computa¸c˜ao - UNESP (Suplente) • Prof. Dr. Zanoni Dias

Instituto de Computa¸c˜ao - UNICAMP (Suplente)

(8)

(9)

Abstract

Several surveillance systems based on the use of multiple cameras have been proposed recently. However, the identification of people in video sequences obtained from seve-ral cameras with non-overlapping views, commonly known as the person reidentification task, is still an open problem. Person reidentification is a challenging problem due to the constraints under which the problem should be solved. These constraints come from the characteristics of the scenario and the objects of interest (people): first, biometric features may not be used as discriminant information; second, appearance is dramatically modi-fied by changes in position, lighting conditions, and camera parameters. Therefore, in these conditions a unique person can be “seen” as a distinct person by different cameras. This research is focused on the investigation of alternatives for the creation of surveillance systems aiming at person reidentification. We intend to use content-based image retrieval techniques, such as traditional and recently proposed image descriptors, multiscale analy-sis, and rank aggregation approaches. Conducted experiments considered the use of four different datasets, commonly used in the evaluation of person reidentification systems. Obtained results show that the content-based image retrieval techniques are promising to reidentify people, producing equivalent results to the state-of-the-art methods.

(10)

(11)

Resumo

Vários sistemas de vigilância baseados no uso de múltiplas câmeras têm sido propostos recentemente. No entanto, a identifica¸cão de pessoas em sequências de v´ıdeos obtidas por várias câmeras com vistas não sobrepostas, comumente conhecida como reidentifica¸cão de pessoas, é um problema em aberto. As razões para que este problema seja considerado desafiador referem-se principalmente às restri¸cões nas quais o problema deve ser resol-vido. Estas restri¸cões são definidas a partir das caracter´ısticas do cenário e dos objetos de interesse (as pessoas): primeiro, as caracter´ısticas biométricas de pessoas não podem ser utilizadas como caracter´ısticas discriminantes; segundo, a aparência das pessoas muda drasticamente em virtude de varia¸cões na posi¸cão, ilumina¸cão e parâmetros de câmera. Tais restri¸cões fazem com que uma mesma pessoa possa ser observada por múltiplas câmeras como uma pessoa diferente para cada uma delas. Nesta pesquisa, busca-se in-vestigar alternativas para a cria¸cão de sistemas de vigilância visando à reidentifica¸cão de pessoas. Foram empregadas técnicas de recupera¸cão de imagens por conteúdo tais como descritores de imagens tradicionais e propostos recentemente, análise multiescala, e t´ecnicas de rank aggregation. Os experimentos realizados consideram a utiliza¸c˜ao de quatro bases de dados comumente utilizadas na avalia¸cão de sistemas de reidentifica¸cão de pessoas. Os resultados obtidos mostraram que as técnicas de recupera¸cão de ima-gens por conteúdo são promissoras para a reidentifica¸cão de pessoas, obtendo resultados comparáveis aos métodos do estado da arte.

(12)

(13)

Agradecimentos

• Agrade¸co ao professor Ricardo e o professor H´elio pela orienta¸c˜ao e pela infinita ajuda; aprendi coisas muito valiosas.

• Agrade¸co a Deus pela vida e a meus pais Pedro e Amancia por me ensinarem a perseverar nas coisas que eu quero.

• Agrade¸co pelo apoio a minhas irm˜as Gloria e Mayra, e a minha tia Eufemia. • Agrade¸co aos membros da banca por terem aceitado fazer parte da avalia¸c˜ao deste

trabalho.

• Agrade¸co `a Cecilia e a meus queridos Tim´on e Pumba. • Agrade¸co a todos meus amigos do IC.

• Agrade¸co a todos os professores e colegas do RECOD.

• Agrade¸co ao CNPq, à CAPES, à FAPESP, à Microsoft e à AMD pelo apoio finan-ceiro.

(14)

(15)

Sum´

ario

Abstract ix

Resumo xi

Agradecimentos xiii

1 Introdu¸c˜ao 1

2 Trabalhos e Conceitos Relacionados 5

2.1 O Problema de Reidentifica¸c˜ao de Pessoas . . . 5

2.2 Trabalhos Relacionados . . . 8

2.2.1 Abordagens Baseadas em Caracter´ısticas . . . 8

2.2.2 Abordagens Baseadas em Aprendizagem . . . 10

2.3 Conceitos Relacionados . . . 13

2.3.1 Recupera¸c˜ao de Imagens por Conte´udo . . . 13

2.3.2 M´etodos de Agrega¸c˜ao de Listas (Rank Aggregation) . . . 14

2.3.3 Descritores de Imagem . . . 17

2.3.4 Aprendizagem de M´etricas de Distˆancia Large Margin Nearest Neighbor (LMNN) . . . . 20 3 Metodologia 23 3.1 Processamento Offline . . . . 25 3.2 Processamento Online . . . 28 4 Experimentos e Resultados 30 4.1 Protocolo Experimental . . . 30 4.1.1 Bases de Dados . . . 31

4.1.2 Sele¸c˜ao Aleat´oria de Dados . . . 33

4.1.3 Medidas de Avalia¸c˜ao . . . 33 4.1.4 An´alise Estat´ıstica do Desempenho dos M´etodos de Rank Aggregation 34

(16)

(17)

4.2 Resultados Experimentais . . . 34

4.2.1 Avalia¸c˜ao de Descritores . . . 35

4.2.2 Análise de Correla¸cão e Sele¸cão de Descritores . . . 38

4.2.3 Avalia¸c˜ao de M´etodos de Rank Aggregation . . . . 40

4.2.4 Avalia¸c˜ao de M´etodos de Rank Aggregation Utilizando a Medida LMNN . . . 47

4.2.5 An´alise do Desempenho da Descri¸c˜ao Multiescala . . . 48

4.2.6 Análise dos Resultados e Compara¸cão com Outros Métodos . . . . 50

5 Conclus˜oes e Trabalhos Futuros 59

Referˆencias Bibliogr´aficas 61

(18)

(19)

Lista de Tabelas

2.1 Descritores e abreviaturas utilizadas ao longo do texto . . . 18

3.1 Exemplo da combina¸c˜ao de duas listas ordenadas . . . 29

4.1 Dimensionalidade de cada descritor . . . 33

4.2 Exemplo de teste Wilcoxon signed rank . . . . 35

4.3 Desempenho da combina¸c˜ao de pares de descritores na base CAVIAR4REID 46 4.4 Desempenho da combina¸c˜ao de pares de descritores na base i-LIDS . . . . 46

4.5 Desempenho da combina¸c˜ao de pares de descritores na base ETHZ . . . 47

4.6 Desempenho da combina¸c˜ao de pares de descritores na base VIPER . . . . 47

4.7 Desempenho da combina¸cão de descritores na base VIPER usando LMNN 49 4.8 Desempenho da combina¸cão de descritores na base ETHZ usando LMNN . 49 4.9 Desempenho dos descritores en única escala e multiescala . . . 50

4.10 Compara¸c˜ao da abordagem proposta com o estado da arte . . . 58

(20)

(21)

Lista de Figuras

1.1 Subproblemas de um sistema autom´atico de vigilˆancia . . . 3

2.1 Imagens capturadas em ambientes reais . . . 6

2.2 Visão geral das etapas que compõem os métodos para a solu¸cão do problema de reidentifica¸cão de pessoas . . . 7

2.3 Arquitetura de um sistema de recupera¸c˜ao de imagens por conte´udo . . . . 14

2.4 Esquema geral da combina¸c˜ao de listas ordendas geradas pelos m´etodos de Rank Aggregation . . . . 15

2.5 Ilustra¸cão gráfica do processo de aprendizagem do método LMNN. . . 22

3.1 Arquitetura de um sistema de reidentifica¸c˜ao de pessoas . . . 24

3.2 Vis˜ao geral das etapas da abordagem proposta . . . 26

3.3 Constru¸c˜ao de vetores de caracter´ısticas . . . 27

4.1 Vis˜ao geral das etapas do protocolo experimental utilizado . . . 31

4.2 Curvas CMC e medidas AUC de cada descritor na base de dados CA-VIAR4REID . . . 36

4.3 Curvas CMC e medidas AUC de cada descritor na base de dados i-LIDS . 36 4.4 Curvas CMC e medidas AUC de cada descritor na base de dados ETHZ . . 37

4.5 Curvas CMC e medidas AUC de cada descritor na base de dados VIPER . 37 4.6 CAVIAR4REID [9] . . . 39

4.7 i-LIDS [62] . . . 39

4.8 ETHZ [13, 45] . . . 39

4.9 VIPER [16] . . . 39

4.10 Exemplos de resultados de consultas realizadas sobre as quatro bases de dados . . . 39

4.11 Correla¸c˜ao de descritores para a base de dados CAVIAR4REID . . . 41

4.12 Correla¸c˜ao de descritores para a base de dados i-LIDS . . . 42

4.13 Correla¸c˜ao de descritores para a base de dados ETHZ . . . 43

4.14 Correla¸c˜ao de descritores para a base de dados VIPER . . . 44

(22)

(23)

4.15 Curvas CMC da combina¸cão utilizando m´etodos de rank aggregation na base de dados CAVIAR4REID usando distância Euclideana . . . 55 4.16 Curvas CMC da combina¸cão utilizando m´etodos de rank aggregation na

base de dados i-LIDS usando distˆancia Euclideana . . . 55 4.17 Curvas CMC da combina¸c˜ao utilizando m´etodos de rank aggregation na

base de dados VIPER usando distˆancia Euclideana . . . 56 4.18 Curvas CMC da combina¸c˜ao utilizando m´etodos de rank aggregation na

base de dados ETHZ usando distˆancia Euclideana . . . 56 4.19 Curvas CMC da combina¸c˜ao utilizando m´etodos de rank aggregation na

base de dados VIPER usando a medida LMNN . . . 57 4.20 Curvas CMC da combina¸c˜ao utilizando m´etodos de rank aggregation na

base de dados ETHZ usando a medida LMNN . . . 57

(24)

(25)

Cap´ıtulo 1

Introdu¸

c˜

ao

Diariamente, milhões de câmeras de vigilância monitoram um amplo conjunto de locais, desde cômodos de uma casa até grandes ambientes, tais como aeroportos, supermerca-dos, escolas, hospitais e esta¸cões de trens. Essas câmeras coletam enorme quantidade de dados, os quais podem ser úteis para diversas tarefas, tais como análise de comporta-mento das pessoas, reconhecicomporta-mento de a¸cões, entre outras. No entanto, esses dados são raramente utilizados por causa da enorme quantidade de informa¸cão que um operador humano (encarregado de obter informa¸cão de interesse) é capaz de analisar.

Uma prática comum nos locais monitorados é gravar os v´ıdeos e posteriormente utiliz´ a-los como ferramenta forense. Por exemplo, após a ocorrência de um crime, um v´ıdeo gravado é utilizado para coletar evidências e identificar poss´ıveis suspeitos. No entanto, poderia ser mais vantajoso que o sistema tivesse capacidade de advertência. Neste caso, o sistema poderia alertar antes ou durante a ocorrência do crime [22]. Assim, a análise automática de dados para extrair informa¸cão resumida de alto n´ıvel (por exemplo, uma pessoa está limpando o carro) é altamente desejável.

De acordo com Omar et al. [22], um sistema automático de vigilˆancia (automated surveillance system) deve ser capaz de identificar e seguir objetos em movimento dentro de seu campo visual, detectando e classificando as atividades que ocorrerem. De acordo com Bazzani [5], um sistema automático de vigilância tem duas dimensões e vários n´ıveis de análise em cada uma. A primeira dimensão considera quatro n´ıveis de acordo com o número de pessoas que aparecem na câmera do ambiente monitorado, ou seja, quando as câmeras monitoram apenas uma pessoa, várias pessoas, pequenos grupos de pessoas e multidões. A segunda dimensão considera dois n´ıveis de acordo com o número de observa¸cões que o sistema pode reunir em cada momento. O primeiro n´ıvel considera apenas uma câmera estática ou dinâmica, a qual fornece só uma imagem ou um conjunto sequencial de imagens. O segundo n´ıvel considera várias câmeras (análise multicâmera), em que são diferenciados dois casos: câmeras sobrepostas e não sobrepostas. O primeiro

(26)

caso é geralmente mais simples de abordar, porque as propriedades geométricas podem ser utilizadas em conjunto para estimar a posi¸cão de pessoas. Entretanto, o segundo caso é mais realista e mais dif´ıcil de abordar, porque os indiv´ıduos transitam entre diferentes câmeras não sobrepostas por meio de algumas áreas não monitoradas.

O problema geral de um sistema automático de vigilância pode ser dividido em uma série de subproblemas [22]: deteçcão e classifica¸cão, rastreamento, reidentifica¸cão e análise de comportamento. O primeiro subproblema ´e a deteçcão e classifica¸cão dos objetos de interesse no campo visual da câmera. A defini¸cão de um objeto de interesse é dependente do contexto da aplica¸cão e, geralmente, são pessoas ou ve´ıculos.

Uma vez que os objetos de interesse foram detectados, é útil ter um registro de seus movimentos ao longo do tempo. Isto pode ser obtido a partir do tratamento do segundo subproblema, rastreamento do objeto, o qual ´e definido como o problema de estimar a trajetória de um objeto movendo-se em uma cena.

Em um sistema real com pontos de vista de câmeras não sobrepostos, o sistema deve ter a capacidade de seguir os objetos enquanto são observados por diferentes câmeras, ou seja, dado um conjunto de rastreamentos (tracks) em cada cˆamera, devem-se encontrar quais deles pertencem ao mesmo objeto. Este problema é conhecido como problema de reidentifica¸cão. Finalmente, depois de ter todo o ambiente monitorado, o quarto subproblema, a análise de comportamento, relaciona-se `a deteçcão de comportamentos anormais, reconhecendo diferentes a¸cões e atividades humanas, tais como sua intera¸cão com objetos, intera¸cão social, entre outras.

Bazzani [5] considera outra taxonomia de acordo com o n´ıvel de descri¸cão ou in-forma¸cão que cada subproblema do sistema automático de vigilância fornece para o ope-rador humano. A deteçcão e classifica¸cão fornecem informa¸c˜ao de baixo n´ıvel, porque os resultados obtidos não auxiliam o operador humano, dado que os objetos de interesse detectados e classificados em cada câmera estão isolados. A reidentifica¸cão conecta os objetos de interesse entre diferentes câmeras, fornecendo informa¸c˜ao de n´ıvel médio. Fi-nalmente, a análise de comportamento fornece informa¸c˜ao de alto n´ıvel, pois proporciona uma descri¸cão do ambiente monitorado, que usualmente é a informa¸cão que o operador humano necessita. As duas taxonomias para o problema automático de vigilância, deta-lhadas anteriormente, são mostradas na Figura 1.1. Pode-se observar que as etapas são fortemente dependentes.

Nos últimos anos, a tendência das pesquisas está orientada na dire¸cão da análise de médio e alto n´ıveis, entretanto, o baixo n´ıvel ainda está longe de ser definitivamente resolvido [5].

O foco deste trabalho está na solu¸cão do problema de reidentifica¸cão de pessoas, que é de vital importância para a realiza¸cão de análise de comportamento. De acordo com o estado da arte [2, 4, 9, 12], o problema de reidentifica¸cão de pessoas é definido como

(27)

3 Detecção de Pessoas Rastreamento de Pessoas Reidentificação e Reaquisição de Pessoas Análise de Comportamento Baixo Nível Nível Médio Alto Nível

Figura 1.1: Subproblemas de um sistema automático de vigilância e os n´ıveis de in-forma¸cão que fornecem ao operador humano. Figura adaptada de [5].

a identifica¸cão de uma pessoa em diferentes localiza¸cões em imagens obtidas de várias câmeras com pontos de vista não sobrepostos.

De forma geral, as abordagens no estado da arte [18–20, 26] para solu¸cão do problema de reidentifica¸cão de pessoas podem ser classificadas em dois tipos: (i) baseadas em caracter´ısticas, que constituem abordagens focadas em criar descritores/assinaturas de aparência para cada pessoa suficientemente robusta para ser capaz de distinguir entre aparências de pessoas similares; (ii) abordagens baseadas em aprendizagem, as quais

(28)

usam um conjunto de caracter´ısticas para treinar modelos discriminativos; esses modelos normalmente s˜ao mais complexos do que os baseados em caracter´ısticas.

O objetivo deste trabalho é o desenvolvimento de uma solu¸cão para o problema de reidentifica¸cão de pessoas baseada em uma arquitetura dos sistemas de recupera¸cão de imagens por conte´udo (Content-Based Image Retrieval – CBIR). Em geral, dada uma imagem de consulta, um sistema CBIR recupera as imagens mais similares de uma cole¸cão considerando o conteúdo visual da imagem (por exemplo, forma, cor e textura) [51]. Em aplica¸cões de CBIR é comum utilizar m´etodos de rank aggregation para melhorar a efetividade do sistema por meio de fusão de dados. Os m´etodos de rank aggregation combinam diferentes listas ordenadas geradas a partir de diferentes caracter´ısticas para obter uma lista mais precisa [28]. O principal argumento para a combina¸cão de listas geradas por diferentes caracter´ısticas é que “visões” distintas de um mesmo conjunto de dados podem complementar informa¸cão sobre o mesmo conjunto.

Nossa principal contribui¸cão é a avalia¸cão de descritores de caracter´ısticas e métodos de rank aggregation no problema de reidentifica¸c˜ao de pessoas. Especificamente, utilizamos o paradigma de recupera¸cão de informa¸cão multimodal, ou seja, exploramos diferentes descritores associados a diferentes propriedades visuais (por exemplo, textura, cor e forma) e, em um segundo momento, avaliamos suas eficácias considerando diferentes escalas. Listas ordenadas geradas pelos descritores de caracter´ısticas são combinadas utilizando vários m´etodos de rank aggregation, gerando dessa forma uma lista mais precisa, ou seja, uma lista que possui imagens de interesse em suas primeiras posi¸cões. Avaliamos ainda a medida de distância Euclideana e uma medida de distância aprendida utilizando o método Large Margin Nearest Neighbor (LMNN) [54].

Este documento está organizado da seguinte forma. O Cap´ıtulo 2 apresenta os tra-balhos e conceitos relacionados ao problema de reidentifica¸cão e recupera¸cão de imagens por conteúdo. O Cap´ıtulo 3 apresenta a metodologia proposta para a reidentifica¸cão de pessoas. O Cap´ıtulo 4 descreve o protocolo utilizado nos experimentos e a forma de ava-lia¸cão e análise dos resultados. Finalmente, o Cap´ıtulo 5 apresenta as conclusões deste trabalho e propostas para trabalhos futuros.

(29)

Cap´ıtulo 2

Trabalhos e Conceitos Relacionados

Este cap´ıtulo descreve as abordagens mais relevantes do estado da arte do problema de reidentifica¸cão de pessoas, bem como os aspectos teóricos de métodos e técnicas que foram empregadas neste trabalho. Esses conceitos incluem recupera¸cão de informa¸cão, descritores de caracter´ısticas e m´etodos de rank aggregation.

2.1 O Problema de Reidentifica¸

c˜

ao de Pessoas

De acordo com os trabalhos do estado da arte [18–20, 23, 37], o problema de corres-pondˆencia/rastreamento (matching/tracking) de pessoas por meio de cˆameras, comu-mente conhecido como reidentifica¸cão de pessoas, é definido como o reconhecimento de um mesmo indiv´ıduo em diferentes localiza¸cões e tempo em imagens obtidas por várias câmeras com pontos de vista não sobrepostas.

Recentemente, essa defini¸cão está sendo ampliada, por exemplo em [7], em que dois tipos de problemas são diferenciados: (i) problema fechado, considera fortes restri¸cões que tornam um cenário fora da realidade, mas um bom ponto de in´ıcio. Por exemplo, considera que o número total de pessoas na cena é conhecido, também que todas as pessoas passaram pelos pontos de vista de um par de câmeras, ou seja, assume-se que cada pessoa que aparece na câmera A tem uma correspondência na câmera B. A principal tarefa no problema fechado é associar uma imagem de consulta com a identidade dos indiv´ıduos em cada câmera; (ii) problema aberto, considera que na cena existem mais de um par de câmeras, que o número total de pessoas na cena não é conhecido e que algumas pessoas podem passar pelo ponto de vista de apenas uma câmera. Dessa forma, podem existir imagens de consulta a partir de uma câmera que não terão imagens correspondentes nas outras câmeras.

Outra defini¸cão, apresentada em [25] que vai além das anteriores, estabelece que as câmeras não deveriam estar limitadas a um espa¸co f´ısico fixo, pelo contrário, poderiam

(30)

ser parte de um dispositivo móvel, por exemplo, instalado em um ou v´arios drones. Neste trabalho, abordaremos o problema de reidentifica¸cão de pessoas considerando os diversos aspectos e as restri¸cões derivadas da defini¸cão inicial (problema fechado), pois assumimos que, para cada imagem de consulta a partir de uma câmera, existe pelo menos uma imagem correspondente em outra câmera.

As principais caracter´ısticas do problema de reidentifica¸cão de pessoas são: primeiro, a aparência de um indiv´ıduo pode variar significativamente em imagens obtidas de múltiplas câmeras, devido às mudan¸cas nos pontos de vista, ilumina¸cão, poses, entre outros fato-res. Segundo, há um alto número de pessoas com aparência similar, ou seja, pessoas são geometricamente similares e podem vestir roupas com a mesma cor. Terceiro, como as câmeras que monitoram o ambiente estão dispostas em diferentes distâncias das pessoas, as imagens geralmente apresentam baixa resolu¸cão. Quarto, a variabilidade intraclasse normalmente é mais alta do que a variabilidade interclasse, cuja caracter´ıstica é predomi-nante no problema de reidentifica¸cão de pessoas, uma vez que em outros problemas, como busca de objetos, as caracter´ısticas visuais intracategoria são semelhantes [31]. Quinto, as caracter´ısticas biométricas convencionais como face ou ´ıris, geralmente usadas para re-conhecer pessoas, são inviáveis no problema de reidentifica¸cão, pois são dif´ıceis de serem capturadas em condi¸cões reais.

Por exemplo, as imagens dentro de cada caixa azul na Figura 2.1 são da mesma pessoa obtidas de diferentes câmeras em ambientes reais. As imagens da parte superior apresentam mudan¸cas em pose, ilumina¸cão, pessoas obstru´ıdas por objetos e pessoas distintas vestindo a mesma cor de roupa. As imagens da parte inferior, por sua vez, apresentam problemas de baixa resolu¸cão, mudan¸cas de pose e ilumina¸cão.

Figura 2.1: Imagens capturadas em ambientes reais. Figura extra´ıda da base de dados CAVIARa [9].

Outro aspecto importante deste problema são as potenciais aplica¸cões, as quais va-riam desde problemas na área forense e v´ıdeos de vigilância até aplica¸cões no comércio e

(31)

2.1. O Problema de Reidentifica¸c˜ao de Pessoas 7

cuidados na ´area da sa´ude.

De forma geral, as etapas que seguem a maioria dos métodos de reidentifica¸cão de pessoas são três: a primeira é a extra¸cão de caracter´ısticas de cada imagem, as quais po-dem ser globais quando são extra´ıdas da imagem completa ou locais quando são extra´ıdas a partir de certas regiões de interesse. A segunda é a cria¸cão de um descritor de carac-ter´ısticas, uma representa¸cão compacta ou assinatura. A terceira é a correspondência ou casamento das caracter´ısticas das imagens de consulta de uma câmera contra as carac-ter´ısticas de imagens de cada uma das outras câmeras.

Extração de características

Comparação usando uma medida de distância Aprendizagem de um modelo discriminativo Comparação usando o modelo aprendido Construção de assinatura/vetor de características

Figura 2.2: Visão geral das etapas que compõem os métodos para a solu¸cão do problema de reidentifica¸cão de pessoas: métodos baseados nas caracter´ısticas (setas vermelhas) e métodos baseados em aprendizagem (setas pretas).

Os trabalhos no estado da arte [18–20, 26] geralmente focam a solu¸cão do problema de reidentifica¸cão de pessoas em duas abordagens: (i) baseadas nas caracter´ısticas, as quais constroem descritores/assinaturas que sejam suficientemente robustas para distinguir pes-soas parecidas, mas também devem mitigar os efeitos das mudan¸cas na ilumina¸cão, pose e oclusões, que afetam os exemplos da mesma classe; (ii) as abordagens baseadas em aprendizagem, as quais usam um conjunto de caracter´ısticas para treinar modelos discri-minativos que permitem diferenciar entre indiv´ıduos de uma e de outra classe. De forma geral, as etapas que seguem essas abordagens são ilustradas graficamente na Figura 2.2.

As se¸cões seguintes apresentam os trabalhos relacionados ao problema de reidenti-fica¸cão de pessoas. Esses trabalhos foram divididos seguindo as duas tendências princi-pais de pesquisas na área: trabalhos baseados em caracter´ısticas (Se¸cão 2.2.1) e trabalhos baseados em aprendizagem (Se¸cão 2.2.2).

(32)

2.2 Trabalhos Relacionados

Nesta se¸cão são descritos os trabalhos mais relevantes do estado da arte sobre reidenti-fica¸cão de pessoas, esses trabalhos foram divididos em duas se¸cões: abordagens baseadas em caracter´ısticas e abordagens baseadas em aprendizagem.

2.2.1 Abordagens Baseadas em Caracter´ısticas

Dada a ausência de informa¸cão biométrica, humanos fazem a reidentifica¸cão de pessoas com base na deteçcão de partes salientes do corpo, buscando alguma correspondência entre essas partes. Cheng et al. [9] propõem um m´etodo utilizando Pictural Structures (PS) para estimar a pose e as partes do corpo, com a finalidade de criar uma assinatura para cada pessoa. A assinatura pode ser criada a partir de uma ou de múltiplas imagens de um indiv´ıduo. No primeiro caso, a assinatura é formada pela união dos histogramas de cor no modelo HSV de cada parte do corpo e o deslocamento de cor por regiões por meio do operador Maximally Stable Color Region (MSCR). No segundo caso, o objetivo ´e aprender um modelo chamado Custom Pictoral Structure (CPS) que captura a aparˆencia local das partes dos indiv´ıduos. Uma vez gerado o modelo, a assinatura é criada da mesma forma que no primeiro caso. Dadas duas assinaturas, a etapa de casamento (matching) entre elas é feita utilizando-se a fun¸cão de distância baseada em Bhattacharyya [6].

A maior desvantagem do método [9] é que ele não funciona adequadamente quando as pessoas estão parcialmente obstru´ıdas por outras pessoas ou objetos, pois não é poss´ıvel detectar as principais partes salientes do corpo.

A baixa resolu¸cão das imagens obtidas por meio das câmeras é um problema comum enfrentado na área. Com a finalidade de criar uma assinatura humana que seja altamente discriminante, robusta a imagens de baixa resolu¸cão e adequada a ambientes lotados, além das varia¸cões de ilumina¸cão e parâmetros de câmera, Bak et al. [4] propõem uma assinatura denominada Mean Riemannian Covariance Grid (MRCG). Essa representa¸c˜ao é formada por um descritor local (por regi˜oes) chamado Mean Riemannian Covariance (MRC) baseado no descritor de covariância [52], extra´ıdo em cada imagem que pertence ao rastreamento da pessoa. Cada imagem é dividida em forma de uma grade, depois é aplicado o descritor MRC para cada célula da grade e, em seguida, todas as células corres-pondentes em todas as grades são unidas para formar uma única grade densa, resultando, desta forma, a assinatura MRCG para uma pessoa. Dadas duas assinaturas, o casamento entre elas é definido como a máxima medida de similaridade que resulta do deslocamento de um descritor MRC de uma assinatura sobre a outra. A principal desvantagem do método [4] é a necessidade de se ter várias amostras de uma pessoa por câmera para cria¸cão de uma assinatura que seja suficientemente robusta. Entretanto, essa condi¸cão em cenários reais nem sempre é satisfeita.

(33)

2.2. Trabalhos Relacionados 9

Um método que trata de problemas de varia¸cão de pose, oclusões e ilumina¸cão foi proposto por Martinel et al. [37]. Este método explora três tipos de caracter´ısticas: locais, de forma e textura para criar uma assinatura discriminativa para cada indiv´ıduo. No primeiro tipo de caracter´ıstica, utiliza-se uma fun¸cão de distribui¸cão Gaussiana para calcular o Weighted Gaussian Color Histogram sobre as regiões denominadas S de uma imagem projetada no espa¸co de cor HSV. Tais regi˜oes S foram extra´ıdas a partir dos pontos de interesse (key points) detectados por Scale Invariant Feature Transformation (SIFT) [33]. O segundo tipo de caracter´ıstica ´e extra´ıdo calculando-se a Pyramid of Histograms of Orientation Gradients (PHOG). Os PHOGs s˜ao extra´ıdos a partir de cada canal HSV e acumulados para formar uma matriz PHOG ∈ Rm×I, em que m ´e a dimensão do vetor de caracter´ısticas e I ´e o número de imagens. O terceiro tipo de caracter´ısticas é formado por Texture Features [17], extra´ıdas a partir de duas partes do corpo, superior e inferior. Finalmente, a união dos três tipos de caracter´ısticas forma a assinatura para cada imagem da pessoa. Dadas duas assinaturas, a fun¸cão de distância utilizada para fazer o casamento entre elas é formada pela soma dos resultados parciais de distâncias entre os descritores Weighted Gaussian Color Histogram, Pyramid of Histograms of Orientation Gradients (PHOG) e Texture Features.

As caracter´ısticas de cor têm demostrado bom desempenho na maioria das bases de dados. No trabalho [37], as caracter´ısticas de cor estão limitadas pelo número de pontos de interesse detectados por SIFT [33]. Dessa forma, esse método não funciona apropria-damente em imagens com baixa resolu¸cão ou com grandes regiões de cor uniforme, pois poucos pontos de interesse seriam detectados e, consequentemente, as caracter´ısticas de cor não teriam um aporte significativo, mesmo que elas estejam visualmente presentes.

Um trabalho que calcula a medida de similaridade utilizando um m´etodo de re-ranking bidirecional baseado nas medidas de similaridade de conteúdo e contexto foi proposto por Qingming et al. [27]. A hipótese dos autores é que, se duas imagens pertencem a uma mesma pessoa, elas deveriam ser similares em conteúdo (similaridade visual) e também similares em contexto (compartilhar os mesmos vizinhos mais próximos em uma cole¸cão de imagens dada). Para isso, eles constroem três cole¸cões de imagens, uma de teste, outra de galeria e outra chamada de “nova galeria” que é formada pela imagem original de consulta e por outras imagens da galeria original. Para calcular a similaridade por conteúdo, o trabalho realiza uma consulta a partir da cole¸cão de teste sobre a galeria e uma consulta a partir de cada elemento da galeria sobre a “nova galeria”. Da mesma forma, para obter a similaridade de contexto, os vizinhos mais próximos da imagem de consulta na galeria e de cada elemento da galeria na “nova galeria” são calculados. Finalmente, um modelo de re-ranking ´e proposto para calcular o resultado final a partir dos resultados parciais das similaridades de contexto e conteúdo. A vantagem do método [27] é que não utiliza vetores de caracter´ısticas ou assinaturas muito complexos nem métodos baseados

(34)

em aprendizagem.

2.2.2 Abordagens Baseadas em Aprendizagem

As abordagens baseadas em aprendizagem modelam os dados por meio de vetores de caracter´ısticas que geralmente descrevem informa¸cão de cor e textura. Em [30, 32, 34, 35], por exemplo, as caracter´ısticas de cor são extra´ıdas a partir dos canais RGB, YCbCr e HSV. As caracter´ısticas de textura usam filtros de Gabor e Schmid. Após a etapa de extra¸cão, os vetores de caracter´ısticas são usados para treinar modelos discriminativos que permitem diferenciar entre indiv´ıduos de uma e de outra classe.

Um tipo de abordagem recorrente atualmente são os métodos de aprendizagem de métricas de distância que são aprendidas a partir de simples amostras etiquetadas, for-necidas por diferentes pontos de vista de câmeras. Uma vez que a métrica é aprendida, ela descreve a transi¸cão entre duas câmeras [18] e é usada para fazer o casamento entre uma imagem de consulta e as imagens na galeria (conjunto de imagens capturadas pelas câmeras distribu´ıdas no ambiente).

Por exemplo, os métodos [18, 19] aprendem métricas de distância a partir das imagens fornecidas por duas câmeras diferentes. Este problema é formulado como um problema binário (duas classes). Martin et al. [18] utilizam uma métrica de distância chamada Large Margin Nearest Neighbor (LMNN) proposta em [55], a qual est´a focada principal-mente em melhorar a classifica¸c˜ao com k-Nearest Neighbors (k-NN). A ideia do LMNN ´e treinar a m´etrica de Mahalanobis de tal forma que os k-vizinhos mais pr´oximos sempre perten¸cam à mesma classe, enquanto que os exemplos de diferentes classes sejam sepa-rados por uma grande margem. No caso do trabalho [19], o conjunto de treinamento ´e dado por um conjunto de pares de vetores da forma (xi, xj), os quais compartilham

a mesma etiqueta y. Tamb´em s˜ao definidos os conjuntos S = {(xi, xj)|y(xi) = y(xj)} e

D = {(xi, xj)|y(xi) 6= y(xj)} de pontos similares e dissimilares, respectivamente. A fun¸c˜ao

objetivo usada neste método é similar `a Large Margin Nearest Neighbor (LMNN) usada por [18]. Neste trabalho, também avaliamos o uso do LMNN combinados com técnicas de recupera¸cão de imagens por conteúdo.

Um trabalho similar a [18, 19] foi proposto por Liu et al. [32]. O método proposto aprende a similaridade entre as imagens de um par de câmeras. Tais caracter´ısticas são projetadas em dois subespa¸cos segundo um par de imagens que perten¸cam ou não à mesma pessoa. Esse trabalho está baseado na ideia de que as varia¸cões de aparência das imagens de uma mesma pessoa deveriam ser similares após uma deforma¸cão, enquanto que as aparências de diferentes pessoas deveriam ser dissimilares após a mesma deforma¸cão.

Nos métodos [18, 19], a aprendizagem de métricas de distância foi realizada a partir das imagens fornecidas por apenas dois pontos de vista de câmeras diferentes. No

(35)

en-2.2. Trabalhos Relacionados 11

tanto, Lianyang et al. [35] consideram que aprender uma métrica de distância apenas entre duas câmeras é suscet´ıvel a sobreajustar o modelo devido ao uso de dados etique-tados de treinamento insuficientes. Devido a esse fato, Lianyang et al. [35] propõem formular a reidentifica¸cão de pessoas em uma rede de câmeras como um modelo de apren-dizagem de métricas de distância multitarefa, em que várias métricas são criadas para cada par de câmeras. Dado que as métricas de distância entre cada par de câmera são diferentes, porém também relacionadas, elas são aprendidas adicionando regulariza¸cão conjunta que alivia o sobreajuste do modelo. Especificamente, os autores propõem um modelo Multi-task Maximally Collapsing Metric Learning (MtMCML) em que a fun¸c˜ao de distância usada é a Mahalanobis. A fun¸cão objetivo é convexa e tem um gradiente cont´ınuo Lipschitz.

Outro tipo de trabalho que envolve aprendizagem em reidentifica¸cão de pessoas foi pro-posto por Chunxiao et al. [30], que usam aprendizagem não supervisionada para aprender quais caracter´ısticas são mais importantes nas imagens de cada indiv´ıduo. O método pro-posto é composto das seguintes etapas: primeiro, um conjunto de protótipos é selecionado a partir de um conjunto de imagens de treinamento n˜ao etiquetadas usando clustering ran-dom forest. Cada prot´otipo é composto por várias imagens que compartilham atributos similares de aparˆencia. Segundo, um classificador random forest foi treinado usando o con-junto de treinamento inicial no qual cada protótipo representa uma classe. Terceiro, para cada imagem de consulta, a importância de cada caracter´ıstica é calculada de acordo com sua habilidade em discriminar diferentes protótipos; isso é obtido usando-se o classificador treinado na etapa anterior.

Por outro lado, dado que os m´etodos de learning-to-rank e supervised metric learning requerem vários exemplos de treinamento, a falta desses exemplos limita a escalabilidade do modelo em cenários reais. Chen et al. [34] prop˜oem um manifold ranking chamado MRank gerado pela grande quantidade de dados não etiquetados na galeria. Intuitiva-mente, uma imagem com rank alto ser´a atribu´ıdo a instâncias da galeria próximas à ima-gem de consulta no espa¸co do manifold, enquanto que as instˆancias localmente próximas s˜ao estimuladas a ter ranks similares. Inicialmente, o manifold ´e aproximado por um grafo constru´ıdo por k-nearest neighbour (k-NN). Cada vez que uma nova consulta ´e re-alizada, a matriz de distâncias do grafo é aproximada para construir dois tipos de grafos Laplacianos que s˜ao usados para calcular o score da consulta.

Em [60], o problema de reidentifica¸cão de pessoas é tratado como uma instância de matching de grafo bipartido, em que as imagens capturadas por dois pontos de vista de cˆameras diferentes formam conjuntos independentes sobre os quais os matches s˜ao aprendidos. As mudan¸cas em aparência são tratadas por fun¸cões bases que codificam a coocorrência de padrões visuais entre imagens das duas câmeras. As imagens são descritas de forma local usando SIFT-cor [60] para construir grandes dicionários visuais.

(36)

Posterior-mente, a partir do conjunto de treinamento, há o aprendizado de correspondências entre as imagens de duas cˆameras utilizando Structured Prediction. O aprendizado de corres-pondências é dado pela combina¸cão ponderada de fun¸c˜oes bases Radial Basis Functions (RBF) e Latent Spatial Kernel.

O método [60] tem a desvantagem de aprender correspondências para apenas duas câmeras, além disso, o método necessita de um conjunto de imagens de treinamento a priori suficientemente grande.

Outro método baseado em aprendizagem foi proposto por Zhao et al. [61]. Esse método aprende filtros de n´ıvel médio para capturar padrões visuais correspondentes a partes particulares do corpo de uma pessoa. Os filtros que são constru´ıdos devem possuir um equil´ıbrio entre poder de discrimina¸cão e capacidade de generaliza¸cão.

Cada imagem de treinamento foi caracterizada de forma densa sobre patches regulares de 10 × 10. Utilizando-se os vetores de caracter´ısticas de cada patch, uma correspondˆencia densa foi calculada entre uma imagem de treinamento obtida de uma câmera contra todas as outras imagens de treinamento obtidas de uma outra câmera. Após o cálculo da correspondência, s˜ao selecionados os patches que possuem alto poder de discrimina¸c˜ao e generaliza¸cão, os quais são aqueles que aparecem em uma percentagem intermediária em toda a cole¸c˜ao, pois esses patches n˜ao são nem muito comuns para se confundir facilmente nem muito escassos para n˜ao generalizar. Em seguida, um cluster hierárquico de patches ´e constru´ıdo para agrupar patches em subconjuntos com coerente aparˆencia visual. A partir do cluster, os filtros de n´ıvel m´edio são aprendidos de forma supervisionada. Foram criados exemplos de treinamento positivos formados pelos patches que pertencem a um mesmo nó na árvore, enquanto que os exemplos negativos são formados pelos outros nós restantes. Esses exemplos de treinamento positivos e negativos são utilizados para treinar um SVM linear [8] (filtro) para cada nó. Dadas duas imagens obtidas de diferentes câmeras, um conjunto de filtros é calculado para cada imagem. Para determinar se duas imagens pertencem à mesma pessoa ou n˜ao, um modelo de matching das respostas dos filtros é utilizado.

Diferentemente da maioria das abordagens da literatura, Chunxiao et al. [31] focam seu trabalho no tratamento de ranked list de candidatos resultantes de uma consulta. Isso é importante em v´ıdeos de vigilância e aplica¸cões forenses, em que o usuário final deve analisar essa lista para decidir que candidato corresponde verdadeiramente à pessoa da consulta. Dada uma ranked list, que ´e gerada com as primeiras imagens da galeria resultantes da consulta, o objetivo é aprender uma fun¸c˜ao post-rank para reordenar o rank inicial e melhorar a percentagem de acertos nas primeiras posi¸c˜oes. Inicialmente, o usu´ario seleciona uma imagem strong negative (imagens entre as melhores e com baixa similaridade visual à imagem de consulta). Depois disso, pseudoexemplos positivos são criados usando regression forest, os quais s˜ao usados para construir um grafo que captura

(37)

2.3. Conceitos Relacionados 13

a similaridade de aparência entre todas as imagens da galeria. Finalmente, os exemplos negativos selecionados pelo usuário são propagados no grafo. Dessa forma, uma fun¸cão post-rank é aprendida e utilizada para gerar uma nova rank-list.

2.3 Conceitos Relacionados

Nesta se¸cão, os aspectos teóricos de métodos e técnicas empregados neste trabalho são descritos tais como, recupera¸cão de imagens por conteúdo, métodos de agrega¸cão de listas, descritores de imagems e aprendizagem de métricas de distância, com especial enfoque no m´etodo Large Margin Nearest Neighbor (LMNN) [54].

2.3.1 Recupera¸

c˜

ao de Imagens por Conte´

udo

Uma subárea de recupera¸cão de informa¸cão é a recupera¸cão de informa¸cão multim´ıdia, que trata da modelagem, indexa¸cão e busca de dados multim´ıdia, como imagens, mode-los tridimensionais, v´ıdeo, entre outros [3]. Especificamente, a recupera¸cão de imagens baseada no conteúdo visual (por exemplo, forma, cor e textura) é conhecida como recu-pera¸cão de imagens por conte´udo (Content-Based Image Retrieval) (CBIR). O objetivo de um sistema de CBIR é recuperar as imagens mais similares às especifica¸cões definidas pelo usuário (por exemplo, uma forma de esbo¸co ou uma imagem de exemplo) [51]. As imagens recuperadas em uma consulta são ordenadas em ordem decrescente ao valor de similaridade com rela¸cão à imagem de consulta.

A Figura 2.3 mostra a arquitetura t´ıpica de um sistema CBIR. Essa arquitetura está dividida em dois grandes módulos: a interface e o processamento de consultas. A interface permite ao usuário interagir com o sistema para inserir dados, especificar consultas e visualizar o resultado retornado pelo sistema, enquanto que o processamento de consultas interage com a interface e a base de dados para processar as consultas fornecidas pelo usuário.

Além disso, a arquitetura possui duas funcionalidades principais: a inser¸cão de dados (geralmente realizada de forma offline) e o processamento de consultas (realizada de forma online). A inser¸c˜ao de dados envolve as tarefas de extra¸cão de vetores de caracter´ısticas e seu armazenamento na base de dados. Por sua vez, o processamento de consultas é responsável pelas tarefas de extra¸cão de caracter´ısticas apropriadas das imagens de consultas e o uso de uma métrica (por exemplo, distância Euclidiana) para avaliar a similaridade entre a imagem de consulta e as imagens da base de dados. Após essa etapa, um ordenamento das imagens da base é aplicado em ordem decrescente de similaridade e as imagens ordenadas são finalmente mostradas como resultado para o usuário na interface. Dado que uma imagem pode ser representada por diferentes descritores que exploram

(38)

Visualização Extração de vetores de características Cálculo de similaridade Ranqueamento Interface Módulo de processamento de consultas Padrão de

consulta Imagens ranqueadas

Vetores de características Câmeras Imagens Especificação de consulta Inserção de dados

Figura 2.3: Arquitetura de um sistema de recupera¸c˜ao de imagens por conte´udo (Content-Based Image Retrieval) (CBIR) [51].

diferentes tipos de caracter´ısticas, essas distintas representa¸cões da mesma imagem podem fornecer informa¸cão diferente e complementar. Uma abordagem usada para realizar a fusão de informa¸cão em sistemas de recupera¸cão de informa¸cão multim´ıdia é o uso de m´etodos de rank aggregation [10].

Neste trabalho, empregamos diferentes m´etodos de rank aggregation para combinar diferentes descritores de caracter´ısticas. Além disso, usamos medidas de correla¸cão de tais descritores para garantir a complementariedade e a baixa correla¸cão na combina¸cão.

2.3.2 M´

etodos de Agrega¸

c˜

ao de Listas (Rank Aggregation)

Uma defini¸c˜ao formal do problema de rank aggregation foi dada por Frans et al. [44], que considera que o rank aggregation pode ser visto como uma permuta¸c˜ao que minimiza a medida Kendall-tau para uma lista de rankings de entrada. A distˆancia Kendall-tau pode ser definida como a soma de todos os rankings de entrada do n´umero de pares de elementos

(39)

que est˜ao em ordem diferente no ranking de entrada em rela¸c˜ao ao ranking de sa´ıda. Se os rankings de entrada forem permuta¸c˜oes, o problema ´e conhecido como Kemeny rank aggregation.

No processo de recupera¸cão, utilizando um m´etodo espec´ıfico de descri¸cão (Di)/medida de similaridade, para cada imagem de consulta é gerada como resultado uma lista de n imagens ordenadas em ordem decrescente do valor de similaridade entre a imagem de consulta e as imagem recuperadas. O rank aggregation ´e usado para a fusão de vários m´etodos de descri¸cão/medida de similaridade, ou seja, a fus˜ao de várias listas de imagens ordenadas. Espera-se que, na lista resultante final, o desempenho da recupera¸cão seja melhor do que nas listas individuais, ou seja, que as imagens melhores ordenadas sejam aquelas mais similares à imagem de consulta.

Os m´etodos de rank aggregation tˆem sido usados em muitas aplica¸cões de recupera¸cão de informa¸cão, com o objetivo de melhorar a efetividade de seus resultados nas consultas. A Figura 2.4 apresenta um esquema geral da combina¸cão de listas ordenadas realizada pelos m´etodos de rank aggregation. Dada uma imagem de consulta c e um conjunto de métodos de descri¸cão, um conjunto de listas ordenadas {Rc,D1, ..., Rc,Dm} é gerado.

ℜ

_{C , D0}

ℜ

_{C , D1}

ℜ

_{C , Dn}

D

₀

/d

D

₁

/d

D

_n

/

d

C

rank aggregationMétodo de

ℜ

_C Lista final Imagem de

Consulta

Figura 2.4: Esquema geral da combina¸c˜ao de listas ordendas geradas por m´etodos de Rank Aggregation.

Os m´etodos de rank aggregation seguem diversas abordagens sobre os valores das posi¸cões das imagens nas listas ordenadas ou sobre os valores de similaridade. Por exem-plo, o método Borda [59] utiliza apenas a posi¸c˜ao (rank) nas listas ordenadas, em que um novo valor de posi¸cão é atribu´ıdo a uma imagem na lista ordenada final, somando-se cada valor da posi¸c˜ao da imagem nas diferentes listas ordenadas. O rank aggregation de uma imagem x utilizando o m´etodo de Borda [59] é dado da seguinte forma

Borda(c, x) =

m

X

i=1

(40)

em que a imagem x é melhor ordenada do que outra y se Borda(c, x) > Borda(c, y). Da mesma forma como o m´etodo Borda, o algoritmo Reciprocal Rank Fusion (RRF) também utiliza apenas a informa¸c˜ao do rank [11], em que RRF ´e definido pela equa¸cão

RRF(c, x) = m X i=1 1 k + Rc,Di(x) , (2.2)

em que k ´e uma constante que atenua o impacto de altos valores de ranques dados por outliers. Neste trabalho, utilizamos o valor k = 60, da mesma forma que em [28].

Outra abordagem que também utiliza o valor da posi¸cão é o método Copeland [29], que compara cada par de imagens e determina qual delas está melhor ordenada. À imagem melhor ordenada é atribu´ıdo um ponto e, em caso de empate, é atribu´ıdo meio ponto a cada imagem. Depois que todas as compara¸cões aos pares são feitas, define-se a imagem com maior número de pontos (maior número de vitórias em pares) como a vencedora.

fx(y, z) =        1 se y ´e melhor que z 0, 5 se y e z est˜ao empatados 0 se z ´e melhor que y (2.3) Copeland(x, y) = X y,z∈S z6=y fx(y, z). (2.4)

De forma similar, o m´etodo de Median Rank Aggregation utiliza as posi¸c˜oes das ima-gens nas listas ordenadas [14], atribuindo como posi¸cão final para uma imagem a mediana das posi¸cões em que a imagem está alocada em todas as listas ordenadas.

MedianRank(x, y) = mediana{Rc,D1(x), Rc,D2(x), ..., Rc,Dm(x)}, (2.5)

em que a imagem x ´e melhor ordenada do que outra y se MedianRank(c, x) < MedianRank(c, y).

Diferentemente dos métodos anteriores, que trabalham com as posi¸cões das listas or-denadas, um grupo de métodos propostos por Fox e Shaw [15] utiliza as medidas de similaridade obtidas na recupera¸cão. Esses métodos calculam a similaridade final base-ada em cálculos simples das similaridades de todas as listas ordenadas. Por exemplo, o CombMAX atribui o valor máximo, CombMIN o valor m´ınimo, CombSUM a soma, CombMED a média, CombANZ a média considerando apenas os valores diferentes de zero e o CombMNZ que multiplica a soma das similaridades de cada imagem pelo número de similaridades diferentes de zero. As fórmulas para cada método são apresentadas a

(41)

2.3. Conceitos Relacionados 17 seguir: CombMAX(c, x) = max 1<i≤m,i∈ZRc,Di(x) (2.6) CombMIN(c, x) = min 1<i≤m,i∈ZRc,Di(x) (2.7) CombSUM(c, x) = m X i=1 Rc,Di(x) (2.8) CombMED(c, x) = 1 m m X i=1 Rc,Di(x) (2.9) CombANZ(c, x) = 1 nz(x) m X i=1 Rc,Di(x) (2.10) CombMNZ(c, x) = nz(x) m X i=1 Rc,Di(x) (2.11)

Outro método que também usa os valores de similaridade ´e Multiplication Scores (MS-cores) [40] para gerar uma nova lista ordenada. A fun¸cão que retorna a nova medida de similaridade para uma imagem é expressa como

MScores(c, x) = m q Qm i=1(Rc,Di(x) + 1) m . (2.12)

ou seja, dada pela raiz m-´esima da média da multiplica¸cão das similaridades da imagem para cada lista ordenada, em que m ´e o número de listas ordenadas. Dessa forma, esse método procura propagar os maiores valores de similaridade por meio da multiplica¸cão.

2.3.3 Descritores de Imagem

Os principais descritores de imagems empregados neste trabalho são apresentados nesta se¸cão, os quais geralmente são usados em CBIR e reidentifica¸cão de pessoas.

Descritores globais (cor e textura) e descritores locais foram utilizados no trabalho. Os descritores globais descrevem a imagem como um todo, por exemplo, a distribui¸cão de cor de uma imagem. Por outro lado, os descritores locais inicialmente aplicam uma etapa de deteçcão de pontos de interesse e, em seguida, as regiões da imagem em torno dos pontos de interesse são descritas. A Tabela 2.1 mostra todos os nomes e abreviaturas dos descritores que foram utilizados nesta pesquisa (as abreviaturas utilizadas não são um padrão na literatura).

Descritores de Cor

Histograma de Cor ´e um dos descritores mais amplamente utilizados em reidentifica¸cão de pessoas [18–20,26,30,32,34,35] e recupera¸cão de imagens por conteúdo [41]. O histograma

(42)

Descritor

Abreviatura

Auto Color Correlogram

ACC

Border/Interior Pixel Classification

BIC

Color Coherence Vectors

CCV

Cumulative Global Color HSV Histogram

CHSV

Color Structure Descriptor

CSD

Haralick Descriptor

HAR

Global Color HSV Histogram

HSV

Hue Histogram

HUE

Local Binary Patterns

LBP

Opponent Histogram

OPH

Global Color RGB Histogram

RGB

Tabela 2.1: Descritores e abreviaturas utilizadas ao longo do texto.

de cor ´e constru´ıdo concatenando-se os histogramas extra´ıdos de cada canal de cor de uma imagem colorida. Espa¸cos de cores comumente utilizados s˜ao RGB, HSV e YCbCr.

Uma varia¸cão do histograma de cor ´e construir um Histograma de Cor Cumulativo [50], em que a principal diferen¸ca ´e que o valor de cada bin acumula o valor do bin anterior mais o valor do pr´oprio bin do histograma convencional. Tanto o histograma de cor convencional quanto o cumulativo utilizam a fun¸cão de distância L1 para comparar os descritores.

Outro histograma de cor utilizado neste trabalho ´e o Opponent Histogram [53] que ´e uma combina¸c˜ao de histogramas unidimensionais baseados nos canais do espa¸co Opponent Color. O1 = (R − G)/ √ 2, O2 = (R + G − 2B)/ √ 6, O3 = (R + G + B)/ √ 3 (2.13)

em que a intensidade ´e representada pelo canal O1 e a informa¸c˜ao de cor pelos canais O2 e O3. Esse modelo ´e invariante ao deslocamento da intensidade de luz.

Dado que o canal Hue (matiz) do espa¸co HSV ´e inversamente proporcional ao canal Saturation (satura¸c˜ao) [53], o histograma Hue torna-se mais robusto se cada amostra for ponderada pela sua Saturation. Este histograma de cor ´e chamado Hue Histogram [53]

Há uma conhecida limita¸cão dos histogramas globais de cor associada ao fato de que imagens com aparências diferentes podem ter histogramas de cores similares. Com o intuito de tratar essa limita¸c˜ao, foi proposto o Color Coherence Vectors (CCV) [39]. Dada uma imagem colorida, inicialmente o CCV suaviza a imagem para eliminar pequenas varia¸cões entre pixels vizinhos; em seguida, os pixels são classificados como coerentes ou incoerentes. Pixels coerentes são aqueles que têm a mesma cor e que fazem parte de uma

(43)

componente conexa em que o número de pixels supera o valor de um limiar, enquanto que os incoerentes são aqueles pixels que não superam o valor do limiar. O descritor final é formado por um vetor que contém o número de pixels coerentes e incoerentes.

Outro descritor que também foi proposto para tratar a limita¸cão dos histogramas globais de cor ´e o Auto Color Correlograms (ACC) [21]. Esse descritor leva em conta a correla¸cão espacial da cor local e a distribui¸cão global de tal correla¸cão espacial. Para isso, calcula a probabilidade de encontrar um pixel de cor j em uma distância k a partir de um pixel de cor i. A fun¸c˜ao de distância utilizada para comparar os vetores de caracter´ısticas foi a L1.

Outros descritores de cor amplamente utilizados são aqueles que pertencem ao padrão do MPEG-7. Por exemplo, o Color Structure Descriptor (CSD) que ´e usado em [36, 41]. Dada uma imagem colorida, o CSD utiliza o espa¸co hue-min-max-difference (HMMD) não uniformemente quantizado a 184, 120, 64 ou 32 cores. Geralmente, o CSD utiliza um elemento estrutural de 8×8 pixels, embora muitas vezes o tamanho, a amostragem e o passo de deslocamento do elemento estrutural dependam do tamanho da imagem.

`

A medida que o elemento estrutural percorre a imagem, um histograma ´e atualizado incrementando-se o n´umero de vezes que uma determinada cor se enquadra dentro do elemento.

Finalmente, um decritor muito utilizado e com bom desempenho em CBIR [41] é o Border/Interior Pixel Classification (BIC) [49]. A descri¸c˜ao é realizada da seguinte forma: primeiro, dada uma imagem no espa¸co RGB, ela é quantizada a 4 × 4 × 4 = 64 cores. Em seguida, os pixels da imagem são classificados como borda ou interior: se um pixel possui a mesma cor dos seus vizinhos-4 (acima, à direita, abaixo e à esquerda), ele é classificado como interior; caso contrário, ele é classificado como borda. O descritor final é formado pela concatena¸cão de dois histogramas, um dos pixels de borda e outro dos pixels de interior, resultando um descritor de dimensão 128.

Descritores de Textura

Um dos decritores de textura amplamente utilizados na literatura de reidentifica¸cão de pessoas e CBIR ´e o Haralick Descriptor [17]. O procedimento que segue esse descritor para extrair as caracter´ısticas de textura é baseado na hipótese de que a informa¸cão de textura de uma imagem está contida na rela¸cão espacial entre seus n´ıveis de cinza. Especificamente, as caracter´ısticas de textura são derivadas a partir das rela¸cões angulares dos pixels vizinhos mais próximos, n´ıveis de cinza e a dependência espacial entre eles.

Uma matriz de frequˆencias Pij, chamada de matriz de coocorrˆencia, ´e constru´ıda com

o n´umero de vezes que dois vizinhos i e j aparecem separados por uma distância d, em uma rela¸c˜ao angular θ. Uma matriz de frequˆencia é constru´ıda para cada ângulo θ = 0, 45, ..., 360 e para cada distância d = 1, 2, ..., n.

(44)

As caracter´ısticas de textura são então extra´ıdas usando quatorze medidas estat´ısticas, tais como entropia, segundo momento angular, contraste e correla¸cão. Maiores detalhes podem ser encontrados em [17].

Outro descritor de textura conhecido na literatura de reidentifica¸cão de pessoas [19,58] ´e o Local Binary Patterns (LBP) [38]. Esse m´etodo detecta padrões locais de textura binários de aparˆencia uniforme chamados “uniform”. Os padr˜oes mais frequentes são micro-caracter´ısticas de arestas, cantos e pontos.

Dado o operador de textura T = t(gc, g0, ..., gP −1), o descritor ´e definido baseado em

uma vizinhan¸ca circular de P > 1 membros em um raio R > 0, em que de P controla a quantiza¸c˜ao angular e R determina a resolu¸c˜ao espacial do operador. O valor de gc ´e o

valor de cinza do pixel central da vizinhan¸ca e gp(p = 0, ..., P − 1) corresponde aos valores

de cinza de P uniformemente espa¸cados em um raio R que forma uma vizinhan¸ca circular e sim´etrica.

Primeiro, a subtra¸c˜ao ´e realizada a partir dos pixels vizinhos com o pixel central T = t(s(g0− gc), s(g1 − gc), ..., s(gP −1− gc)) (2.14)

em que s = 0 se x < 0 ou s = 1 se x ≥ 0. Ent˜ao, um fator binomial ´e fornecido para cada s(gp− g0), resultando o descritor LBP como

LBPP,R = P −1

X

p=0

s(gp− g0)2p (2.15)

2.3.4 Aprendizagem de M´

etricas de Distˆ

ancia Large Margin

Nearest Neighbor (LMNN)

Os métodos de aprendizagem de métricas de distância objetivam aprender uma distância para o espa¸co de dados de entrada a partir de uma cole¸cão de pares de pontos similares e dissimilares que preservam a rela¸cão de distância entre os dados de treinamento [57].

De acordo com a disponibilidade dos dados, os métodos de aprendizagem de métricas de distância podem ser divididos em duas categorias: supervisionados e não supervisiona-dos. Diferentemente da maioria dos algoritmos de aprendizagem supervisionados, em que os exemplos de treinamento são dados pelas etiquetas das classes, nos métodos de apren-dizagem de métricas de distância, os exemplos de treinamento são dados como restri¸cões em dois tipos: restri¸cões equivalentes, em que os pares de pontos de dados pertencem à mesma classe e em restri¸cões não equivalentes, em que os pares de pontos de dados per-tencem a differentes classes [57]. Além disso, os métodos de aprendizagem de métricas de distância supervisionados estão divididos em globais e locais. Os métodos globais apren-dem a métricas de distância para satisfazer todos os pares de restri¸cões simultaneamente,

(45)

enquanto os métodos locais aprendem as métricas de distância para satisfazer somente alguns pares de restri¸cões [57].

Um dos métodos de aprendizagem de métricas de distância supervisionados globais uti-lizados para o problema de reidentifica¸cão ´e Large Margin Nearest Neighbor (LMNN) [54], a qual está focada principalmente em melhorar a classifica¸c˜ao com k-Nearest Neighbors (kNN). A ideia do LMNN [54] é aprender a métrica de Mahalanobis de tal forma que os k-vizinhos mais pr´oximos sempre perten¸cam à mesma classe, enquanto que os exemplos de diferentes classes sejam separados por uma grande margem.

Sejam os pontos xi ∈ Rexj ∈ R. A distˆancia de Mahalanobis ´e estimada por

d2_M(xi, xj) = (xi− xj)TM (xi− xj) (2.16)

em que M 3 0 é uma matriz positiva semidefinida (não possue eigenvalores negativos). A fun¸cão objetivo original de LMNN [54] é dada por:

(M ) = (1 − µ)X j i d2_M(xi, xj) + µ X i,j i X l (1 − yil)[1 + d2M(xi, xj) − d2M(xi, xl)]+ (2.17)

em que o primeiro termo minimiza a distˆancia entre cada entrada xie seu target neighbors

xj, indicado pela rela¸c˜ao n˜ao sim´etrica j i, em que ambos compartilham a mesma

etiqueta. O segundo termo denota a quantidade pela qual o per´ımetro da vizinhan¸ca de (xi, xj) ´e invadido pelos pontos impostores xl, os quais est˜ao pr´oximos ao ponto de entrada

xi, mas n˜ao tˆem a mesma etiqueta que os pontos xi e xj; o termo [z]+ = max(z, 0) e

o valor µ = 0, 5 de acordo a [54]. Os pontos xl s˜ao considerados impostores se 1 +

d2_M(xi, xj) − d2M(xi, xl) > 0.

Para estimar a matriz M a fun¸c˜ao objetivo Equa¸c˜ao 2.17 pode ser minimizada por meio de gradiente descendente (gradient descent) [54]. A Figura 2.5 mostra o procedi-mento de aprendizagem da medida LMNN [54] em um cen´ario ideal com um exemplo de treinamento xi que tem a mesma etiqueta que seus vizinhos target neighbors e os

imposto-res de diferentes etiquetas que invadem um per´ımetro local definido pelos target neighbors. Durante a aprendizagem, os pontos impostores s˜ao expulsos para fora do per´ımetro e, de-pois da aprendizagem uma margem, ´e estabelecida uma fronteira entre o per´ımetro e os impostores.

(46)

ANTES

vizinhos mais próximos

margem margem target neighbor Etiqueta Similar Etiqueta Diferente Etiqueta Diferente DEPOIS

Figura 2.5: Ilustra¸cão gráfica do processo de aprendizagem do método LMNN [54]. Pontos no espa¸co antes do treinamento (esquerda) e pontos no espa¸co após o treinamento (di-reita). Figura adaptada de [54].

(47)

Cap´ıtulo 3

Metodologia

Neste cap´ıtulo, um método para abordar o problema de reidentifica¸cão de pessoas é apre-sentado, baseado na arquitetura dos sistemas de recupera¸cão de imagens por conteúdo (Content-Based Information Retrieval – CBIR). Conjecturamos que o problema de rei-dentifica¸cão de pessoas pode ser resolvido como um problema de busca de imagens por conteúdo, em que as imagens recuperadas deveriam pertencer a instâncias da mesma pessoa de consulta, vistas a partir de diferentes câmeras.

A motiva¸cão para o uso dessa abordagem reside no fato de que os métodos para solucionar os problemas de reidentifica¸cão de pessoas e CBIR são muito semelhantes, pois em geral, em ambos problemas, existem as etapas de extra¸cão de caracter´ısticas, cálculo de medida de similaridade e ranqueamento. Dessa forma, a solu¸cão do problema de reidentifica¸cão de pessoas pode ser implementada a partir da adapta¸cão da arquitetura básica de um sistema CBIR.

A Figura 3.1 ilustra a arquitetura para um sistema de reidentifica¸c˜ao de pessoas deri-vada a partir da arquitetura CBIR (ver Figura 2.3).

A arquitetura proposta está dividida em dois módulos: Interface e Processamento de Consultas. O primeiro contém as etapas de inser¸cão de dados, especifica¸cão da consulta e visualiza¸cão, enquanto o segundo contém as etapas de extra¸cão de fundo, extra¸cão de caracter´ısticas, compara¸cão por medida de distância e ranqueamento. Há também dois tipos de processamento ou funcionalidades: processamento offline e processamento online. As etapas que envolvem o processamento offline est˜ao denotadas por uma cor cinza unidas por setas tracejadas, enquanto que as etapas online tˆem uma cor azul unidas por setas cont´ınuas. As etapas que são compartilhadas pelos dois processos estão denotadas por uma borda azul.

Um dos benef´ıcios de tratar o problema de reidentifica¸cão de pessoas como um pro-blema de CBIR é a utiliza¸cão de estruturas de indexa¸cão para melhorar a eficiência e a escalabilidade na busca em grandes bancos de dados.

(48)

Inserção de dados Especificação de _consulta Visualização Extração de fundo Extração de vetores de características Comparação por medida de distância Ranqueamento Interface

Módulo de processamento de consultas Padrão de consulta Imagens ranqueadas Vetores de características Câmeras Imagens

Figura 3.1: Arquitetura de um sistema de reidentifica¸c˜ao de pessoas derivada a partir da arquitetura t´ıpica de um sistema CBIR [51].

Dificilmente apenas um método de extra¸cão de caracter´ısticas é robusto às varia¸cões de aparência causadas por mudan¸cas em pontos de vista, pose e ilumina¸cão. Para isso, propomos empregar vários métodos de extra¸cão de caracter´ısticas de cor e textura que tiveram bom desempenho no cenário de CBIR e reidentifica¸cão. Além disso, propomos fazer a descrica¸cão de imagens decompostas em várias escalas, dado que um problema recorrente em reidentifica¸cão é a baixa resolu¸cão das imagen. Usualmente, no momento da captura das imagens, os indiv´ıduos ficam a diferentes distâncias das câmeras.

Para realizar a compara¸cão, utilizamos a medida de distância Euclideana e o método de aprendizagem de métricas de distˆancia Large Margin Nearest Neighbor (LMNN) [54]. Especificamente em reidentifica¸cão de pessoas, os métodos de aprendizagem de métricas