Orientador: José António Barata de Oliveira, Professor Auxiliar, FCT-UNL Co-orientador: Pedro Figueiredo Santana, Professor Auxiliar, ISCTE-IUL

(1)

Pedro Miguel Ferreira Gomes

Licenciado em Ciências de

Engenharia Electrotécnica e de Computadores

Sistema de Detecção de Fogo e

Detecção e Seguimento de Objectos

Dissertação para obtenção do Grau de Mestre em

Engenharia Electrotécnica e de Computadores

Orientador: José António Barata de Oliveira,

Professor Auxiliar, FCT-UNL

Co-orientador: Pedro Figueiredo Santana,

Professor Auxiliar, ISCTE-IUL

Júri:

Presidente: Prof. Doutor Luís Filipe dos Santos Gomes

Vogais: Prof. Doutor José Manuel Matos Ribeiro da Fonseca Prof. Doutor José António Barata de Oliveira

(2)

(3)

Copyright

Sistema de Detecç ão de Fogo e Detecç ão e Seguimento de Objectos

A Faculdade de Ci ências e Tecnologia e a Universidade Nova de Lisboa t êm o direito, perp étuo e sem limites geogr áficos, de arquivar e publicar esta dissertaç ão atrav és de exemplares impressos reproduzidos em papel ou de forma digital, ou por qualquer outro meio conhecido ou que venha a ser inventado, e de a divulgar atrav és de reposit órios cient´ıficos e de admitir a sua c ópia e distribuiç ão com objectivos educacionais ou de investigaç ão, n ão comerciais, desde que seja dado cr édito ao autor e editor.

(4)

(5)

(6)

(7)

Agradecimentos

A elaboraç ão de uma dissertaç ão e a obtenç ão do respectivo grau de mestre é um trabalho bas-tante exigente. No entanto, ao longo destes últimos seis anos estive rodeado de colegas e amigos que me auxiliaram na conclus ão deste processo. Quero por isso expressar o meu agradecimento a todos, e em especial aos que seguidamente menciono.

Ao Prof. Jos é Barata o meu agradecimento pelo suporte prestado e pela oportunidade de par-ticipar num projecto ambicioso no dom´ınio da rob ótica. Ao meu co-orientador Prof. Pedro Santana uma palavra de especial apreço pelo seu apoio, motivaç ão e, essencialmente, uma partilha de ex-peri ência e conhecimento cient´ıfico. Um agradecimento pela sempre boa disposiç ão da equipa de investigaç ão, Gonçalo C ândido, Eduardo Pinto, Magno Guedes, Pedro Deusdado, Giovanni di Orio, Francisco Marques e Andr é Caves.

Agradeço tamb ém a todos os colegas da Faculdade de Ci ências e Tecnologia da Universidade Nova de Lisboa que ao longo destes anos se tornaram amigos, destacando Bruno Valente, Carlos Carvalhas, F ábio J úlio, F ábio Alves, Fl ávio Dinis, Jo ão Santos, Miguel Marques, Ricardo Mendonça e Tiago Xavier. Um agradecimento especial ao colega de laborat ório e amigo, Ricardo Mendonça, pelofeedbacke apoio prestados ao longo dos últimos dois anos. Desejo-lhe os melhores sucessos pessoais e profissionais.

Um grande apreço e gratid ão à minha fam´ılia e em especial aos meus pais, pelo apoio, motivaç ão, suporte e carinho prestado em todas as etapas da minha vida. Uma palavra especial ao meu irm ão, Jo ão Gomes, pelo incentivo e força transmitida.

Um agradecimento singular à minha namorada, Raquel Cust ódio, pela paci ência, amizade e especial carinho demonstrado ao longo destes anos.

(8)

(9)

Abstract

This dissertation presents a system for early fire detection and object tracking in live video se-quences obtained from fixed outdoor surveillance cameras. Focus is given to the challenges related to the actual deployment of the vision system. Namely, background subtraction, which is a key to determine which regions of the environment belong to the foreground, is performed in a windowed way for improved accuracy. To reduce the computational cost, an attentive mechanism is employed to focus a computationally expensive frequency analysis of potential fire regions. To promptly discrimi-nate fire regions from fire colored moving objects, a new colour-based model of fire’s appearance and a new Wavelet-based model of fire’s frequency signature are proposed. Besides that, to reduce the false alarms on fire detection of moving object with fire-colored appearance, an innovative solution to integrate the results of the two algorithms is proposed. Namely, the movement of the tracked object on the environment is analyzed. In addition, camera-world mapping is approximated according to a GPS-based learning calibration process to generate geo-located alarms, and to estimate the object height in the image plane. Experimental results demonstrate the ability of the proposed model to robustly detect fires and track moving objects, even in the presence of severe occlusions. Concre-tely, an average success rate of 92.7 % to detect fire and 92.8 % to tracking objects at a processing frequency of 10 Hz shows the applicability of the model to real-life applications.

(10)

(11)

Resumo

Esta dissertaç ão apresenta um sistema para uma r ápida detecç ão de fogo e detecç ão e segui-mento de objectos em tempo real, que recorre a sequ ências de imagens obtidas a partir de c âmaras de vigil ância fixas em ambientes exteriores. Os desafios relacionados com o desenvolvimento do sistema de vis ão constituem o focos desta dissertaç ão. Nomeadamente, a subtracç ão do plano de fundo, que é uma chave para determinar quais as regi ões do ambiente que pertencem ao primeiro plano, é realizada em forma de grelha para melhorar a precis ão. Para reduzir o custo computacional, um mecanismo de atenç ão é utilizado para focar uma an álise da frequ ência nas potenciais regi ões de fogo, a qual é computacionalmente pesada. Para uma r ápida diferenciaç ão entre regi ões com fogo e objectos em movimento com cores semelhantes às das chamas, um modelo de cor baseado na apar ência do fogo e um modelo de an álise da assinatura do fogo na frequ ência atrav és da trans-formada Wavelet s ão propostos. Para reduzir os falsos alarmes na detecç ão de fogo provenientes de objectos em movimento com apar ência semelhante ao fogo, uma soluç ão inovadora de integraç ão dos resultados dos dois algoritmos é proposta. Para tal, o movimento dos objectos a serem seguidos é analisado. Para al ém disso, um mapeamento do plano da imagem é aproximado atrav és de um processo de calibraç ão baseado na aprendizagem de coordenadasGPS, permitindo gerar alarmes geo-localizados e estimar a altura dos objectos no plano da imagem. Resultados experimentais de-monstram a capacidade do modelo proposto para uma detecç ão robusta de fogo e seguimento de objectos, mesmo na presença de oclus ões. Concretamente, uma taxa m édia de sucesso de 92.7 % para detectar fogo e 92.8 % para seguimento de objectos a uma taxa de processamento de 10 Hz mostra a aplicabilidade do modelo para aplicaç ões em tempo real.

(12)

(13)

Conte ´udo

Lista de Figuras xv

Lista de Tabelas xix

1 Introduc¸ ˜ao 1

1.1 Motivaç ão e Vis ão Geral . . . 1

1.2 Objectivos . . . 2

1.3 Soluc¸ ˜ao Proposta . . . 2

1.4 Estrutura . . . 3

2 Revis ão da Literatura 5 2.1 Detecç ão de Fogo . . . 5

2.2 Detecc¸ ˜ao e Seguimento de Objectos . . . 8

2.2.1 Detecç ão de Regi ões de Movimento . . . 8

2.2.2 Seguimento de Objectos . . . 11

2.2.2.1 Oclus ˜oes Entre Objectos . . . 13

2.2.2.2 M ´ultiplas C ˆamaras . . . 13

3 Metodologia Proposta 15 3.1 Detecç ão de Regi ões de Movimento . . . 16

3.2 Algoritmo de Detecc¸ ˜ao de Fogo . . . 18

3.2.1 Detecç ão de Regi ões de P´ıxeis Com Base na Cor do Fogo . . . 18

3.2.1.1 M étodos de Classificaç ão dos P´ıxeis Com Base na Cor . . . 19

3.2.1.2 An álise do Desempenho dos M étodos de Classificaç ão dos P´ıxeis com Base na Cor . . . 22

3.2.2 Detecç ão de Texturas Din âmicas . . . 25

(14)

3.2.3 An ´alise no Dom´ınio da Frequ ˆencia . . . 29

3.2.3.1 TransformadaWaveletDiscreta no Espaço da Frequ ência Temporal . 30 3.2.3.2 TransformadaWaveletDiscreta no Espaço da Frequ ência Espacial . 34 3.3 Algoritmo de Detecç ão e Seguimento de Objectos . . . 36

3.3.1 Subtracc¸ ˜ao do Plano de Fundo . . . 37

3.3.2 Detecç ão de Objectos e Remoç ão de Sombras . . . 40

3.3.3 Seguimento de M ´ultiplos Objectos . . . 43

3.3.3.1 Filtro de Part´ıculas . . . 43

3.3.3.2 Estado do seguimento . . . 48

3.3.3.3 Classificac¸ ˜ao dos Tipos de Objectos . . . 51

3.4 Calibrac¸ ˜ao do Sistema . . . 52

3.5 Integraç ão dos Algoritmos e Geraç ão de Alarmes . . . 54

3.5.1 Integrac¸ ˜ao dos Algoritmos . . . 54

3.5.2 Gerac¸ ˜ao de Alarmes . . . 56

4 Resultados Experimentais 59 4.1 Instalac¸ ˜ao Experimental . . . 59

4.2 Resultados da Detecc¸ ˜ao de Fogo . . . 60

4.3 Resultados da Detecc¸ ˜ao e Seguimento de Objectos . . . 62

5 Conclus ˜oes e Trabalhos Futuros 65 5.1 Conclus ˜oes . . . 65

5.2 Trabalhos Futuros . . . 66

5.3 Disseminac¸ ˜ao . . . 66

(15)

Lista de Figuras

2.1 Estrutura t´ıpica dos algoritmos de detecç ão de fogo baseados em sequ ências de

ima-gens. . . 5

2.2 Vis ˜ao global dos espac¸os de coresHSI,CIE L*a*beYCbCr. . . 6

2.3 Elementos distractivos na detecç ão de fogo com base na apar ência do fogo . . . 6

2.4 M étodos de an álise das caracter´ısticas din âmicas conhecidas do fogo no dom´ınio da frequ ência . . . 8

2.5 Estrutura t´ıpica de um algoritmo de detecc¸ ˜ao e seguimento de objectos . . . 8

2.6 Vis ão global dos m étodos de detecç ão de regi ões de movimento . . . 10

2.7 Exemplos de aplicaç ão da t écnica de fluxo óptico . . . 10

2.8 Exemplo do sistema em funcionamento, no qual s ˜ao detectadas as regi ˜oes do corpo humano . . . 11

3.1 Diagrama do sistema proposto . . . 16

3.2 Detecç ão de regi ões de movimento atrav és do m étodo para estimaç ão do plano de fundo . . . 17

3.3 Variaç ão do limiar de diferenciaç ão do m étodo para estimaç ão do plano de fundo . . 18

3.4 Classificaç ão dos p´ıxeis com base na cor atrav és do espaço de coresRGB . . . 20

3.5 Classificaç ão dos p´ıxeis com base na cor atrav és do espaço de coresYCbCr . . . 21

3.6 Classificaç ão dos p´ıxeis com base na cor atrav és do espaço de coresHSI . . . 22

3.7 Segmentaç ão manual das regi ões de chamas . . . 23

3.8 Resultados obtidos para a detecc¸ ˜ao de fogo com base em 5 modelos de cor . . . 24

3.9 Resultados obtidos para a detecc¸ ˜ao de fogo com base em 5 modelos de cor com elementos distractivos no ambiente . . . 25

3.10 Detecç ão de texturas din âmicas . . . 26

3.11 Processo de remoc¸ ˜ao de contornos . . . 27

(16)

3.13 Intersecç ão entre as caixas delimitadoras de duas regi ões detectados . . . 28

3.14 Estrutura b ásica de um banco de filtros com dois n´ıveis de transformaç ão . . . 31

3.15 Sinais nos dom´ınios do tempo e frequ ência para an álise da transformada wavelet discreta no espaço da frequ ência temporal . . . 31

3.16 Resultado da transformadawaveletdiscreta no espac¸o da frequ ˆencia temporal . . . . 32

3.17 Sub-imagens de decomposiç ão resultantes daDWTbidimensional com tr ês n´ıveis de transformaç ão . . . 34

3.18 Resultado da an álise da transformadawaveletdiscreta no espaço da frequ ência espacial 35 3.19 Forma de onda de um pixel ao longo do tempo . . . 37

3.20 Vis ˜ao global do modelo do plano de fundo . . . 38

3.21 Detecç ão de regi ões de movimento atrav és da subtracç ão do plano de fundo . . . 39

3.22 Aprendizagem do modelo do plano de fundo . . . 39

3.23 Vis ão global da detecç ão de objectos . . . 41

3.24 Vis ão global do m étodo de remoç ão de sombras . . . 42

3.25 Resultado do m étodo de remoç ão de sombras . . . 43

3.26 Etapas de execuc¸ ˜ao de um filtro de part´ıculas . . . 44

3.27 Representaç ão das 4 dimens ões das part´ıculas . . . 46

3.28 M áscaras de movimento utilizadas para criaç ão e actualizaç ão dos filtros de part´ıculas 47 3.29 Localizaç ão dos objectos a serem seguidos pelo sistema . . . 47

3.30 Resultado do algoritmo de detecc¸ ˜ao e seguimento de objectos . . . 48

3.31 Intersecc¸ ˜ao de objectos em movimento a serem seguidos pelo sistema . . . 49

3.32 Oclus ˜ao entre um objecto em movimento e um objecto fixo no ambiente . . . 50

3.33 Objectos em movimento a abandonar o campo de vis ˜ao da c ˆamara . . . 51

3.34 Classificac¸ ˜ao do tipo de objecto a ser seguido pelo sistema . . . 51

3.35 Calibrac¸ ˜ao do sistema . . . 53

3.36 Definiç ão dos pol´ıgonos de calibraç ão do sistema . . . 54

3.37 Resultado da integraç ão dos resultados dos algoritmos de detecç ão de fogo, detecç ão e seguimento de objectos . . . 55

3.38 Caminho percorrido por objectos seguidos pelo sistema . . . 57

4.1 Exemplos de imagens do bancos de dados com a sa´ıda do algoritmo de detecc¸ ˜ao de fogo sobreposta . . . 60

(17)

4.3 Exemplos de imagens do bancos de dados com a sa´ıda do algoritmo de detecc¸ ˜ao e seguimento de objectos sobreposta . . . 62

4.4 Exemplos de categorizaç ão para obtenç ão dos resultados experimentais do algoritmo de detecç ão e seguimento de objectos . . . 63

(18)

(19)

Lista de Tabelas

3.1 Resultados experimentais da detecç ão de fogo atrav és do m étodo de classificaç ão dos p´ıxeis com base na cor (MCC) . . . 23

3.2 Correspond ˆencia entre as coordenadasGPSe as coordenadas do objecto no plano da imagem . . . 53

4.1 Resultados experimentais da detecc¸ ˜ao de fogo . . . 61

(20)

(21)

Lista de Notac¸ ˜oes

ω Valor m áximo para a comparaç ão de histogramas de cores

α Constante de definiç ão da velocidade de actualizaç ão das novas observaç ões

β Par âmetro de an álise do sinal de sa´ıda da transformadawaveletdiscreta no espaço da frequ ência espacial

χi Part´ıcula i

γ Valor m ´edio do par ˆametroβ

κ Intensidade m ´edia dos p´ıxeis numa regi ˜ao

λ Dist ˆancia entre as arestas das caixas delimitadoras de duas regi ˜oes detectadas

λ1 Constante de sintonizac¸ ˜ao do filtro temporal recursivo

λ2 Constante de sintonizac¸ ˜ao do filtro temporal recursivo

Bn Modelo do plano de fundo na imagemn

Fsp Imagem que representa a an ´alise do sinal de sa´ıda do banco de filtros da transformada

waveletdiscreta no espac¸o de frequ ˆencia temporal

Hcalib Imagem de calibrac¸ ˜ao da altura esperada dos objectos

Is Imagem actual

Isn Imagem do sistema na imagemn

IBS M áscara resultante do m étodo de subtracç ão do plano de fundo

If M ´ascara com as caixas delimitadoras das regi ˜oes de fogo detectadas

IHBE M áscara resultante do m étodo para estimaç ão do plano de fundo

IPC M áscara resultante do m étodo de classificaç ão dos p´ıxeis com base na cor

IPF M ´ascara com as caixas delimitadoras dos objectos a serem seguidos

IRC M áscara resultante do processo de remoç ão de contornos

ISR M áscara resultante do m étodo de remoç ão de sombras

ITD M áscara resultante do m étodo de detecç ão de texturas din âmicas

(22)

Tn Limiar de diferenciac¸ ˜ao na imagemn

xhh Sub-imagem alto-alto resultante da transformadawaveletdiscreta no espac¸o da frequ ˆencia espacial

xhl Sub-imagem alto-baixo resultante da transformada wavelet discreta no espac¸o da frequ ˆencia espacial

xlh Sub-imagem baixo-alto resultante da transformada wavelet discreta no espac¸o da frequ ˆencia espacial

ν Constante de sensibilidade do m étodo de remoç ão de sombras

ρ N ´umero de p´ıxeis em movimento na regi ˜ao do objecto

σ Valor m ´aximo dos picos do sinal de sa´ıda do banco de filtros da transformadawavelet

discreta no espac¸o de frequ ˆencia temporal

τ Constante de sensibilidade da func¸ ˜ao densidade de probabilidade

τH Constante de sensibilidade do m étodo de remoç ão de sombras

τS Constante de sensibilidade do m étodo de remoç ão de sombras

θ Par âmetro de convers ão entre espaços de cores

υ Constante de sensibilidade do m étodo de remoç ão de sombras

ε Constante de sensibilidade do m étodo de remoç ão de sombras

ϕ Constante de sensibilidade de actualizac¸ ˜ao de histogramas de cores

ϑ N ´umero de p´ıxeis em movimento na regi ˜ao de cada part´ıcula

ξ1 Valor m´ınimo do par ˆametroβ

ξ2 Valor m ´aximo do par ˆametroβ

ζ Constante de calibrac¸ ˜ao da altura do objecto

An Escalas de aproximac¸ ˜ao do sinal de sa´ıda do banco de filtros

B Componente azul

b Componente azul normalizado

Cf Conjunto de p´ıxeis considerados fogo

Cb Componente cromin ˆancia azul

Cbmean Valor m ´edio da componente cromin ˆancia azul

Cr Componente cromin ˆancia vermelho

Crmean Valor m ´edio da componente cromin ˆancia vermelho

Dn Escalas de detalhe do sinal de sa´ıda do banco de filtros

(23)

DW T Transformadawaveletdiscreta

dwtout Sinal de sa´ıda do banco de filtros

G Componente verde

g Componente verde normalizado

gf Func¸ ˜ao de resposta ao impulso de um filtro passa-baixo

GP S Sistema de posicionamento global

H Componente matiz

h1 Valor m´ınimo da componente matiz

h2 Valor m ´aximo da componente matiz

Hb Banda de alta frequ ˆencia resultante da transformada waveletdiscreta no espac¸o da

frequ ˆencia espacial

hf Func¸ ˜ao de resposta ao impulso de um filtro passa-alto

hi Altura da caixa delimitadora do objecto i

h[n]r Histograma de refer ˆencia do objecto n

h[n]mp Histograma de apar ˆencia da m ´edia das melhores part´ıculas do objecto n

hobj Altura do objecto

HBE M étodo de estimaç ão do plano de fundo

HOG Histograma de gradientes orientados

hpi Histograma de cor da part´ıcula i

HSI Espac¸o de cores

HSV Espac¸o de cores

HY Modelo de cor

HY R Modelo de cor

I Componente Intensidade

i1 Valor m´ınimo da componente luminosidade

i2 Valor m ´aximo da componente luminosidade

intpf Dist ˆancia m ´axima entre as arestas das caixas delimitadoras de dois objectos para se

considerar que estes se interseccionam

Lb Banda de baixa frequ ˆencia

M Conjunto de p´ıxeis em movimento

M CC M étrica de classificaç ão de imagens bin árias

(24)

Ndwt N ´umero total de p´ıxeis classificados como fogo

NinitBS Sequ ˆencia de imagens para aprendizagem do modelo do plano de fundo

Npicos N ´umero total de picos do sinal de sa´ıda do banco de filtros da transformadawavelet

discreta no espac¸o de frequ ˆencia temporal

N Cdwt N ´umero de imagens recolhidas para an ´alise da transformadawaveletdiscreta

R Componente vermelho

r Componente vermelho normalizado

r1 Ru´ıdo das part´ıculas relacionado com largura do objecto

r2 Ru´ıdo das part´ıculas relacionado com altura do objecto

ro Ru´ıdo das part´ıculas relacionado com a posic¸ ˜ao no plano da imagem do objecto

RT Valor global da componente vermelho

Rpf Ru´ıdo das part´ıculas para cada iterac¸ ˜ao do filtro de part´ıculas

RGB Espac¸o de cores

S Componente saturac¸ ˜ao

s1 Valor m´ınimo da componente saturac¸ ˜ao

s2 Valor m áximo da componente saturaç ão

ST F T Transformada deFourierde curto espac¸o de tempo

thrBS N úmero de p´ıxeis em movimento numa regi ão da m áscara de subtracç ão do plano de

fundo

thrint Limite inferior do r ´acio de p´ıxeis classificados como fogo pela regra baseada na

inten-sidade dos p´ıxeis

thrmf Dist ˆancia Euclidiana m´ınima para se considerar que um objecto n ˜ao se encontra

est ´atico no ambiente

thrzc Limite inferior do n ´umero acumulado de passagens por zero do sinal de sa´ıda do

banco de filtros

updateBS Sequ ência de imagens para actualizaç ão do m étodo de subtracç ão do plano de fundo

V Componente valor

wi Largura da caixa delimitadora do objecto i

w[n]i Peso da part´ıcula i para o objecto n

W T Transformadawavelet

xf Sinal original no dom´ınio do tempo

xi Posic¸ ˜ao x da caixa delimitadora do objecto i

(25)

xobj Posiç ão do objecto em relaç ão à coordenadaxda imagem

XM L Formato para criac¸ ˜ao de documentos

Y Componente luminosidade

Y1 Limite superior da curva de correlaç ão entre componente azul e saturaç ão

Y2 Limite inferior da curva de correlaç ão entre componente azul e saturaç ão

yi Posic¸ ˜ao y da caixa delimitadora do objecto i

Yr Incerteza atribu´ıda ao movimento do objecto em relaç ão à coordenadayda imagem

Yalto Sa´ıda do filtro passa alto

Ybaixo Sa´ıda do filtro passa baixo

Ymean Valor m ´edio da componente luminosidade

yobj Posiç ão do objecto em relaç ão à coordenadayda imagem

yobs Probabilidade de observac¸ ˜ao

(26)

(27)

Cap´ıtulo 1

Introduc¸ ˜ao

1.1 Motivaç ão e Vis ão Geral

A segurança das pessoas e dos seus bens é um tema de grande preocupaç ão para a sociedade. Com recurso a sistemas de v´ıdeo vigil ância é poss´ıvel obter ´ındices de segurança e supervis ão mais elevados, visto que estes permitem o controlo e monitorizaç ão de uma determinada área de forma permanente e exaustiva. Estes sistemas s ão tipicamente monitorizados por um conjunto de pessoas com recurso a monitores que exibem as imagens das c âmaras em tempo real. Consoante o cen ário em causa, é de extrema dificuldade para os operadores destes sistemas conseguirem detectar todos os eventos que ocorrem em tempo real.

Recorrendo a algoritmos de vis ão computacional é poss´ıvel automatizar aplicaç ões de v´ıdeo vigil ância, processando em tempo real os dados provenientes dos referidos sistemas, de forma a detectar situaç ões an ómalas e seguir objectos em movimento. Assim é poss´ıvel gerar automatica-mente diversos tipos de alarmes de modo a assistir os operadores do sistema.

A referida automatizaç ão permite, entre outros, detectar m últiplos focos de inc êndio. Novas t écnicas e estudos realizados recentemente demonstram que a detecç ão de fogo atrav és de uma sequ ência de imagens pode ser uma alternativa fi ável ou um complemento às t écnicas existentes, tais como os dispositivos autom áticos de detecç ão de calor, chama, fumo ou luz. No entanto, em ambientes n ão estruturados n ão é poss´ıvel recorrer aos referidos dispositivos visto que estes apre-sentam diversos problemas, como sejam uma elevada taxa de falsos alarmes e uma necessidade de proximidade à chama.

(28)

Cap´ıtulo 1. Introduc¸ ˜ao

obst áculos), com a formaç ão de grupos de objectos ou com o desaparecimento parcial dos mes-mos. Nestes casos, n ão é poss´ıvel seguir isoladamente os objectos e o sistema dever á ser capaz de os reconhecer quando estas abandonarem o estado de oclus ão.

O volume de trabalhos publicados na área da segurança e vigil ância autom ática e a evoluç ão dos algoritmos de vis ão computacional conduz a sistemas cada vez mais complexos e sofisticados. No entanto, é poss´ıvel projectar e implementar sistemas que incluam m étodos mais eficientes e robustos na detecç ão de focos de inc êndio e seguimento de m últiplos objectos.

1.2 Objectivos

O objectivo desta dissertaç ão é projectar e implementar um sistema para mitigar algumas das limitaç ões dos algoritmos de detecç ão de fogo e seguimento de objectos presentes na literatura. Como tal, é proposto um sistema que tem a capacidade de detectar m últiplos focos de inc êndio e, em simult âneo, detectar e seguir objectos em tempo real, mesmo que estes entrem em oclus ão com objectos em movimento ou com objectos presentes no ambiente no qual o sistema de v´ıdeo vigil ância est á instalado. De referir que o sistema recorre a uma c âmara fixa no ambiente para obter uma sequ ência de imagens.

Com a introduç ão do algoritmo de detecç ão de fogo no sistema proposto, pretende-se detectar m últiplos focos de inc êndio de forma eficiente e robusta. Recorrendo a m étodos que analisam as caracter´ısticas din âmicas conhecidas do fogo no dom´ınio da frequ ência, é poss´ıvel discriminar entre um fogo e um objecto em movimento com cores semelhantes às das chamas.

Com base no algoritmo de detecç ão e seguimento de objectos é poss´ıvel seguir objectos em mo-vimento em ambientes exteriores e com variaç ão das condiç ões din âmicas do ambiente (e.g nuvens, luminosidade e sombras) no qual o sistema de v´ıdeo vigil ância est á instalado, recorrendo a t écnicas de extracç ão de regi ões de movimento e a modelos estoc ásticos para executar o seguimento dos mesmos.

1.3 Soluc¸ ˜ao Proposta

O sistema proposto nesta dissertaç ão introduz um conjunto de inovaç ões em relaç ão aos algo-ritmos presentes na literatura, destacando-se:

(29)

1.4. Estrutura

detecç ão de texturas din âmicas. Caso este detecte uma constante presença de uma regi ão de p´ıxeis considerados fogo, a an álise no dom´ınio da frequ ência na referida regi ão é aplicada. Foi tamb ém proposto uma extens ão ao m étodo de an álise das texturas din âmicas no dom´ınio da frequ ência (T öreyin et al., 2006), aplicando uma transformadawaveletdiscreta com tr ês n´ıveis de transformaç ão, de modo a tornar a detecç ão de fogo mais robusta.

• Algoritmo de detecç ão e seguimento de objectos: para segmentar as regi ões de movi-mento na imagem actual s ão utilizados os m étodos de subtracç ão do plano de fundo (Kim et al., 2005) e de estimaç ão do plano de fundo (Collins et al., 2000). O m étodo proposto por Kim et al. (2005) baseia-se na aprendizagem de um único modelo do plano de fundo, tornando o sistema demasiado sens´ıvel a alteraç ões de luminosidade. Nesta dissertaç ão é proposto uma extens ão a este m étodo, onde uma grelha regular é sobreposta à imagem actual, asso-ciando a cada posiç ão da grelha um modelo do plano de fundo. Assim, é poss´ıvel que cada modelo aprenda o plano de fundo independentemente do movimento existente noutra regi ão da imagem.

Com determinadas condiç ões de luminosidade, o resultado da detecç ão de movimento inclui as sombras dos objectos. Para que estas n ão afectem o processo de seguimento, surge a necessidade de as remover. Este processo é efectuada atrav és de uma extens ão ao m étodo proposto por Cucchiara et al. (2003), onde apenas s ão removidas as sombras na regi ão inferior dos objectos detectados.

O processo de seguimento de objectos recorre a filtros de part´ıculas que se baseiam nas caracter´ısticas de apar ência dos objectos para estimar a posiç ão dos mesmos. A forma de adicionar ru´ıdo aleat ório às part´ıculas foi alterado, de modo a actualizar as 4 dimens ões do ru´ıdo das part´ıculas com base nas últimas localizaç ões do objecto em movimento e assim, na iteraç ão seguinte do filtro, direccionar as part´ıculas para a localizaç ão esperada do objecto.

Apesar de o algoritmo de detecç ão de fogo incluir m étodos suficientemente robustos para diferen-ciar um fogo de um objecto em movimento com cores semelhantes às das chamas, poder ão existir situaç ões nas quais objectos com movimentos repetitivos afectem a robustez do algoritmo. Neste sentido, o sistema proposto nesta dissertaç ão inclui uma soluç ão inovadora ao integrar o resultado dos dois algoritmos, de forma a reduzir a taxa de falsos alarmes na detecç ão de fogo proveniente dos referidos objectos.

Para a validaç ão do sistema proposto, os resultados experimentais foram obtidos a partir de um banco de dados de 15 v´ıdeos. Os resultados mostram que o sistema detecta regi ões de chamas em 92.7% das imagens testadas, detecta e segue objectos em movimento em 95.87% e 92.77% das imagens testadas, respectivamente.

1.4 Estrutura

Esta dissertaç ão est á organizada da seguinte forma:

(30)

Cap´ıtulo 1. Introduc¸ ˜ao

Cap´ıtulo 3 Descriç ão do sistema proposto para detecç ão de fogo e detecç ão e seguimento de objectos em tempo real;

Cap´ıtulo 4 Apresentaç ão da configuraç ão experimental e os resultados obtidos a partir de um de banco de dados com 15 v´ıdeos;

(31)

Cap´ıtulo 2

Revis ˜ao da Literatura

O sistema proposto nesta dissertaç ão é baseado na integraç ão dos algoritmos de detecç ão de fogo e detecç ão e seguimento de objectos em tempo real. Neste cap´ıtulo é revista a literatura relacionada com os referidos algoritmos, detalhada nas secç ões 2.1 e 2.2, respectivamente.

2.1 Detecc¸ ˜ao de Fogo

A an álise da literatura permite concluir que a detecç ão de fogo atrav és de algoritmos de vis ão computacional engloba tr ês passos fundamentais (ver figura 2.1): (1) detecç ão de regi ões de mo-vimento; (2) detecç ão de regi ões baseado na apar ência e (3) an álise das caracter´ısticas din âmicas conhecidas do fogo. Os dois primeiros passos permitem segmentar regi ões com cores semelhantes às chamas que apresentam movimento. O terceiro passo é necess ário para diminuir a taxa de falsos alarmes proveniente dos objectos em movimento com apar ência semelhante ao fogo.

Figura 2.1:Estrutura t´ıpica dos algoritmos de detecç ão de fogo baseados em sequ ências de imagens.

Uma aproximaç ão à detecç ão de fogo atrav és de algoritmos de vis ão computacional consiste em classificar os p´ıxeis da imagem de acordo com um modelo de apar ência baseado no fogo (Chen et al., 2010). Esta aproximaç ão, que se baseia na classificaç ão dos p´ıxeis com base na informaç ão da cor, tem um papel fundamental nos algoritmos de detecç ão de fogo, pois os restantes m étodos implementados est ão dependentes da capacidade desta t écnica para segmentar regi ões de p´ıxeis com cores semelhantes às das chamas.

(32)

Cap´ıtulo 2. Revis ˜ao da Literatura

tabela treinada é utilizada para extrair as regi ões com cores semelhantes às das chamas. Chen et al. (2010) utiliza um algoritmo de filtragem dos p´ıxeis, aplicando um conjunto de regras no espaço de coresRGB. Por outro lado, T öreyin et al. (2006) usa uma distribuiç ão pr é-determinada de cores no espaço de coresRGBpara executar uma segmentaç ão dos p´ıxeis com base na cor.

De modo a especificar as intensidades de cor e brilho separadamente, s ão introduzidos outros espaços de cores no m étodo de classificaç ão dos p´ıxeis com base na cor (ver figura 2.2). Os modelos propostos por Celik and Demirel (2009) e Celik (2010) utilizam os espaços de coresYCbCr

eCIE L*a*bpara construir um modelo gen érico de segmentaç ão dos p´ıxeis atrav és de um conjunto de regras. Por sua vez, Horng et al. (2005) utiliza uma transformaç ão para o espaço de coresHSI

e aplica o m étodo de separaç ão de cores para segmentar regi ões com apar ência semelhante ao fogo, removendo posteriormente os p´ıxeis saturados e com pouca intensidade que n ão contenham chamas, tais como fumo e regi ões com reflex ões.

(a) Imagem de entrada (b)HSI (c)CIE L*a*b (d)YCbCr

Figura 2.2: Vis ão global dos espaços de coresHSI,CIE L*a*beYCbCr. (a) Imagem original no espaço de coresRGB; imagem convertida para o espaço de cores:HSI(Horng et al., 2005) (b),CIE L*a*b(Celik, 2010) (c) eYCbCr(Celik and Demirel, 2009) (d).

Embora os m étodos de classificaç ão dos p´ıxeis com base na cor apresentem uma elevada ro-bustez, estes est ão sujeitos a um conjunto elevado de distractivos, isto é, objectos est áticos ou em movimento que apresentam cores semelhantes às das chamas (ver figura 2.3).

(a) (b) (c) (d)

Figura 2.3:Elementos distractivos na detecç ão de fogo com base na apar ência do fogo: areias (a), árvores (b), relvado (c) e arm ários (d).

(33)

2.1. Detecc¸ ˜ao de Fogo

um n úmero de p´ıxeis com apar ência semelhante ao fogo acima de um determinado limiar. Neste sentido, est ão sujeitos a uma elevada taxa de falsos alarmes, pois qualquer objecto que apresente cores semelhantes às das chamas é classificado como fogo.

O fogo apresenta-se como um objecto est ático com forma e textura din âmicas. Neste sentido, é poss´ıvel reduzir a taxa de falsos alarmes na detecç ão de fogo, eliminando regi ões de p´ıxeis que representam objectos est áticos presentes no ambiente. Os m étodos propostos por Phillips III et al. (2002), Celik (2010), Celik et al. (2007, 2006) e Ko et al. (2009) incorporam a t écnica de diferenciaç ão temporal de imagens consecutivas para detectar regi ões de movimento. Assim, com base nesta t écnica e na detecç ão de regi ões de p´ıxeis atrav és da apar ência do fogo, apenas as regi ões de movimento s ão classificados com base na informaç ão de cor. Uma an álise detalhada à detecç ão de regi ões de movimento é apresentada na secç ão 2.2.1.

Uma das diversas caracter´ısticas do fogo é a oscilaç ão dos p´ıxeis nas regi ões circundantes às chamas (Detriche and Lanore, 1980; Drysdale, 2011; Hammis et al., 1992). Para aumentar a fiabilidade da detecç ão de fogo e diminuir a taxa de falsos alarmes provenientes de objectos em movimento com cores semelhantes às das chamas, podem ser aplicados m étodos de an álise das caracter´ısticas din âmicas conhecidas do fogo nos dom´ınios do tempo e frequ ência.

Para classificar uma regi ão como fogo, os algoritmos propostos por Chen et al. (2004, 2010) incluem m étodos de an álise das caracter´ısticas din âmicas conhecidas do fogo no dom´ınio do tempo, propondo a an álise da variaç ão da forma das chamas e da variaç ão de brilho dos p´ıxeis, com base no n úmero de p´ıxeis considerados fogo pela t écnica de classificaç ão dos p´ıxeis com base na cor que apresentam movimento.

A an álise das caracter´ısticas din âmicas conhecidas do fogo no dom´ınio da frequ ência acres-centam uma elevada robustez aos algoritmos de detecç ão de fogo, pois permitem analisar: (1) a oscilaç ão dos p´ıxeis na zona circundante às chamas (T öreyin et al., 2006; Toreyin et al., 2005; Chen et al., 2010, 2004), (2) a variaç ão da textura das chamas (T öreyin et al., 2006; Toreyin et al., 2005) e (3) a variaç ão da forma das chamas (Liu and Ahuja, 2004). É importante referir que os algoritmos de detecç ão de fogo que incluem m étodos de an álise no dom´ınio da frequ ência apresentam uma taxa de falsos alarmes inferior na detecç ão de fogo em relaç ão aos restantes algoritmos.

O algoritmo proposto por T öreyin et al. (2006) analisa as referidas caracter´ısticas do fogo atrav és da transformadawaveletdiscreta (DWT) no espaço da frequ ência temporal e espacial, de modo a avaliar o comportamento oscilat ório dos p´ıxeis nas zonas circundantes às chamas e a variaç ão de textura das chamas nas regi ões classificadas como fogo, respectivamente. Apesar de apresentar bons resultados para o conjunto de dados testado, os m étodos implementados s ão pesados com-putacionalmente e o modelo de cores utilizado n ão segmenta convenientemente as chamas.

No m étodo proposto por Liu and Ahuja (2004), os contornos das chamas s ão representados atrav és dos coeficientes deFourier. Para a discriminaç ão entre uma regi ão de fogo e um objecto em movimento com cores semelhantes às das chamas é analisada a variaç ão destes coeficientes ao longo do tempo. No entanto, este m étodo é limitado a chamas de grande dimens ão.

(34)

(a) (b)

Figura 2.4: M étodos de an álise das caracter´ısticas din âmicas conhecidas do fogo no dom´ınio da frequ ência: frequ ência de oscilaç ão de um pixel na regi ão circundante às chamas (T öreyin et al., 2006) (a); contorno das chamas (Liu and Ahuja, 2004) (b).

2.2 Detecc¸ ˜ao e Seguimento de Objectos

Enquanto o objecto a ser seguido pelo sistema se encontra na perspectiva da c âmara, este pode estar ocluso (parcialmente ou totalmente) por outros objectos ou obst áculos. Neste sentido, um al-goritmo de detecç ão e seguimento de objectos deve ter a capacidade de seguir objectos e conseguir distingui-los ap ós uma ou mais oclus ões, mesmo com alteraç ões da luminosidade e movimentos de outros objectos.

A an álise da literatura permite concluir que o seguimento de objectos atrav és de algoritmos de vis ão computacional inclui tr ês passos fundamentais: segmentaç ão, detecç ão e seguimento de objectos (ver figura 2.5). Os processos de segmentaç ão e detecç ão s ão utilizados para ex-trair regi ões de movimento e detectar objectos, atrav és de t écnicas de subtracç ão do plano de fundo ou diferenciaç ão temporal. Para o processo de seguimento de objectos s ão utilizadas fil-tros estoc ásticos que garantem o seguimento de um determinado objecto, mesmo em situaç ões de oclus ões entre objectos ou obst áculos.

Figura 2.5:Estrutura t´ıpica de um algoritmo de detecc¸ ˜ao e seguimento de objectos.

De seguida, s ão analisadas um conjunto de t écnicas de detecç ão regi ões de movimento e t écnicas de seguimento de objectos, descritas nas secç ões 2.2.1 e 2.2.2, respectivamente.

2.2.1 Detecç ão de Regi ões de Movimento

(35)

2.2. Detecc¸ ˜ao e Seguimento de Objectos

Existem tr ês aproximaç ões principais para a detecç ão de objectos em movimento (Moeslund et al., 2006): (1) t écnica de diferenciaç ão temporal; (2) t écnica de subtracç ão do plano de fundo e (3) t écnica de fluxo óptico.

A t écnica de diferenciaç ão temporal consiste na subtracç ão directa de imagens consecutivas. Esta t écnica é ideal para ambientes com grandes variaç ões din âmicas, apesar n ão extrair conveni-entemente as regi ões de movimento e n ão detectar movimento quando os objectos se encontram a uma determinada dist ância da c âmara. O m étodo proposto por Lipton et al. (1998) detecta regi ões de movimento atrav és desta t écnica e utiliza a an álise de contornos para extrair as regi ões de movi-mento. Por outro lado, Collins et al. (2000) prop õe um m étodo de detecç ão de regi ões de movimento atrav és de duas operaç ões, diferenciaç ão de tr ês imagens consecutivas e subtracç ão do plano de fundo.

Para compensar os efeitos da alteraç ão da luminosidade e dos movimentos repetitivos dos ob-jectos num ambiente exterior, a t écnica de subtracç ão do plano de fundo ajusta um modelo de s éries temporais para cada pixel ou grupo de p´ıxeis, sendo capaz de lidar com flutuaç ões tempo-rais, embora seja computacionalmente complexo (Toyama et al., 1999). Esta t écnica baseia-se na representaç ão do plano de fundo atrav és de um modelo, onde as regi ões de p´ıxeis em movimento s ão determinadas atrav és da comparaç ão entre este e a imagem actual.

Entende-se como plano de fundo as regi ões do ambiente que est ão fixas, tais como estradas e edif´ıcios. Por seu lado, qualquer elemento que se mova no ambiente da c âmara ou um elemento que esteja estacion ário durante um curto per´ıodo de tempo (e.g autom óveis estacionados) s ão conside-rados elementos do primeiro plano. É poss´ıvel que diversos elementos do plano de fundo possam apresentar movimento, tais como árvores ou ervas.

Os m étodos propostos por Stauffer and Grimson (1999), Grimson et al. (1998), KaewTraKulPong and Bowden (2001), Friedman and Russell (1997) e Butler et al. (2003) utilizam uma mistura de distribuiç ões gaussianas para construir um modelo do plano de fundo com base numa sequ ência de imagens. Para cada pixel da nova imagem, o seu valor é comparado com o modelo e, caso esteja dentro de um intervalo dado pelo desvio padr ão, os par âmetros da gaussiana s ão ajustados. Caso contr ário, a distribuiç ão gaussiana que modela o pixel é substitu´ıda.

Javed et al. (2002) prop õe a utilizaç ão da informaç ão do gradiente no modelo do plano de fundo para reduzir o erro de classificaç ão da informaç ão de cor e para lidar com as mudanças de lu-minosidade. Com a alteraç ão das condiç ões de luminosidade, a informaç ão de cor de cada pixel é alterada subitamente e segundo Javed et al. (2002), o gradiente do plano de fundo mant ém-se est ável durante a ocorr ência dessas alteraç ões.

(36)

De referir que a escolha do espaço de cores é determinante para os m étodos de subtracç ão do plano de fundo. O espaço de coresRGBpermite medir a distorç ão do brilho e da cor. No entanto, para m étodos que t êm a capacidade de lidar com flutuaç ões din âmicas do ambiente, os espaços de cores YCbCreHSVs ão mais adequados, pois permitem separar a cor e a intensidade de um determinado pixel. Para al ém do espaço de coresRGB, foram utilizadas outras representaç ões para extrair o plano de fundo. Concretamente, Wren et al. (1997) prop ôs a utilizaç ão do espaço de cores

YUVe Cucchiara et al. (2003) o espac¸o de coresHSV.

A figura 2.6 apresenta dois exemplos das t écnicas de diferenciaç ão temporal e subtracç ão do plano de fundo, aplicadas a imagens provenientes de sistemas de v´ıdeo vigil ância instalados em ambientes exteriores.

(a) (b) (c)

Figura 2.6: Vis ão global dos m étodos de detecç ão de regi ões de movimento. (a) imagem original; m áscaras resultante da t écnica de subtracç ão do plano de fundo (b) e diferenciaç ão temporal (c).

Outra das formas de detectar objectos em movimento é utilizar a t écnica de fluxo óptico. Esta t écnica é definida como o deslocamento aparente dos padr ões de brilho da imagem, obtendo-se para cada pixel da imagem um vector que representa a direcç ão e a intensidade do movimento (Horng and Schunck, 1981; Barron et al., 1992; Roberts et al., 2009). O fluxo óptico apresenta uma excelente segmentaç ão das regi ões em movimento, embora seja computacionalmente pe-sado, tornando-se assim inadequada para o sistema proposto. A figura 2.7 exp õe dois exemplos de aplicaç ão da t écnica de fluxo óptico.

(a) (b)

(37)

2.2.2 Seguimento de Objectos

O processo de seguimento de objectos pode ser dividido em duas aproximaç ões: (1) a cada nova imagem, detectar todos os objectos presentes no ambiente e comparar com a lista de objectos da imagem anterior; (2) detectar e seguir objectos atrav és da extracç ão de uma ou v árias caracter´ısticas que os descrevem unicamente, e recorrer a t écnicas para executar o seguimento dos mesmos com base nas referidas caracter´ısticas: algoritmo mean shift e CAMShift, filtro de Kalman e filtro de part´ıculas.

Assim, ao utilizar a segunda aproximaç ão para o seguimento de objectos, é necess ário extrair pelo menos uma das caracter´ısticas dos objectos:

• Caracter´ısticas geom étricas - posiç ão e tamanho do objecto no plano da c âmara, atrav és da caixa delimitadora (bounding box) do objecto (Matsumura et al., 2002).

• Caracter´ısticas de contorno - a forma do objecto é extra´ıda atrav és da segmentaç ão das regi ões de movimento (Hariatoglu et al., 1998; Haritaoglu et al., 2000).

• Caracter´ısticas de cor e textura - recorrendo a modelos de apar ˆencia (Chien et al., 2006; Kang et al., 2003; Hariatoglu et al., 1998; Lu and Tan, 2001) o processo de seguimento de objectos torna-se substancialmente mais robusto e complexo computacionalmente.

Para o processo de seguimento é necess ário adequar as caracter´ısticas dos objectos ao ambi-ente, isto é, ter em consideraç ão os par âmetros de aquisiç ão da c âmara (imagens a cor ou na escala de cinzentos, resoluç ão da imagem e o campo visual da c âmara), bem como o tipo de ambiente no qual o sistema de v´ıdeo vigil ância est á instalado (ambientes interiores ou exteriores, dia ou noite).

A grande maioria dos trabalhos publicados t êm por base a t écnica de subtracç ão do plano de fundo para extrair regi ões de movimento, e a partir destas executar o seguimento de objectos. Ber-claz et al. (2006) executa o seguimento de objectos atrav és do processamento das traject órias in-dividuais de cada objecto ao longo do tempo. Por outro lado, Hariatoglu et al. (1998) e Wren et al. (1997) utilizam uma an álise da forma (cabeça, tronco, m ãos e p és) dos objectos para o seguimento dos mesmos, criando modelos de apar ência para distinguir objectos em situaç ões de oclus ão. A figura 2.8 mostra um exemplo do sistema proposto por (Hariatoglu et al., 1998), no qual s ão detec-tadas as regi ões do corpo humano.

(a) (b)

(38)

Haritaoglu et al. (1999) prop ôs um sistema de detecç ão de objectos atrav és da extracç ão de regi ões de movimento, executando posteriormente o seguimento dos objectos atrav és do histo-grama de apar ência. Simultaneamente, combina esta informaç ão com a localizaç ão da cabeça das pessoas dentro de uma determinada regi ão.

O m étodo proposto por Zhao and Nevatia (2004) utiliza um modelo da forma da cabeça humana para segmentar regi ões de movimento e seguir as pessoas. O algoritmo apresenta a particularidade da c âmara poder estar instalada a poucos metros de altura e apontada para baixo. Kang et al. (2003) tamb ém aplica a detecç ão da cabeça ap ós a detecç ão de movimento com base na t écnica de subtracç ão do plano de fundo, seguindo a pessoa atrav és da comparaç ão da apar ência da cabeça. Por outro lado, os m étodos propostos por Wang et al. (2002) e Matsumura et al. (2002) aplicam a detecç ão de regi ões de movimento para extrair regi ões de pele na imagem actual, construindo um modelo da cor da pele para seguir objectos.

Os sistemas de v´ıdeo vigil ância instalados em ambientes exteriores est ão sujeitos a grandes variaç ões do ambiente. Neste sentido, as t écnicas de segmentaç ão de regi ões de movimento po-der ão apresentar uma pobre segmentaç ão dos objectos em movimento, fazendo com que os siste-mas que dependem das caracter´ısticas da cabeça e pele de um humano para executar o seguimento dos mesmos possam ser pouco robustos. A forma de solucionar este problema é recorrer a carac-ter´ısticas que apresentem uma maior informaç ão acerca dos objectos (cor e a textura), conjugadas com t écnicas que adicionam ao sistema a capacidade de previs ão. Existem duas abordagens prin-cipais para prever a posiç ão de um determinado objecto na pr óxima imagem: (1) filtro deKalmane (2) filtro de part´ıculas.

O conceito base de um filtro dekalman(Thacker and Lacey, 2006; Kalman, 1960; Black et al., 2005) consiste na estimaç ão recursiva de par âmetros atrav és de um conjunto de premissas e na presença de ru´ıdo. Neste sentido, é poss´ıvel maximizar a probabilidade à posteriori mantendo pouca informaç ão transacta, actualizando iterativamente o modelo. Apesar de ser uma t écnica robusta, o filtro dekalman é incapaz de lidar com distribuiç ões n ão-gaussianas, tornando-se inadequado para sistemas de v´ıdeo vigil ância.

Para lidar com movimentos n ão lineares é necess ário recorrer a outros filtros estoc ásticos mais avançados, tais como o filtro de part´ıculas. Este tem a capacidade de estimar um conjunto de par âmetros (Arulampalam et al., 2002), permitindo assim seguir objectos previamente detectados. Este filtro consiste em utilizar um conjunto de amostras (denominadas part´ıculas) ponderadas para aproximar uma determinada funç ão densidade de probabilidade, estimando assim a posiç ão do objecto a ser seguido. Uma descriç ão do filtro de part´ıculas é apresentada na secç ão 3.3.3.1.

(39)

2.2.2.1 Oclus ˜oes Entre Objectos

As oclus ões entre objectos no mundo real s ão frequentes e est ão associadas a dois tipos: (1) entre um objecto em movimento e objectos fixos no ambiente (e.g árvore e arm ário); (2) entre m últiplos objectos que se encontram a ser seguidos.

Uma das formas de lidar com oclus ões entre objectos é utilizar a capacidade de previs ão dos filtros de part´ıculas com base na apar ência dos objectos. Outra das formas é recorrer a m últiplas c âmaras com campos de vis ão sobrepostos. Os m étodos propostos por Khan et al. (2001) e Khan and Shah (2003), exploram a relaç ão espacial conhecida entre os diversos campos de vis ão das c âmaras para facilitar a correspond ência entre os objectos. De forma semelhante, Kim and Davis (2006) e Khan and Shah (2006) executam uma associaç ão de dados entre pontos de vista e explo-ram combinaç ões e restriç ões de homografia, atrav és da extracç ão dos eixos principais (verticais) de um ser humano e das caracter´ısticas associadas com a silhueta, respectivamente.

Existem outras formas de lidar com oclus ões. O m étodo proposto por Lu and Tan (2001) antecipa a oclus ão entre objectos em movimento, verificando a cada instante se a m´ınima caixa delimitadora ocupada pelos objectos poder á entrar em intersecç ão. Por outro lado, Koller et al. (1994) estima a posiç ão de profundidade dos objectos em seguimento, classificando-os com base na sua posiç ão vertical e combina essa informaç ão com as posiç ões esperadas, determinadas por um filtro de

Kalman.

2.2.2.2 M ´ultiplas C ˆamaras

Um dos temas em ascens ão na área de detecç ão e seguimento de objectos é a utilizaç ão de m últiplas c âmaras com vistas disjuntas. O m étodo proposto por Javed et al. (2003) estabelece uma correspond ência entre objectos quando estes se movimentam entre c âmaras nesta configuraç ão, atrav és de uma aprendizagem da topologia das c âmaras e dos caminhos percorridos pelos objectos.

Os m étodos propostos por Zhu et al. (2011) e Kettnaker and Zabih (1999) associam as tra-ject órias dos obtra-jectos em movimento sobre as m últiplas c âmaras sem sobreposiç ão do campo de vis ão para encontrar correspond ência entre estes. Chen et al. (2008) prop ôs um m étodo para apren-dizagem de relaç ões temporais, espaciais e de apar ência entre c âmaras para monitorizaç ão conti-nua de longa duraç ão. Atrav és de uma observaç ão estat´ıstica, o m étodo proposto por Makris et al. (2004) determina automaticamente a topologia das c âmaras com vistas disjuntas. Para al ém de calcular automaticamente a topologia das c âmaras, Black et al. (2005) estima o tempo de transiç ão entre os diversos pontos disjuntos.

(40)

(41)

Cap´ıtulo 3

Metodologia Proposta

Este cap´ıtulo descreve a metodologia proposta para a detecç ão de m últiplos focos de inc êndio e, simultaneamente, detecç ão e seguimento de m últiplos objectos em tempo real, em ambientes exteriores e com alteraç ões din âmicas das condiç ões de luminosidade inerentes ao local onde o sistema de v´ıdeo vigil ância est á instalado.

O sistema proposto é composto pelos algoritmos de detecç ão de fogo e detecç ão e seguimento de objectos, descritos nas secç ões 3.2 e 3.3, respectivamente. Para a detecç ão de focos de inc êndio s ão analisados a informaç ão da cor das regi ões de p´ıxeis em movimento (descrito na secç ão 3.1) e as caracter´ısticas din âmicas conhecidas do fogo no dom´ınio da frequ ência. Os m étodos imple-mentados para a detecç ão e seguimento de objectos incluem t écnicas de segmentaç ão de regi ões de movimento, filtros estoc ásticos para o seguimento de objectos e classificadores treinados para a discriminaç ão entre um objecto gen érico e um humano.

Com base no algoritmo de detecç ão de fogo é poss´ıvel diferenciar uma regi ão de fogo de um ob-jecto em movimento com cores semelhantes às das chamas. No entanto, obob-jectos com movimentos repetitivos podem afectar a robustez dessa diferenciaç ão. Neste sentido, o sistema proposto nesta dissertaç ão integra o resultado dos dois algoritmos (ver Secç ão 3.5) de modo a reduzir a taxa de falsos alarmes na detecç ão de fogo, eliminando os alarmes provenientes dos referidos objectos.

Consoante o tipo de evento que ocorre no campo de vis ão da c âmara, o sistema reporta alarmes com as coordenadas do evento no sistema de posicionamento global (GPS). Esta capacidade deve-se à calibraç ão do sistema, detalhada na deve-secç ão 3.4.

(42)

Cap´ıtulo 3. Metodologia Proposta

De seguida, o algoritmo de detecç ão e seguimento de pessoas é executado, onde o plano de fundo é removido para extrair as regi ões de movimento com base na hist ória dos p´ıxeis. Caso uma regi ão de movimento seja detectada (objecto), é aplicado o m étodo de remoç ão de sombras para extrair os p´ıxeis considerados sombra. Quando um determinado objecto for consecutivamente detectado e apresentar movimento, este é seguido atrav és de um filtro de part´ıculas, que estima a sua posiç ão atrav és do modelo de cor que o define. Por fim, o objecto é definido como humano atrav és de um classificador baseado em histogramas de gradientes orientados (HOG).

O último passo do sistema é a integraç ão dos resultados dos referidos algoritmos. Esta integraç ão é essencial para verificar se um resultado positivo da an álisewaveletdo algoritmo de detecç ão de fogo é causado por um objecto em movimento. Por fim, é gerado um conjunto de alarmes (fogo, movimento e seguimento) consoante o tipo de evento a ocorrer no ambiente.

Figura 3.1:Diagrama de processamento do sistema proposto para a detecç ão de fogo e detecç ão e seguimento de objectos para cada nova imagem.

3.1 Detecç ão de Regi ões de Movimento

(43)

3.1. Detecç ão de Regi ões de Movimento

da substituiç ão da subtracç ão adaptativa do plano de fundo pelo algoritmo de componentes ligados, nesta dissertaç ão apenas é considerada a diferenciaç ão de tr ês imagens consecutivas. Assim, a informaç ão de um pixel é considerada em movimento se o valor da sua intensidade variar significa-tivamente entre a imagem actual e as duas imagens anteriores, ou seja,

M ={(x, y) : (|Isn(x, y)−Isn

−1₍_{x, y}₎_|_>

Tn(x, y)) ∧ (|Isn(x, y)−Isn

−2₍_{x, y}₎_|_>

Tn(x, y))}, (3.1)

ondeIsn representa a intensidade do pixel na posiç ão(x, y)na imagemn. O par âmetroTn

repre-senta o limiar de diferenciaç ão que descreve uma mudança significativa na intensidade do pixel na posiç ão(x, y)emn.

O modelo de plano de fundo Bn e o limiar de diferenciaç ão Tn s ão actualizados ao longo do

tempo atrav ´es das express ˜oes:

Bn(x, y) =

 



αBn−1(x, y) + (1−α)Isn−1(x, y), se(x, y) ∈/M, Bn−1(x, y), se(x, y) ∈M.

(3.2)

Tn(x, y) =

 



αTn−1(x, y) + (1−α)(5|Ins−1(x, y)−Bn(x, y)|), se(x, y) ∈/M,

Tn(x, y), se(x, y) ∈M,

(3.3)

ondeαrepresenta uma constante que especifica a velocidade pela qual as novas observaç ões se sobrep õem às observaç ões anteriores, definida no intervalo[0, 1]. Quando se pretende extrair ape-nas as regi ões de movimento da imagem actual, sem ter em consideraç ão o movimento das mesmas em instantes anteriores, o par âmetroα é definido como 1. No instante inicial,B0 é actualizado com

a primeira imagem do sistema eT0 ´e definido como um valor superior a zero (ver em baixo).

Na figura 3.2 est ˜ao expostos resultados do m ´etodo quando aplicado em ambientes exteriores, contendo chamas e pessoas em movimento.

(a) Imagem actual (b)IHBE

(44)

´

E importante notar que o valor inicial do limiar de diferenciaç ãoT0 necessita de reflex ão, pois

quanto mais elevado for o seu valor, menos sens´ıvel se torna o m étodoHBEna detecç ão de regi ões de movimento. A figura 3.3 ilustra tr ês exemplos do resultado do m étodo para a estimaç ão do plano de fundo para diferentes valores do limiar de diferenciaç ãoT0.

(a) (b) (c) (d)

Figura 3.3: (a) Imagem actual; m áscara resultante do m étodo HBE para diferentes valores do limiar de diferenciaç ãoT0no ambiente da figura (a), definido como 5 (b), 10 (c) e 15 (d).

Na figura 3.3(b) o limiarT0foi definido como 5, apresentando assim uma maior segmentaç ão das regi ões de movimento. No entanto este limiar é demasiado baixo, visto que a m´ınima alteraç ão de movimento na imagem actual é detectada, acrescentando demasiado ru´ıdo. No caso da fi-gura 3.3(d), o limiar de diferenciaç ão foi definido como 15 e assim n ão s ão apresentadas as regi ões de movimento provenientes das folhas das árvores (lado direito da imagem). No entanto, este li-miar é demasiado elevado para se segmentar o movimento de objectos de pequena dimens ão. Neste sentido, ap ós uma parametrizaç ão do limiar de diferenciaç ão, este foi definido como 10. A figura 3.3(c) apresenta o resultado do m étodo HBEpara esta parametrizaç ão, onde o movimento proveniente das folhas das árvores n ão é significativo, ao mesmo tempo que segmenta o movimento das pessoas (incluindo as suas sombras).

3.2 Algoritmo de Detecc¸ ˜ao de Fogo

Esta secç ão descreve os m étodos implementados para a detecç ão de fogo e o trabalho realizado no âmbito da dissertaç ão para aumentar a robustez e efici ência da referida detecç ão.

3.2.1 Detecç ão de Regi ões de P´ıxeis Com Base na Cor do Fogo

As cores das chamas s ão normalmente avermelhadas, tornando-se azuis à medida que a tempe-ratura do fogo aumenta ou amarelas quando a tempetempe-ratura do fogo diminui (Drysdale, 2011). Cada imagem digital a cores é composta por tr ês planos de cores: vermelho (R), verde (G) e azul (B). A combinaç ão de planos de coresRGB permite representar uma determinada cor em componentes digitais, sendo este espaço de cores um dos mais usados para processamento digital de imagens.

(45)

3.2. Algoritmo de Detecc¸ ˜ao de Fogo

Uma das contribuiç ões desta dissertaç ão é estudar e analisar a efici ência de alguns dos m étodos de classificaç ão dos p´ıxeis com base na cor presentes na literatura. Neste sentido, seguidamente s ão descritos os m étodos propostos por Celik and Demirel (2009), Horng et al. (2005) e Chen et al. (2010), que recorrem a diferentes m étricas e espaços de cores para segmentar regi ões com chamas. De referir que o objectivo de um espaço de cores é facilitar a representaç ão das cores de uma imagem atrav és de um padr ão, isto é, um modelo matem ático para formalizar a descriç ão de cores.

3.2.1.1 M étodos de Classificaç ão dos P´ıxeis Com Base na Cor

O primeiro m étodo de classificaç ão dos p´ıxeis com base na cor descrito é proposto por Chen et al. (2010), que se baseia na filtragem dos p´ıxeis atrav és de um conjunto de regras que descrevem as caracter´ısticas da cor das chamas no espaço de coresRGB, ou seja,

Regra 1: R≥RT ∧ R≥G≥B (3.4)

Regra 2: Y2≤S≤Y1, (3.5)

ondeR,GeBrepresentam os componentes vermelho, verde e azul no espaço de coresRGBde um determinado pixel da imagem. O par âmetroRT (definido como 120) é o valor global da componente

vermelha. A segunda regra é utilizada para restringir a saturaç ão da cor, eliminando assim as regi ões com elevada iluminaç ão. As curvasY1eY2 representam os limites superior e inferior da correlaç ão

entre a componente azul e a saturaç ão, dado pela express ão:

Y1=

 



100−0.48B, seB≥117,

79.27−0.311B, seB <117.

(3.6)

Y2=−2.0147 + 90.59435e−B/77.6027, (3.7)

onde o valor de saturaç ão (S) de um determinado pixel é obtido atrav és da convers ão entre o espaço de coresRGBeHSV, dado pela express ão:

H =arcos 1

2((R−G) + (R−B))

p

((R−G)2_{+ (}_R₋_B₎₍_G₋_B₎₎ (3.8)

S= 1−3min(R, G, B)

R+G+B (3.9)

V = 1

3(R+G+B), (3.10)

ondeHrepresenta a componente matiz, definida como a cor dominante. A componente saturaç ão mede a proporç ão de cor e a componente valor (V) est á relacionado com a luminosidade da cor.

(46)

com as regi ˜oes de p´ıxeis em movimento (pertencentes ao conjuntoM) que validam as duas regras previamente descritas (ver figura 3.4).

(a) (b)

Figura 3.4: (b) Resultado do m étodo de classificaç ão dos p´ıxeis com base na cor proposto por Chen et al. (2010) aplicado à figura (a).

Outro dos m étodos analisados nesta dissertaç ão foi proposto por Celik and Demirel (2009). Este utiliza o espaço de cores YCbCr para eliminar o efeito da luminosidade, construindo um modelo gen érico de classificaç ão dos p´ıxeis com base na cor atrav és de um conjunto pr é-definido de regras. O espaço de coresYCbCré composto por tr ês componentes:Yrepresenta a luminosidade;CbeCr

s ão dois valores de cor formados atrav és da subtracç ão da componente luminosidade com as com-ponentes azul e vermelho do espaço de coresRGB, denominados cromin ância azul e cromin ância vermelho, respectivamente. A convers ão entre o espaço de coresRGBeYCbCré dada por:

   Y Cb Cr   =   

0.2568 0.5041 0.0979

−0.1482 −0.2910 0.4392 0.4392 −0.3678 −0.0714

      R G B   +    16 128 128  

, (3.11)

ondeYrepresenta a componente luminosidade contida no intervalo[16, 235]. Os par ˆametrosCbeCr

representam as componentes cromin ˆancia azul e cromin ˆancia vermelho, respectivamente, contidas no intervalo[16, 240].

O conjunto de regras definidas por Celik and Demirel (2009) para segmentar regi ões de chamas com base na informaç ão da cor dos p´ıxeis s ão dadas por:

Regra 1: Y > Cb ∧ Cr > Cb (3.12)

Regra 2: Y > Ymean ∧ Cb > Cbmean ∧ Cr > Crmean, (3.13)

onde Y, Cb e Cr s ão as componentes luminosidade, cromin ância azul e cromin ância vermelho de um determinado pixel da imagem, respectivamente. Os par âmetros Ymean, Cbmean e Crmean

representam o valor m édio das tr ês componentes do espaço de coresYCbCr.

(47)

(a) (b) (c)

(d) (e) (f)

Figura 3.5:Classificaç ão dos p´ıxeis com base na cor atrav és do espaço de coresYCbCr. (a) Imagem original; (b) imagem convertida para o espaço de coresYCbCr; (c) resultado do m étodo de classificaç ão dos p´ıxeis com base na cor proposto por Celik and Demirel (2009); componentes: luminosidade (d), cromin ância vermelho (e) e cromin ância azul (f) do espaço de coresYCbCrda figura (a).

O último m étodo em an álise foi proposto por Horng et al. (2005), que utiliza o espaço de coresHSI

e aplica o m étodo de separaç ão de cores para segmentar regi ões com cores semelhantes às das chamas. O espaço de coresHSIé formado por tr ês componentes: (1) o matiz que est á relacionado com o comprimento espectral da onda que produz a percepç ão da cor; (2) a componente saturaç ão que est á relacionada com a pureza da cor, isto é, a quantidade de cor em relaç ão à cor cinza m édia; (3) a componente intensidade (I) que est á associada ao brilho da cor (Vassili et al., 2003). A convers ão entre o espaços de coresRGBeHSI é dada pelas express ões:

I=1

3(r+g+b) (3.14)

S= 1− 3

(r+g+b)[min(r+g+b)] (3.15)

H =

 



θ, se b≤g,

360−θ, se b > g. (3.16)

θ=cos−1

1

2[(r−g) + (r−b)

[(r−g)2_{+ (}_r₋_b₎₍_g₋_b_)]1 2

, (3.17)

onde os valores das componentes r, g e b do espaço de coresRGBest ão normalizados no intervalo [0, 1], atrav és das express ões:

r= R

R+G+B, g= G

R+G+B, b= B

(48)

Atrav és de uma an álise emp´ırica, Horng et al. (2005) efectuou uma an álise às caracter´ısticas de cor das chamas de acordo com o espaço de coresHSI, aplicando posteriormente o m étodo de separaç ão de cores para segmentar regi ões com apar ência semelhante ao fogo, construindo assim um conjunto de p´ıxeis considerados chamas,

Cf([h1, h2],[s1, s2],[i1, i2]) ={(H, S, I)|h1≤H≤h2, s1≤S≤s2 ∧ i1≤I≤i2}, (3.19)

onde h1, h2, s1, s2, i1 e i2 s ão os valores m áximos e m´ınimos das tr ês componentes do espaço de

coresHSI, expressos atrav és de um estudo detalhado das caracter´ısticas das chamas no referido espaço de cores (Horng et al., 2005). Os par âmetrosH,SeIs ão os componentes matiz, saturaç ão e intensidade do espaço de coresHSI, respectivamente.

Com base na informaç ão da cor dos p´ıxeis da imagem actual, o m étodo proposto por Horng et al. (2005) cria uma m áscara com as regi ões de p´ıxeis em movimento que estejam contidos no conjunto

Cf. As componentes matiz, saturaç ão e intensidade, a convers ão para o espaço de coresHSIe o

resultado do m étodo de classificaç ão dos p´ıxeis com base na cor proposto por Horng et al. (2005) est ão expostos na figura 3.6.

(a) (b) (c)

(d) (e) (f)

Figura 3.6:(a) Imagem original; (b) imagem convertida para o espaço de coresHSI; (c) resultado do m étodo de classificaç ão dos p´ıxeis com base na cor proposto por Horng et al. (2005); componentes: matiz (d), saturaç ão (e) e intensidade (f) do espaço de coresHSIda figura (a).

3.2.1.2 An álise do Desempenho dos M étodos de Classificaç ão dos P´ıxeis com Base na Cor

(49)

Considerando que os sistemas de v´ıdeo vigil ância est ão presentes na grande maioria dos am-bientes urbanos, é tamb ém verificado o comportamento dos referidos classificadores consoante o tipo de ambiente no qual o sistema de v´ıdeo vigil ância est á instalado. Para tal, foram utilizadas 217 imagens retiradas de s´ıtios na Internet, contendo chamas decorrentes de situaç ões quotidianas, di-vididas em 4 categorias: interior, noite, rural e urbano. Com base nas imagens, foi executada uma segmentaç ão manual para criar m áscaras que cont êm apenas as regi ões com chamas. A figura 3.7 retrata exemplos das referidas categorias e a m áscara utilizada para a an álise do desempenho dos m étodos de classificaç ão dos p´ıxeis com base na cor.

(a) (b) (c) (d)

Figura 3.7: Segmentaç ão manual das regi ões de chamas. A primeira linha mostra as imagens originais e a segunda as m áscaras resultantes da segmentaç ão manual das chamas, relativas às categorias noite (a), interior (b), urbano (c) e rural (d).

Para al ém da an álise da efici ência dos m étodos de classificaç ão dos p´ıxeis com base na cor ba-seados nos espaços de coresHSI,YCbCreRGB, s ão tamb ém analisadas duas das suas poss´ıveis combinaç ões, HYe HYR. Os p´ıxeis destas combinaç ões s ão classificados como fogo atrav és da acumulaç ão do resultado dos m étodos que se baseiam nos espaços de coresHSIeYCbCrpara a primeira combinaç ão e nos espaços de coresHSI,YCbCreRGBpara a segunda combinaç ão.

A tabela 3.1 apresenta os resultados obtidos com os tr ês m étodos de classificaç ão dos p´ıxeis previamente descritos e com os modelos de cor propostos nesta dissertaç ão,HYReHY. A m étrica utilizada foi aMatthews Correlation Coefficients (MCC), que permite a classificaç ão bin ária de ima-gens, tendo em consideraç ão verdadeiros e falsos positivos, e os verdadeiros e falsos negativos. De referir que umMCCde 1 representa uma classificaç ão perfeita.

Tabela 3.1:Resultados experimentais da detecç ão de fogo atrav és do m étodo de classificaç ão dos p´ıxeis com base na cor (MCC)

Categorias # Imagens HSI YCbCr RGB HYR HY

Urbano 124 0.78 0.51 0.19 0.81 0.83

Rural 73 0.73 0.57 0.17 0.77 0.79

Interior 20 0.36 0.47 0.12 0.43 0.46

Noite 21 0.60 0.61 0.01 0.64 0.64