Qualquer técnica de subtração de fundo é governada por um conjunto de parâmetros (pa- râmetros da técnica), os quais são ajustados para que ela tenha um desempenho aceitável. Da mesma forma, um procedimento de avaliação baseado em métricas orientadas a objetos também requer um conjunto de parâmetros (parâmetros de avaliação), os quais determinam o grau de correspondência entre os objetos detectados e os objetos do ground-truth (um sistema típico para a avaliação do desempenho de uma técnica de subtração de fundo toma a sua saída e a compara com a informação do ground-truth, como é ilustrado na Figura 3.2). No caso estudado neste trabalho, o parâmetro de avaliação é o limiar τcasamento. Como
já foi indicado, ele estabelece o grau de sobreposição entre dois retângulos. Portanto, seu valor afeta em grande medida à resposta da avaliação. Se for considerado como uma métrica válida do desempenho a exatidão da técnica, mE, definida pela Equação (3.20), observa-se
que ela é uma função dependente de τcasamento8, e essa dependência é representada na curva
mE vs τcasamento. Um ponto de interesse é estabelecer um procedimento para determinar um
valor adequado para o limiar τcasamento que pondere o fato de considerar tanto uma pequena
como uma grande sobreposição entre retângulos.
Experimentalmente, observa-se que a curva mE vs τcasamentotem uma forma de “S” (ver Fi-
gura 3.4), e em alguns casos é equivalente a uma função logística9, implicando que o processo 8A métrica m
Edepende dos valores de NCD, NF D, NF A, NS, NU eNSU, tal que, cada um destes valores
são dependentes da matriz de decisão Ddecscomo é indicado nas Equações 3.14 - 3.19, porém todo elemento
(i, j) em Ddecsé dependente de τcasamentocomo é indicado na Equação (3.11), por tanto, mEserá dependente
de τcasamento.
9A expressão de uma função logística é definida pela fórmula matemática
f (x) = a1 + me
−x/τ
1 + ne−x/τ
Figura 3.2: Um típico sistema de avaliação.
de casamentos entre a saída da técnica e o ground-truth tenha um comportamento equiva- lente a um sistema de competição entre duas alternativas, ou a um modelo de crescimento exponencial com recursos limitados [70]. Indícios que validam esta observação são dados a seguir: (a) o máximo número de casamentos nunca será superior ao número de retângulos detectados e presentes no ground-truth; (b) à medida em que τcasamento aumenta de valor, a
quantidade de casamentos vai diminuindo (se requer um maior grau de sobreposição entre os retângulos para que seja considerado um casamento válido) até alcançar o mínimo número de casamentos possíveis, ou seja zero.
Pelo exposto, aqui é considerado que a curva mE vs τcasamento é aproximada por uma função
logística, e é proposto analisar o comportamento dela em função de seus pontos de inflexão (ver Figura 3.3.a), definidos como τL e τC. Considerando que τL < τC, tem-se que:
• o limiar τL localizado no lado esquerdo da curva mE vs τcasamento é nomeado de limiar
liberal, já que ao se tomar valores próximos a τcasamento= 0, estabelece-se como válido
um casamento (entre um objeto detectado e um retângulo do ground-truth) conside- rando um valor baixo de sobreposição, o que implica num relaxamento na exigência da avaliação;
• o limiar τC localizado no lado direito da curva mE vs τcasamento é nomeado de limiar
conservador, já que ao se tomar valores próximos a τcasamento = 1, estabelece-se como
válido um casamento(entre um objeto detectado e um retângulo do ground-truth) considerando um valor alto de sobreposição, o que implica num aumento da exigência da avaliação.
Levando-se em conta estes comportamentos, aqui é proposto usar a média entre ambos
limiares, como um valor de limiar razoável, em relação à exigência na avaliação. Assim, é definido o limiar τR como
τR=
τL+ τC
2 . (3.29)
Já que τL e τC estão vinculados aos pontos de inflexão da curva, eles são calculados a partir
da derivada de mE (ver Figura 3.3.b). Considerando que ela é aproximada por uma função
logística, sua derivada é estabelecida pela expressão
dmE
dτcasamento
≈ mE(1 − mE), (3.30)
e os valores de τL e τC serão obtidos ao resolver a Equação (3.31) numericamente.
dmE dτcasamento τ casamento={τL,τC} = 0, (3.31)
Nas Figuras 3.4 e 3.5 são apresentadas as curvas mEvvs τcasamentoe dmEv/dτcasamentovs τcasamento,
respectivamente, para todos os vídeos do banco de dados PETS2004. Nelas, pode-se ob- servar o comportamento já descrito e também o intervalo formado pelos limiares τL e τC,
indicado pela área sombreada, além da linha de τR (linha vermelha).
Finalmente, no Algoritmo 1 são detalhados todos os passos necessários para a determinação do desempenho de uma técnica de subtração de fundo baseada na métrica de exatidão mE,
onde
• a função AlgDetecObj contém a implementação da técnica de subtração de fundo, onde os valores de seus parâmetros são representados por ParamsAlg e a saída esperada são os retângulos presentes no quadro atual, ¯Rdt;
• a função ExtracGroundTruth extrai os retângulos vinculados ao ground-truth do qua- dro atual, ¯Rgt;
• a função CalNumCasamentos calcula a ocorrência de casamentos determinando os va- lores para NCDf, NF Df, NF Af, NSf, NUf e NSUf.
(a)
(b)
Algoritmo 1: Cálculo da métrica de exatidão em nível de objetos.
Input: O conjunto de vídeos do banco de dados em questão
{I1,v, · · · , INquadros(v),v}
Nvídeos
v=1 .
O conjunto de parâmetros da técnica de subtração de fundo, ParamsAlg. Um conjunto de limiares {τcasamento}.
Output: As métricas de exatidão {mEv}
Nvídeos
v=1 e mEdb calculadas para cada valor do
limiar τcasamento.
1 foreach τcasamento do /* para cada limiar */
2 NCDdb ←0 ; NF Adb ←0 ; NF Ddb ←0; 3 NUdb ←0 ; NSdb ←0 ; NSUdb ←0;
4 for v ← 1 to Nvídeos do /* para cada vídeo */
5 NCDv ←0 ; NF Av ←0 ; NF Dv ←0;
6 NUv ←0 ; NSv ←0 ; NSUv ←0;
7 for f ←1 to Nquadros(v) do /* para cada quadro do vídeo */
// extração dos retângulos detectados pelo algoritmo
8 R¯dt ← AlgDetecObj(If,v,ParamsAlg);
// extração dos retângulos do ground-truth
9 R¯gt ← ExtracGroundTruth(If,v);
// determinação do número de casamentos segundo seu tipo
10 {NCDf, NF Df, NF Af, NSf, NUf, NSUf} ←
CalNumCasamentos( ¯Rdt, ¯Rgt,τcasamento);
// medidas para todo um vídeo
11 NCDv ← NCDv+ NCDf ; NF Av ← NF Av + NF Af ; NF Dv ← NF Dv+ NF Df; 12 NUv ← NUv+ NUf ; NSv ← NSv+ NSf ; NSUv ← NSUv + NSUf;
// medidas para todo um banco de dados
13 NCDdb ← NCDdb+ NCDv ; NF Adb ← NF Adb+ NF Av ; NF Ddb ← NF Ddb+ NF Dv; 14 NUdb ← NUdb+ NUdb ; NSdb ← NSdb + NSdb ; NSUdb ← NSUdb + NSUdb;
// métrica de exatidão para cada vídeo
15 mEv(τcasamento) ← N NCDv
CDv+NF Dv+NF Av+NSv+NUv+NSU v;
// métrica de exatidão para o banco de dados
16 mEdb(τcasamento) ← N NCDdb
Figura 3.4: Curva mEv vs τcasamento para todos os vídeos do banco de dados PETS2004.
Figura 3.5: Curva dmEv
3.6
Resumo
Neste capítulo foram expostas as perspectivas na avaliação das técnicas de subtração de fundo. Considerando as diferentes vantagens que apresenta um procedimento de avaliação baseado em métricas orientadas a objetos, é proposto um procedimento que permite calcular a métrica de exatidão, seja para cada vídeo ou para todo o banco de dados. Esta métrica representa quão exata é uma técnica de subtração de fundo em encontrar os objetos em movimento ao longo dos quadros de um vídeo, considerando que tem-se o ground-truth do banco de dados a analisar. Nos próximos capítulos são avaliadas as diferentes técnicas de subtração de fundo estudadas neste trabalho, estabelecendo uma comparação do desempe- nho de cada uma delas.
Testes e Resultados
4.1
Introdução
Neste capítulo são apresentados os resultados experimentais obtidos para a avaliação das técnicas de subtração de fundo implementadas. Para testar tais técnicas, dois bancos de dados especializados são utilizados. O capítulo divide-se em seis seções. Nas cinco primei- ras, realiza-se uma exposição do ambiente de desenvolvimento utilizado na implementação computacional das técnicas descritas nos capítulos anteriores, uma descrição dos bancos de dados utilizados na avaliação, e a apresentação e discussão dos resultados obtidos. Final- mente, na última seção é apresentado um resumo do capítulo.