(1)MAC0499 - Trabalho de Formatura Supervisionado MAC0499 - Trabalho de Formatura Supervisionado
Professor: Carlos Eduardo Ferreira
Universidade de São Paulo – Instituto de Matemática e Estatística Universidade de São Paulo – Instituto de Matemática e Estatística
Anotador automático de placas de publicidade em vídeos esportivos
Aluno: Ricardo Augusto Fernandes – Orientador: Prof. Dr. Roberto Marcondes César Jr.
2011
2011
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
Introdução
Anotador automático de placas de
Introdução
Anotador automático de placas de
publicidade em vídeos esportivos
A anotação de placas de publicidade em vídeos esportivos
Normalmente feito de modo manual.
Objetivo estatístico voltado ao mercado publicitário
Introdução
Anotador automático de placas de
Introdução
Anotador automático de placas de
publicidade em vídeos esportivos
A anotação de placas de publicidade em vídeos esportivos
Normalmente feito de modo manual.
Objetivo estatístico voltado ao mercado publicitário
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
O estado da arte
Anotador automático de placas de
O estado da arte
Anotador automático de placas de
publicidade em vídeos esportivos
Principais problemas enfrentados Variação de escala
Variação de escala
Mudança de Perspectiva Oclusão
Oclusão
Imagem exemplo
O estado da arte
Anotador automático de placas de
O estado da arte
Anotador automático de placas de
publicidade em vídeos esportivos
Principais problemas enfrentados Variação de escala
Variação de escala
Mudança de Perspectiva Oclusão
Oclusão
Estratégias anteriores
Imagem exemplo
Estratégias anteriores
Descritores SIFT-like:
SIFT GLOH
Robustos em variações de escala, perspectiva e oclusão.
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado SURF
Método Implementado Resultados
SURF
Extração de Pontos de Interesse
Conclusões Descrição de Pontos de Interesse
Correspondência e Casamento
Correspondência e Casamento
SURF
Anotador automático de placas de
SURF
Anotador automático de placas de
publicidade em vídeos esportivos
Speeded-Up Robust Features Inspirado no algoritmo SIFT Inspirado no algoritmo SIFT
Descreve a imagem através de vizinhança de pontos específicos denominados Pontos de Interesse ou Descritores.
Robusto em relação aos problemas apresentados anteriormente
Robusto em relação aos problemas apresentados anteriormente
Implementado na biblioteca utilizada (OpenCV)
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado SURF
Método Implementado Resultados
SURF
Extração de Pontos de Interesse
Conclusões Descrição de Pontos de Interesse
Correspondência e Casamento
Correspondência e Casamento
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Os Pontos de Interesse ou Descritores, são definidos como pontos cujo Determinante de sua Hessiana são máximos locais
Determinante de sua Hessiana são máximos locais
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Pirâmides de Imagem Gaussianas são utilizadas para se atingir diferentes níveis de resolução
níveis de resolução
http://www.cs.toronto.edu/~jepson/csc320/notes/pyramids.pdf
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Pré-processamento: Cálculo da Integral da Imagem
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Objetivo: Diminuir o tempo de processamento
Imagem Pirâmide 1 Hessiana 1
Pirâmide 2 Hessiana 2 Determinantes Máximos Locais Pirâmide n Hessiana n
Máximos Locais
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Pré-processamento: Cálculo da Integral da Imagem Objetivo: Diminuir o tempo de processamento Objetivo: Diminuir o tempo de processamento
Filtro Hessiana Escala 1 Imagem Integral da
Imagem
Filtro Hessiana Escala 1
Determinantes Máximos Locais Filtro Hessiana Escala 2
Imagem Máximos Locais
Filtro Hessiana Escala n
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Como: Fazendo-se a convolução da Integral da Imagem com máscaras das Derivadas Segundas de uma Gaussiana de desvio-padrão δ
Derivadas Segundas de uma Gaussiana de desvio-padrão δ
Máscaras Discretizadas das Segundas Derivadas de uma Gaussiana
Máscaras Discretizadas das Segundas Derivadas de uma Gaussiana
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes
tamanhos crescentes
II
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Em vez de se calcular os vários níveis da pirâmide, aplica-se máscaras de tamanhos crescentes
tamanhos crescentes
II
Extração dos Pontos de Interesse
Anotador automático de placas de
Extração dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Que por sua vez são trocadas por um número constante de operações
Σ=A-B-C+D Σ=A-B-C+D
B
Σ
D B
C A
I
C A
Mapeados todos os candidatos a Pontos de Interesse, determina-se aqueles cujos determinantes sejam máximos locais.
I
cujos determinantes sejam máximos locais.
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado SURF
Método Implementado Resultados
SURF
Extração de Pontos de Interesse
Conclusões Descrição de Pontos de Interesse
Correspondência e Casamento
Correspondência e Casamento
Descrição dos Pontos de Interesse
Anotador automático de placas de
Descrição dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Orientação: Direção que acumular mais Pontos de Interesse vizinhos Subdivisão da vizinhança em 16 subregiões
Subdivisão da vizinhança em 16 subregiões
II
Descrição dos Pontos de Interesse
Anotador automático de placas de
Descrição dos Pontos de Interesse
Anotador automático de placas de
publicidade em vídeos esportivos
Cada subregião fornece quatro descritores, Dx, Dy, |Dx| e |Dy|
onde dx i e dy i são cada uma das derivadas calculadas à partir da convolução com as respectivas máscaras Haar Wavelets
convolução com as respectivas máscaras Haar Wavelets
II
Haar Wavelets
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado SURF
Método Implementado Resultados
SURF
Extração de Pontos de Interesse
Conclusões Descrição de Pontos de Interesse
Correspondência e Casamento
Correspondência e Casamento
Correspondência e Casamento
Anotador automático de placas de
Correspondência e Casamento
Anotador automático de placas de
publicidade em vídeos esportivos
Calcula-se os Descritores da placa (obj) procurada
Itera-se no vídeo, calculando-se os Descritores do quadro (img) Itera-se no vídeo, calculando-se os Descritores do quadro (img)
A Correspondência é dada a partir das Distâncias entre os Descritores do quadro e da placa
É considerado um Casamento entre dois vetores quando há a É considerado um Casamento entre dois vetores quando há a correspondência entre n vizinhos mais próximos
Baseado no número de casamentos, infere-se a presença da placa no quadro
quadro
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
Resultados
Anotador automático de placas de
Resultados
Anotador automático de placas de
publicidade em vídeos esportivos
Os resultados indicam robustez a oclusões, mudanças de persperctiva e pequenas variações de escala
pequenas variações de escala
Resultados
Anotador automático de placas de
Resultados
Anotador automático de placas de
publicidade em vídeos esportivos
Percebe-se que mesmo invertendo-se a placa há um grande número de casamentos
casamentos
Resultados
Anotador automático de placas de
Resultados
Anotador automático de placas de
publicidade em vídeos esportivos
Resultados ruins ocorrem quando a placa aparece à distância no quadro
Resultados
Anotador automático de placas de
Resultados
Anotador automático de placas de
publicidade em vídeos esportivos
O método também não é robusto à Inversões de Cores
Resultados
Anotador automático de placas de
Resultados
Anotador automático de placas de
publicidade em vídeos esportivos
Apenas as correspondências não são suficientemente robustas
Agenda
Anotador automático de placas de
Agenda
Anotador automático de placas de
publicidade em vídeos esportivos
Introdução
O estado da arte
Método Implementado Método Implementado Resultados
Conclusões
Conclusões
Anotador automático de placas de
Conclusões
Anotador automático de placas de
publicidade em vídeos esportivos
O método parece ser suficientemente robusto para se construir um anotador direcionado ao mercado de marketing digital
direcionado ao mercado de marketing digital
O aumento da qualidade da imagem e do vídeo devem colaborar no aumento do número de Descritores extraídos, principalmente em quadros de longa
distância distância
Métodos de Aprendizagem de Máquina utilizados nos trabalhos da estudados parecem ter sucesso na redução de falsos positivos
Apesar do algoritmo se propor a ser muito mais veloz do que seu inspirador
Apesar do algoritmo se propor a ser muito mais veloz do que seu inspirador
SIFT, não parece ainda adequado à aplicações em tempo real.
Referências Bibliográficas
Anotador automático de placas de
Referências Bibliográficas
Anotador automático de placas de
publicidade em vídeos esportivos
[1] Bagdanov,A. D., Ballan, L., Bertini, M., and Del Bimbo, A., Trademark matching and retrieval in sports video databases, in Proc. of MIR, Augsburg, Germany, 2007 [2] Ballan, L., Bertini, M., Del Bimbo, A., Jain, A., Automatic trademark detection [2] Ballan, L., Bertini, M., Del Bimbo, A., Jain, A., Automatic trademark detection and recognition in sport videos, in Multimedia and Expo, 2008 IEEE International Conference on.
[3] Watve, A., Sural, S., Soccer Video Processing for the detection of ad- vertisement [3] Watve, A., Sural, S., Soccer Video Processing for the detection of ad- vertisement billboards, in Pattern Recognition Letters archive,Volume 29 , Issue 7 (May 2008)
Elsevier
[4] Ishimura, N., Recognizing Multiple Billboard Advertisements in Videos [4] Ishimura, N., Recognizing Multiple Billboard Advertisements in Videos
[5] Lowe, D., Distinctive Image Features from Scale-Invariant Keypoints, (January, 2004) [6] Mikolajczyk, K., Schmid, C., A performance evaluation of local descriptors
[7] Bay, H., Ess,a. , Tuytelaars, T., Speeded-Up Robust Features (SURF) [7] Bay, H., Ess,a. , Tuytelaars, T., Speeded-Up Robust Features (SURF)
[8] Bradsky, G., Kaehler,A., Learning OpenCV, O'Reilly, 2008, First Edition [9] OpenCV, http://opencv.willowgarage.com/documentation/index.html
http://www.linux.ime.usp.br/~raf
