Projetivo para Cálculo de Dimensões de Caixas em Tempo Real

(1)

Um M

é

todo Projetivo para

C

á

lculo de Dimensões de Caixas

em Tempo Real

Leandro A. F. Fernandes

laffernandes@inf.ufrgs.br

Manuel M. Oliveira

oliveira@inf.ufrgs.br (orientador)

(2)

Medi

ç

_ç

ões a Partir de Imagens

_{ões a Partir de Imagens}

1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 0 1 2 3 0 1 2 3 0

(3)

Caixas Estão em Toda Parte

Companhias A

Companhias Aééreasreas

Armaz

(4)

Desafios da Pesquisa

•

• MMéétodo para calcular de dimensões de caixastodo para calcular de dimensões de caixas

•

• RequisitosRequisitos –

– AutomAutomááticotico –

– Tempo realTempo real –

– MediMediçções a partir de ões a partir de uma uma úúnica imagemnica imagem –

(5)

(6)

Contribui

ç

_ç

ões

_ões

•

• Algoritmo para o Algoritmo para o ccáálculo das dimensõeslculo das dimensões de caixasde caixas –

– A partir de imagens, automA partir de imagens, automáático e em tempo realtico e em tempo real

•

• Algoritmo para Algoritmo para extraextraçção de silhuetasão de silhuetas de caixasde caixas –

– Que trata a oclusão parcial das caixasQue trata a oclusão parcial das caixas

•

• Modelo estatModelo estatíístico para stico para detecdetecçção do fundo da cenaão do fundo da cena –

(7)

Estrutura da Apresenta

ç

_ç

ão

_ão

•

• Abordagem DesenvolvidaAbordagem Desenvolvida –

– TTéécnica Propostacnica Proposta –

– RemoRemoçção do Fundoão do Fundo –

– Transformada de HoughTransformada de Hough •

• ResultadosResultados •

• ConclusõesConclusões •

• Trabalhos FuturosTrabalhos Futuros

2

2aa _parte_parte

1

(8)

•

• Como calcular as dimensões de caixasComo calcular as dimensões de caixas

Abordagem Desenvolvida

d E F G H W X Y Z Caixa Caixa Câmera Câmera Pinhole Pinhole d’ e’ f’ g’ h’ x y z

(9)

Inserindo uma Distância Conhecida

Z Normal da Face Câmera Feixes de Laser X α α d_ld d_lb Caixa L N_L Vista Superior Vista Superior Marcações Laser P₁ P₀ 3D

(10)

•

• MarcaMarcaçções laser na imagemões laser na imagem

Encontrando as Marca

ç

_ç

ões Laser

_{ões Laser}

P₁

P₀ P1

(11)

Identificando a Silhueta da Caixa

•

• Objetos sobrepostos e texturas arbitrObjetos sobrepostos e texturas arbitrááriasrias

(12)

Marcações S e n ti d o d o C o n to rn o

Identificando a Silhueta da Caixa

•

(13)

Identificando a Silhueta da Caixa

•

• Subdivisão do contorno Subdivisão do contorno [Lowe, 1987][Lowe, 1987]

Segmentos de reta mais percept

Segmentos de reta mais perceptííveisveis

a l k j o n m p e q d g b c f r i h

(14)

•

• Removendo os segmentos nos limites da imagemRemovendo os segmentos nos limites da imagem

Identificando a Silhueta da Caixa

a l k j o n m p e q d b c f r

(15)

Identificando a Silhueta da Caixa

o p e q d c •

(16)

Identificando a Silhueta da Caixa

•

• Agrupando segmentos candidatos para a silhuetaAgrupando segmentos candidatos para a silhueta

B

(17)

Encontrando os V

é

_é

rtices na Silhueta

_{rtices na Silhueta}

•

• Linhas suporte para arestas na silhuetaLinhas suporte para arestas na silhueta

e₀ e₁ e₂ e₃ e₄ e₅

(18)

Encontrando os V

é

_é

rtices na Silhueta

_{rtices na Silhueta}

•

• VVéértices na silhuetartices na silhueta

v₁ v₂ v₃ v₄ v₅ v₀ e₀ e₂ e₃ e₄ e₅

(19)

Estimando o V

é

_é

rtice Interno

_{rtice Interno}

•

• VVéértice internortice interno

Ponto de Fuga e₀ e₁ e₂ e₃ e₄ e₅ v₁ v₂ v₃ v₄ v₅ m₀ v0 _{Vértice Próximo} ao Ponto de Fuga

(20)

Linha de Fuga

Linhas e Pontos de Fuga

ω 1

λ₁

(21)

Estimando o V

é

_é

rtice Interno

_{rtice Interno}

•

• VVéértice internortice interno

e₀ e₁ e₂ e₃ e₄ e₅ v₁ v₂ v₃ v₄ v₅ m₀ v0

(22)

Estrutura da Apresenta

ç

_ç

ão

_ão

•

• Abordagem DesenvolvidaAbordagem Desenvolvida

– Técnica Proposta

–

– RemoRemoçção do Fundoão do Fundo

– Transformada de Hough

• Resultados • Conclusões

(23)

Remo

ç

_ç

ão do Fundo

_{ão do Fundo}

Color

Color MattingMatting [Smith &

[Smith & BlinnBlinn 1996]1996] ACM SIGGRAPH ACM SIGGRAPH

Modelo por Pixel

[

[HorprasertHorprasert et al. 1999]et al. 1999] IEEE ICCV

IEEE ICCV Modelo de

Modelo de

Segmenta

Segmentaçção ão Proposto

(24)

Estrutura da Apresenta

ç

_ç

ão

_ão

•

• Abordagem DesenvolvidaAbordagem Desenvolvida

– Técnica Proposta – Remoção do Fundo

–

– Transformada de HoughTransformada de Hough

• Resultados • Conclusões

(25)

ρ θ θ) + sin( ) = cos( y x •

• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas •

• EquaEquaçção normalão normal da retada reta

e₀ e₁ e₂ e₃ e₄ e₅

Transformada de Hough

[Duda & Hart, 1972]

Comm. of the ACM

740

(26)

ρ θ θ) + sin( ) = cos( y x •

• Explora Explora dualidade entre pontos e linhasdualidade entre pontos e linhas •

• EquaEquaçção normalão normal da retada reta

Transformada de Hough

x y ρ θ r’ p q s’ p’ _q’

[Duda & Hart, 1972]

Comm. of the ACM

740

(27)

Mapa de Votos

Espa

Espaçço da Imagemo da Imagem EspaEspaçço de Parâmetroso de Parâmetros

Transformada de Hough Convencional

[Duda & Hart, 1972] [Duda & Hart, 1972]

(28)

Transformada de Hough Convencional

[Duda & Hart, 1972] [Duda & Hart, 1972]

M

é

_é

todo de Vota

_{todo de Vota}

ç

_ç

ão Eficiente

_{ão Eficiente}

M

Méétodo Propostotodo Proposto

E G D H F B A C +E G D H F B A +C

(29)

Outras Imagens

1 2 8 0 × 9 6 0 9 6 0 × 9 6 0 5 1 2 × 5 1 2 1 2 8 0 × 9 6 0 9 6 0 × 9 6 0 5 1 2 × 5 1 2 1 6 0 0 × 1 2 0 0 9 6 0 × 9 6 0 5 1 2 × 5 1 2 1 2 8 0 × 9 6 0 9 6 0 × 9 6 0 5 1 2 × 5 1 2 7 6 8 × 1 0 2 4 7 6 8 × 7 6 8 5 1 2 × 5 1 2 1 0 2 4 × 7 6 8 7 6 8 × 7 6 8 5 1 2 × 5 1 2 8 6 9 × 1 1 6 7 8 0 0 × 8 0 0 5 1 2 × 5 1 2 0 50 100 150 200 250 300 350 Beach Building Church Board Wall Chess Road Vote Peaks Link Subdivide Kernel Vote Peaks GHT KHT T im e ( m s ) 33

(30)

Estrutura da Apresenta

ç

_ç

ão

_ão

• Abordagem Desenvolvida – Técnica Proposta – Remoção do Fundo – Transformada de Hough • • ResultadosResultados • • ConclusõesConclusões •

(31)

Resultados

•

• Foi construFoi construíído o do o protprotóótipo de um scannertipo de um scanner –

– Uma câmera firewire coloridaUma câmera firewire colorida

–

– Dois apontadores laser paralelosDois apontadores laser paralelos

–

– Um mUm móódulo de softwaredulo de software

•

• ~39 ~39 fpsfps em um computador de 2.8 GHz, em um computador de 2.8 GHz, imagens com resolu

(32)

Valida

ç

_ç

ão do Prot

_{ão do Prot}

ó

_ó

tipo

_tipo

Caixa de Madeira

An

Anáálise Estatlise Estatíísticastica •

• Comprimento MComprimento Méédiodio

•

• Intervalo de ConfianIntervalo de Confianççaa

•

(33)

γ = 99,5%

t_γ = 3,038 n = 30

0,40 ≤ σ ≤ 4,31

An

á

_á

lise Estat

_{lise Estat}

í

_í

stica

_stica

•

• Intervalo de confianIntervalo de confiançça para caixas reaisa para caixas reais

a a a b b b c c c a b c d d d e e e d e

(34)

An

á

_á

lise Estat

_{lise Estat}

í

_í

stica

_stica

•

• Erro relativo para caixas reaisErro relativo para caixas reais x → Valor estimado

x_v _→ Valor verdadeiro

M

Méédia dos Erros Relativosdia dos Erros Relativos 3,81%

3,81%

Caixas Deformadas

(35)

Propaga

ç

_ç

ão da Incerteza

_{ão da Incerteza}

•

• Incerteza nas variIncerteza nas variááveis de entrada propagam para resultadosveis de entrada propagam para resultados

Medi

Mediççõesões + + Incerteza Incerteza Dados Dados Incerteza Incerteza Dados Dados Incerteza Incerteza + + Transformações Transformações

(36)

Propaga

ç

_ç

ão da Incerteza

_{ão da Incerteza}

•

• Incerteza com base em Incerteza com base em uma uma úúnica imagemnica imagem •

• Evita amostragemEvita amostragem •

(37)

•

• Aumento dos erros em funAumento dos erros em funçção da distânciaão da distância

Condi

ç

_ç

ões Desfavor

_{ões Desfavor}

á

_á

veis

_veis

± ± 1,321,32 ±±1,611,61 ± ± 1,291,29 ±±1,331,33 ± ± 1,321,32 ±±1,581,58 ± ± 1,361,36 ±±1,661,66 ± ± 1,261,26 ±±1,341,34 ± ± 1,211,21 ±±1,381,38 Distância: ~ 1,8 metros

(38)

•

• Aumento dos erros em funAumento dos erros em funçção da inclinaão da inclinaçção das arestasão das arestas

Condi

ç

_ç

ões Desfavor

_{ões Desfavor}

á

_á

veis

_veis

Vista Superior Vista Superior

Caixa Ca

(39)

Conclusões

•

• OtimizaOtimizaççãoão dos procedimentos de medidos procedimentos de mediççãoão •

• VantagensVantagens –

– Scanner de Scanner de ffáácil utilizacil utilizaççãoão

–

– MMéétodo todo automautomááticotico e em e em tempo realtempo real

–

– MMéétodo todo acuradoacurado ee precisopreciso

–

– Cenas complexasCenas complexas são tratadassão tratadas •

• RestriRestriççãoão –

(40)

Publica

ç

_ç

ões

_ões

•

• SIBGRAPISIBGRAPI’’20052005 •

• JBCS 12:2, SBC, 2006JBCS 12:2, SBC, 2006 •

• ACM SIGGRAPHACM SIGGRAPH’’2006 (Sketch)2006 (Sketch) • • CTDCTD’’20072007 • • PR 41:1, PR 41:1, ElsevierElsevier, 2008, 2008 • • WTD SIBGRAPIWTD SIBGRAPI’’20072007

(41)

Trabalhos Futuros

•

• Transformada de Hough otimizada para Transformada de Hough otimizada para detecdetecçção de curvasão de curvas •

(42)