Refinamento de Reconstrução 3D através de Seleção Apropriada de Keyframes
Andréa Santos
1, Márcio Bueno
1, André Ferreira
1, Judith Kelner
1, Iony Siqueira
2 1GRVM – Cin – UFPE – Recife-PE2CHESF – Recife-PE
e-mail: [email protected], {masb, jk}@gprt.ufpe.br, [email protected] Abstract— This paper introduces a measure of
pre-processing that aims to achieve a set of images (keyframes), carefully selected, initially captured from a real-world camera, to be later used in the reconstruction of 3D models. More precisely, it is a technique that evaluates the quality of the captured frames, allowing that blurring as Motion Blur could be identified before the 3D modeling processes starts, and those which have the best sharpness levels will be used as representatives of the sequence images. So, using this simple and effective metric the computational cost in the 3D reconstruction can be reduced. It is important to consider that this metric is robust enough to identify in a particular sequence of images, different scenarios, i.e., apply new standards to calculate the presence or absence of Motion Blur according to the level of contrast of each scenario. The results will be compared to other metrics and will be applied in the reconstruction of 3D models for better visual analysis of the final result.
Keywords- Motion Blur; keyframes; 3D reconsrtuction Resumo— Este trabalho introduz uma métrica de pré-processamento destinada a obter um conjunto de imagens (keyframes), criteriosamente selecionadas, inicialmente capturadas do mundo real por uma câmera, para posteriormente serem utilizadas na reconstrução de modelos 3D. Mais precisamente, é uma técnica que avalia a qualidade dos frames (imagens) capturados, permitindo que borramentos, como Motion Blur, sejam identificados antes que os processos de modelagem 3D iniciem e os frames que obtiverem os melhores níveis de nitidez sejam utilizados como representantes da sequência de imagens. Deste modo, usando essa métrica simplificada e eficaz o custo computacional na reconstrução 3D pode ser reduzido. Os resultados serão comparados a outras métricas e serão aplicados na reconstrução de modelos 3D permitir uma análise visual do resultado final.
Palavras-chave- Motion Blur; keyframes; reconstrução 3D
I. INTRODUÇÃO
Nos últimos anos a computação gráfica tem alcançado grandes progressos na reconstrução de modelos 3D (tridimensional)[1][2][3]. O amadurecimento de técnicas e o fato do enfoque das aplicações estarem voltados para realidade virtual e internet tem provocado uma demanda importante por modelos mais complexos, realistas e também com maior qualidade visual[4].
As técnicas utilizadas para permitir a reconstrução de imagens 3D, envolvem a análise das imagens capturadas do mundo real por câmeras e o processamento das informações obtidas, selecionando dados relevantes que tornem viável a criação realista dos cenários de interesse.
A seleção de dados relevantes é o foco do artigo e será descrito ao longo das seções. Na seção II é feita a contextualização da proposta, na III estão apresentados os trabalhos relacionados, a metodologia utilizada está descrita na seção IV, as métricas estudadas e os resultados obtidos estão respectivamente nas seções V e VI. Por fim, as dificuldades encontradas foram relatadas na seção VII e a conclusão e os trabalhos futuros na seção VIII.
II. CONTEXTUALIZAÇÃO
De forma geral, a reconstrução 3D é obtida a partir de uma sequência de imagens 2D geradas por um vídeo do cenário em estudo, utilizando o mesmo conceito adotado pelo olho humano para dar profundidade ao ambiente [5]. Dentre as várias técnicas para realizar a reconstrução 3D, destaca-se a Structure from Motion (SfM) [6][3], que utiliza a geometria epipolar para relacionar as várias imagens capturadas e obter assim tanto as poses das câmeras, quanto uma nuvem de pontos 3D esparsa da cena.
As etapas do pipeline para reconstrução 3D utilizado neste trabalho são:
• Aquisição de imagens da cena a partir de uma câmera de vídeo;
• Extração de features, fase em que pontos de referência, baseado em critérios como ter um contraste maior que seus vizinhos, são extraídos e passam a ter a denominação de feature, [3];
• Rastreamento de features, momento em que se rastreia as features detectadas nos frames subsequentes;
• Determinação da matriz essencial através da utilização das correspondências entre as features de duas imagens utilizando o algoritmo normalized 8-point [3];
• Recuperação da pose relativa entre as câmeras que capturaram estas duas imagens a partir da matriz essencial;
• Recuperação dos pontos 3D da cena através da triangulação utilizando as features 2D e as poses das câmeras destas duas imagens. Este processo utilizado caracteriza a reconstrução esparsa, e como apenas os pontos 3D originados de features foram recuperados, a nuvem de pontos gerada não é densa.
Um passo importantíssimo para que a reconstrução, seja ela esparsa ou densa, é a realização da escolha de alguns frames para utilizar o algoritmo normalized 8-point. É necessário que as câmeras que capturaram estes
frames possuam uma distância mínima entre elas, senão não é possível estimar corretamente a geometria epipolar, também é necessário que elas não estejam muito distantes, senão não haverá muitas features correspondentes entre estas imagens, e assim a qualidade da reconstrução obtida será baixa.
A técnica de seleção desenvolvida nesta pesquisa é baseada no conceito de Motion Blur. Sendo Motion Blur um borramento na imagem, ocasionado pelo movimento da câmera ou desajuste no foco, e que prejudica o processo de triangularização por dificultar o rastreamento de features, pois os pixels da imagem passam a ter cores similares ao longo de toda a imagem. Um dos objetivos desta técnica é buscar um conjunto de keyframes dentre as imagens que possuam o menor percentual de borramento, ou seja, as que tenham a maior preservação dos contrastes. Além desse critério, assim como dito anteriormente, é importante ressaltar que distância mínima entre keyframes também é um fator decisivo em sua seleção. No caso foi determinado um intervalo de no mínimo 8 frames, a fim de evitar a escolha de imagens muito próximas.
III. TRABALHOS RELACIONADOS
Várias métricas que abordam a seleção automatizada de keyframes foram propostas. Alguns trabalhos propõem simplesmente a escolha dos keyframes a cada n frames [6], e o valor de n poderá ser encontrado empiricamente. Outras métricas utilizam fatores como números de pontos relevantes na imagem, o erro de homografia e números de correspondências de pontos de uma determinada imagem ao longo do vídeo[7][8] ou baseiam-se no Geometric Robust Information Criterion (GRIC), o qual está relacionado ao conceito de geometria epipolar [9] [10]. Existe ainda as métricas que se baseiam no nível de MotionbBlur da imagem [11] [12] [13], e esta foi a escolhida como métrica base do trabalho.
IV. METODOLOGIA UTILIZADA
Inicialmente foi feito um levantamento de artigos relacionados direto e indiretamente ao assunto em foco - seleção de keyframes. Em seguida, foram capturados vídeos, a partir de diversos cenários, por uma câmera digital de alta resolução (full HD) para serem utilizados no processo de reconstrução de um modelo 3D. Neste trabalho, utilizou-se um dos vídeos full HD capturados, assim como uma sequência disponível no livro do Yi Ma [14]. Ressalta-se que todos os quadros capturados foram utilizados para realizar a reconstrução 3D, porém apenas alguns quadros (keyframes) serão considerados mais importantes para o processo.
Os keyframes, obtidos através de métricas de seleção, são utilizados para realizar a reconstrução inicial e também para realizar os refinamentos locais, que torna o refinamento global mais rápido e gera um modelo 3D reconstruído mais preciso.
Em seguida à revisão de métricas para seleção de keyframes, uma métrica proposta por John Fulton[13], foi escolhida para ser implementada. Tal métrica é dada por (1) e baseia-se no domínio da frequência da imagem (N×M), representado pelo Power Spectrum (PS) calculado
em (2), onde F é a transformada de Fourier bidimensional da imagem.
PS(x, y) = log(1 + |F(x, y)|2)/log(1 + |F(0, 0)|2)
Entretanto, ao longo da implementação e análise dessa métrica foi percebido que esta necessitava de um limiar (α), o qual precisava ser calculado e recalculado ao longo da sequência de imagens, gerando um alto custo computacional e uma instabilidade nos resultados. Diante desses fatores foi feita, então, a análise e implementação de outra métrica também proposta pelo mesmo autor[13], apresentada em (3),
Como resultado, a MeanBlurMetric retorna a média de borramento de uma imagem. E por assumir sempre valores negativos, os maiores valores são atribuídos as imagens mais borradas, ou com nível de diferenciação de frequência menor.
Obtendo-se os valores referentes ao nível de borramento da imagem pode-se fazer uma análise automática, por exemplo, de quais imagens possuem um melhor nível de nitidez (menores valores), para serem selecionados como keyframes. Nota-se que além de utilizar o resultado da média de borramento, é considerado uma distância mínima de 8 frames, valor obtido empiricamente, para garantir que os keyframes não sejam tão semelhantes e que de fato contribuam para a reconstrução.
V. RESULTADOS OBTIDOS
A métrica descrita ao longo do artigo foi aplicada em duas sequências de imagens, Invitation e Stones, seus resultados serão ilustrados a seguir.
A. Invitation
A primeira sequência de imagem apresentada é composta por 209 frames. Ao submeter a métrica do cálculo do MeanBlur os keyframes encontrados foram:
• Keyframe 5: -0.000244294 • Keyframe 20: -0.000241236 • Keyframe 72: -0.000242253 • Keyframe 112: -0.00022486
Com o objetivo de evidenciar o comportamento de imagens borradas na métrica, a imagem três foi borrada, através de um deslocamento de 3 pixels à esquerda ilustrado na Figura 1 e foi feita sua substituição da respectiva imagem na sequência original.
Ao observar as imagens da Figura 1, é difícil observar uma diferença significativa entre elas. Entretanto, ao aplicar a métrica e comparar com as outras imagens essa variação é percebida, como pode ser vista na Figura 2.
Na Figura 2 estão plotados os 50 primeiros frames da sequência e os 2 primeiros keyframes encontrados. Para análise da Figura 2 é importante ressaltar que ao aplicar a métrica os picos no gráfico são definidos pelas imagens (1)
(3) (2)
Figura 2. Resultado métrica MeanBlur na sequência do
sendo o ponto "a" a imagem três borrada, (b) ponto "b" primeiro
com maior valor de borramento, os vales, consequentemente, são as imagens com o melhor nível de nitidez, ou seja, os possíveis keyframes.
Figura 1. Imagens referentes à sequência Invitation.
sequência. (b) Imagem três da sequência com o deslocamento de 3 pixels à esquerda.
A sequência de imagem em estudo foi utilizada no processo de reconstrução descrito em [15
métricas distintas de seleção de keyframes artigo [13], GRIC [9][10] e N_frames (8 em 8)
resultados das reconstruções foram utilizados para a comparação das diversas técnicas e são mostrados na Figuras 3 e 4.
Como resposta a essa comparação foi possível observar que a métrica MeanBlur e o GRIC apresentaram melhores resultados. Na Figura 3, por exemplo, através do processo de N_frames não foi possível definir o caminho de câmera.
Na Figura 4 pode-se observar que apesar de gerar nuvem de pontos 3D, a utilização dos
através da métrica N_frame produzem um modelo distante do real. O MeanBlur apresentou uma reconstrução mais
a sequência do Invitation. (a) Gráfico valores MeanBlur ao longo dos 50 primeiros borrada, (b) ponto "b" primeiro keyframe selecionado, (c) ponto "c" segundo
selecionado.
borramento, os vales, consequentemente, são as imagens com o melhor nível de
Invitation. (a) Imagem três da o deslocamento de 3 pixels
A sequência de imagem em estudo foi utilizada no de reconstrução descrito em [15], aplicando três keyframes: a proposta pelo (8 em 8) [6]. Os resultados das reconstruções foram utilizados para a comparação das diversas técnicas e são mostrados nas a comparação foi possível observar e o GRIC apresentaram melhores , por exemplo, através do processo não foi possível definir o caminho de câmera. se observar que apesar de gerar uma os keyframes obtidos produzem um modelo distante uma reconstrução mais
precisa e com um maior número de
reconstruiu as duas paredes maiores com um ângulo mais próximo ao ângulo de 90º.
Figura 3. Caminho da câmera da nuvem de pontos da sequência Invitation. (a) Seleção keyframe através do
keyframe através do GRIC.(c) Sele frames (8 em
B. Stones
A segunda sequência de imagem utilizada como referência é composta por 100
métrica do cálculo do MeanBlur foram:
• Keyframe 21: -0.00016279 • Keyframe 52: -0.000168143 • Keyframe 66: -0.000170722
(a) Gráfico valores MeanBlur ao longo dos 50 primeiros frames, selecionado, (c) ponto "c" segundo keyframe
com um maior número de outliers. O GRIC reconstruiu as duas paredes maiores com um ângulo mais
Figura 3. Caminho da câmera da nuvem de pontos da sequência através do MeanBlur. (b) Seleção através do GRIC.(c) Seleção keyframe a cada N
em 8).
A segunda sequência de imagem utilizada como referência é composta por 100 frames. Ao submeter a MeanBlur os keyframes encontrados
0.00016279 0.000168143 0.000170722
• Keyframe 80: -0.000171802 • Keyframe 99: -0.000175435
Figura 4. Visão Superior da nuvem de pontos 3D da sequência Invitation. (a) Seleção keyframe através do MeanBlur. (b) Seleção
keyframe através do GRIC.(c) Seleção keyframe a cada frames (8 em 8).
A amostra do cálculo da métrica primeiros 50 frames está plotado no gráfico assim como o primeiro keyframe encontrado.
Ao submeter a sequência Stones reconstrução, assim como a Invitation mesmas métricas de seleção de keyframes os resultados descritos nas Figuras 5 e 6.
Figura 5. Caminho da câmera sequência Stones através do MeanBlur. (b) Seleção keyframe através do GRIC
keyframe através do N_frames (8 em 8).
Na Figura 5, assim como na compar sequência do Invitation, utilizando N_frames
possível definir o caminho da câmera, enquanto que as outras métricas obtiveram resultados semelhantes. Na Figura 6, considerando a nuvem de pontos
lateral, o N_frames gera um modelo mais próximo do real, apesar de apresentar uma qualidade inferior quando comparado às outras duas métricas, as quais apresentaram resultados bem similares.
VI. DIFICULDADES ENCONTRADAS
Depois da análise de métricas p
keyframes, uma delas foi escolhida para ser utilizada 0171802
0.000175435
da nuvem de pontos 3D da sequência MeanBlur. (b) Seleção .(c) Seleção keyframe a cada N
amostra do cálculo da métrica MeanBlur nos lotado no gráfico da Figura 7,
encontrado.
Stones ao processo de Invitation, utilizando as keyframes, foram obtidos
.
Stones. (a) Seleção keyframe MeanBlur. (b) Seleção keyframe através do GRIC.(c) Seleção
(8 em 8).
, assim como na comparação feita na N_frames não foi , enquanto que as outras métricas obtiveram resultados semelhantes. Na considerando a nuvem de pontos da visão gera um modelo mais próximo do real, apesar de apresentar uma qualidade inferior quando s quais apresentaram
NCONTRADAS
Depois da análise de métricas para extração de , uma delas foi escolhida para ser utilizada
como base da implementação, tal métrica, entretanto, também proposta por John Fulton[10], necessitava de parâmetros que eram atualizados ao longo da sequência, tornando o processo muito custoso e instável. Apenas depois de vários testes e alinhamento proposto pelo próprio autor da técnica, conclui
seria a ideal e a pesquisa propôs utilizada atualmente nesse projeto.
Outra dificuldade foi a obtenção de bibliotecas p suporte à implementação otimizada, como bibliotecas para transformada de Fourier em imagens bidimensionais.
Figura 6. Visão Lateral da nuvem de pontos 3D da sequência (a) Seleção keyframe através do MeanBlur. (b) Seleção keyframe através do GRIC.(c) Seleção keyframe através do
VII. CONCLUSÃO E TRABALHOS
A métrica foi implementada com sucesso e se mostrou eficiente no propósito de escolhas de
análise dos resultados
percebe-podem ser obtidos se houver a associação da métrica MeanBlur ao GRIC, levando a
melhores para reconstrução. Outro ponto interessante é que podem ser feitas outras aplicações diant
obtidos. Por exemplo, podem ser retiradas
imagens para verificar se o resultado final da reconstrução será melhor.
AGRADECIMENTOS
Os autores gostariam de agradecer a todos que de alguma forma contribuíram para este trabalho, sobretud ao PIBIC/UFPE/CNPq, FACEPE e CHESF pelo financiamento da pesquisa.
REFERÊNCIAS
[1] POLLEFEYS, M.; VAN GOOL, L.; VERGAUWEN, M.; VERBIEST, F; CORNELIS, K.; TOPS, J.; KOCH, R. modeling with a hand-held camera
Computer Vision 59(3), 207-232, 2004. [2] FORSYTH, D.A; PONCE, J.
Approach, Prentice Hall, 2003.
[3] HARTLEY, R.; ZISSERMAN, A. Multiple View Geometry in Computer Vision, Cambridge University Press, 2003.
como base da implementação, tal métrica, entretanto, também proposta por John Fulton[10], necessitava de parâmetros que eram atualizados ao longo da sequência, custoso e instável. Apenas depois de vários testes e alinhamento proposto pelo próprio autor da técnica, conclui-se que essa métrica não a pesquisa propôs outra métrica, que é utilizada atualmente nesse projeto.
a obtenção de bibliotecas para dar otimizada, como bibliotecas para transformada de Fourier em imagens bidimensionais.
Figura 6. Visão Lateral da nuvem de pontos 3D da sequência Stones. MeanBlur. (b) Seleção keyframe através através do N_frames (8 em 8).
RABALHOS FUTUROS
A métrica foi implementada com sucesso e se mostrou eficiente no propósito de escolhas de keyframes. Diante da -se que melhores resultados se houver a associação da métrica ao GRIC, levando a seleção de imagens ainda . Outro ponto interessante é que podem ser feitas outras aplicações diante dos resultados podem ser retiradas as piores resultado final da reconstrução
GRADECIMENTOS
Os autores gostariam de agradecer a todos que de alguma forma contribuíram para este trabalho, sobretudo , FACEPE e CHESF pelo
EFERÊNCIAS
POLLEFEYS, M.; VAN GOOL, L.; VERGAUWEN, M.; VERBIEST, F; CORNELIS, K.; TOPS, J.; KOCH, R. Visual held camera, International Journal of
232, 2004.
FORSYTH, D.A; PONCE, J. Computer Vision: A Modern HARTLEY, R.; ZISSERMAN, A. Multiple View Geometry in Computer Vision, Cambridge University Press, 2003.
Figura 7. Resultado métrica MeanBlur n
[4] SNAYELY, N.; SEITZ, S. M.; SZELISKI, R.
Exploring photo collections in 3D. In: SIGGRAPH ´06: ACM SIGGRAPH 2006 Papers, Nova Iorque, 2006. p. 835
[5] ARCHANJO, M. Reconstrução Tridimensional de Baixo Custo a partir de par de Imagens Estéreo. São Paulo, 2008.
[6] POLLEFEYS, M. Self-Calibration and Metric 3D Reconstruction from Uncalibrated Image Sequences, Katholieke Universiteit Leuven, Heverlee, 1999.
[7] SEO, J. K.; HWANG, Y. H.; HONG, H. K. 3D Estimation and Keyframe Selection for Match Move. International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 2003.
[8] THORMÄHLEN, T.; BROSZIO, H.; WEISSENFELD, Keyframe Selection for Camera Motion and Structure Estimation from Multiple Views.
[9] POLLEFEYS, M.; GOOL, L. V.; VERGAUWEN, M.; CORNELIS, K.; VERBIEST, F.; TOPS, J.
Proceedings of Photogrammetric Computer Vi
Commission III Symposium), International Archive of Photogrammetry and Remote Sensing. Volume 34, 2002. p. 258.
MeanBlur na sequência do Stones. (a) Gráfico valores MeanBlur ao longo dos 50 primeiros
(b) ponto "a" primeiro keyframe selecionado.
SNAYELY, N.; SEITZ, S. M.; SZELISKI, R. Photo Tourism: . In: SIGGRAPH ´06: ACM SIGGRAPH 2006 Papers, Nova Iorque, 2006. p. 835-846 ARCHANJO, M. Reconstrução Tridimensional de Baixo Custo a partir de par de Imagens Estéreo. São Paulo, 2008.
Calibration and Metric 3D Reconstruction Katholieke Universiteit SEO, J. K.; HWANG, Y. H.; HONG, H. K. 3D Estimation and Keyframe Selection for Match Move. International Technical Conference on Circuits/Systems, Computers and Communications T.; BROSZIO, H.; WEISSENFELD, A. Keyframe Selection for Camera Motion and Structure Estimation POLLEFEYS, M.; GOOL, L. V.; VERGAUWEN, M.; CORNELIS, K.; VERBIEST, F.; TOPS, J. Video-to-3d. In: Proceedings of Photogrammetric Computer Vision (ISPRS Commission III Symposium), International Archive of lume 34, 2002. p. 252–
[10] TORR, P.; FITZGIBBON, A.; ZISSERMAN, A.
degeneracy in structureand motion recovery from uncalibrated images. International Journal of Computer Vision
44.
[11] WOLF, W. Key Frame selection by Motion Analysis IEEE ICASSP, 1996. P. 1228-1231.
[12] Xu, Q.; WANG, P.; LONG, B.; SBERT, M.; FEIXAS, M.; SCOPIGNO, R. Selection and 3D visualization of video k frames. In: Systems Man and Cybernetics (SMC), IEEE International Conference, Istanbul, 2010. p. 52
[13] FULTON, J. R. Sensor Orientation in Image Sequence Analysis, 2007. 299f. Department of Geomatics, The University of Melbourne, Austrália.
[14] Yi Ma, S. Shankar Sastry, Jana Kosecka, Stefano Soatto, Jana Kosecka. An Invitation to 3-D Vision: From Images to Geometric Models. Interdisciplinary Applied Mathematics Series, #26. Springer-Verlag New York, LLC, 2003.
[15] Neto. S.; Bueno. M.; Farias. T., Lima. P.; Teichrieb, V.; Kelner. J.; SANTOS, I. Exeperiences on the Implementation of a 3D Reconstruction Pipeline. Internationnal journal of modeling and
simulation for the petroleum industry, 2008.
(a) Gráfico valores MeanBlur ao longo dos 50 primeiros frames, sendo
TORR, P.; FITZGIBBON, A.; ZISSERMAN, A. The problem of degeneracy in structureand motion recovery from uncalibrated ternational Journal of Computer Vision 32, 1999. P. 27–
Key Frame selection by Motion Analysis. In: Proc. 1231.
Xu, Q.; WANG, P.; LONG, B.; SBERT, M.; FEIXAS, M.; Selection and 3D visualization of video key In: Systems Man and Cybernetics (SMC), IEEE International Conference, Istanbul, 2010. p. 52-59.
FULTON, J. R. Sensor Orientation in Image Sequence Analysis, 2007. 299f. Department of Geomatics, The University of hankar Sastry, Jana Kosecka, Stefano Soatto, Jana D Vision: From Images to Geometric . Interdisciplinary Applied Mathematics Series, #26.
Verlag New York, LLC, 2003.
T., Lima. P.; Teichrieb, V.; Kelner. J.; Exeperiences on the Implementation of a 3D Internationnal journal of modeling and
