MODELAGEM DA INF
ORMAÇÃO E SIMULAÇÃO
361
Dense Stereo Matching (DSM): conceitos, processos e
ferra-mentas para criação de nuvens de pontos por fotografias
Dense Stereo Matching (DSM): concepts, processes and tools to generate point cloud from photo-graphs
Natalie Johanna Groetelaars
LCAD, Faculdade de Arquitetura, Universidade Federal da Bahia, Brasil
natgroet@ufba.br
Arivaldo Leão de Amorim
LCAD, Faculdade de Arquitetura, Universidade Federal da Bahia, Brasil
alamorim@ufba.br
ABSTRACT
This paper treats the technology to generate point clouds from photographs, more known as Dense Stereo Matching (DSM) or Structure from Motion (SfM), among other terminologies. The article presents the concepts, basic principles and architectural survey phases with DSM: planning, data acquisition, processing and post-processing to obtain other products from point cloud data. Then, we present several existing software for DSM, classified in three categories: web-based tools, free software/open-source and commercial software. Finally, we discuss the potentialities of this new technologies for architectural documentation and compare DSM with 3D laser scanning.
KEYWORDS: Dense Stereo Matching (DSM); Nuvem de pontos; Levantamento cadastral; Documentação arquitetônica; Ferra-mentas computacionais.
Introdução
Dense Stereo Matching (DSM) é um dos termos mais usados para tratar da técnica de obtenção de nuvens de pontos por processamento digital de imagens fotográficas. Esta tecnologia também é conhecida por
Structure from Motion (SfM), Dense Surface Modeling e
Photo-based scanning, dentre outras terminologias. O DSM foi desenvolvido nos últimos anos a partir de avanços em duas áreas simultaneamente: a Fotogrametria Digital, que está relacionada ao rigor geométrico e à precisão dos resultados, e a Visão Computacional, cujo foco principal está na busca de ferramentas cada vez mais automatizadas, visando o reconhecimento de padrões e a aceleração dos processos de geração de modelos geométricos à partir de fotografias.
O princípio de funcionamento do DSM consiste na correlação automática de conjuntos de pixeis homólogos em fotos distintas para obtenção das coordenadas tridimensionais de pontos contidos na superfície dos objetos fotografados, gerando assim, o modelo geométrico de nuvem de pontos. Para que seja possível essa correlação automática, é necessário que o objeto fotografado tenha textura não uniforme, de modo a
produzir conjuntos diferenciados de pixeis (padrões). Se isso não ocorrer, o processo de associação dos pixeis entre as fotos pode se tornar inviável ou apresentar um resultado final com muito ruído, com grandes áreas de sombra (sem informações) ou ainda ser pouco preciso. Este problema pode ser contornado através da sinalização das superfícies dos objetos a serem levantados, por meio de alvos colados ou projetados por um ponto de luz fixo.
Além da questão da textura dos objetos a serem levantados por DSM, são necessários alguns procedimentos ou processos, realizados tanto pelo responsável pelo levantamento (operador), como pela ferramenta computacional utilizada, para que seja possível a associação automática das imagens.
No que tange aos procedimentos relacionados ao operador, destacam-se alguns cuidados na tomada fotográfica, quais sejam:
• Cada parte do objeto a ser registrada deverá ser fotografada em pelo menos três posições diferentes, com ângulos nulos (fotos paralelas) ou menores que 10 graus entre si. Pierrot-Deseilligny, De Luca
SIGRADI 2012 | F
ORMA (IN) F
ORMAÇÃO
362
e Remondino (2011) recomendam que exista uma sobreposição mínima de 80% entre as fotografias tomadas do objeto.
• Deve-se observar a relação (R = B / L) no seguinte intervalo 0,1 < R < 0,4, onde (B) é a distância entre as estações na tomada fotográfica, e (L) a distância da estação para o objeto fotografado. Esta relação busca assegurar a elevada precisão geométrica do produto e, ao mesmo tempo, não produzir grandes variações entre os conjuntos de
pixeis a serem comparados, o que dificultaria ou impediria a correlação automática dos mesmos. • Deve-se fazer o levantamento fotográfico completo do objeto sob as mesmas condições de luminosidade, ou seja, deve ser realizado em um curto intervalo de tempo, se a tomada fotográfica for externa (sob iluminação solar), ou deve-se utilizar um ponto de luz fixa, se o objeto estiver sujeito à iluminação artificial.
No que tange aos processos realizados pelas ferramentas computacionais para DSM, é importante destacar alguns princípios básicos de funcionamento das mesmas, que visam reduzir o tempo de busca dos
pixeis homólogos e as ambiguidades na resposta ao processo de correlação desses pontos nas várias fotos:
• A correlação entre as fotografias é realizada a partir de um conjunto de pixeis, ou seja, uma área que inclui pontos vizinhos (e não pixeis isolados), sendo possíveis pequenas variações na coloração dos pixeis, definidas por um escore de correlação (HULLO et al., 2009).
• O processo de busca e associação dos conjuntos de pixeis entre as fotos é realizado sobre uma linha, seguindo o princípio da geometria epipolar, depois das fotos devidamente orientadas. Dessa forma, é possível facilitar e acelerar a busca entre os pontos correspondentes, uma vez que será realizada sobre a linha epipolar e não em toda a imagem. Segundo Hullo et al. (2009), esse intervalo pode ser reduzido ainda mais se existirem informações sobre a forma global do objeto e definidas distâncias mínimas e máximas para um plano de referência (opções existentes em alguns programas).
Etapas de levantamento em Dense Stereo Mat-ching
O processo de levantamento em Dense Stereo Matching pode ser resumido em quatro etapas (podendo ter algumas variações a depender da ferramenta utilizada): planejamento, aquisição de dados, processamento e pós-processamento.
1. Planejamento - definição dos equipamentos
necessários para a etapa de aquisição de dados, compreendendo no mínimo, a câmera digital e um dispositivo para levantamento de medidas, que pode ser variar desde uma trena a uma estação total (para levantamento de pontos de controle mais precisos). Além disso, é importante o estudo e a determinação preliminar do posicionamento das estações na tomada fotográfica, de forma a cobrir todo o objeto e garantir as angulações, sobreções e resoluções adequadas para o levantamento.
2. Aquisição dos dados - tomada fotográfica (atendendo às exigências já abordadas) e levantamento de algumas medidas ou pontos de controle (em campo), para posterior correção da escala e rotação do modelo, e verificação da precisão do produto gerado. A quantidade de fotos necessárias para o levantamento depende essencialmente da distância focal utilizada e das dimensões e formas do objeto.
3. Processamento - processamento das fotografias, realizado por programas específicos para DSM, visando a geração da nuvem de pontos propriamente dita. Esta etapa apresenta algumas particularidades, a depender da ferramenta utilizada. De forma geral, pode-se subdividí-las nas seguintes fases:
• Inserção das fotos - importação das imagens para processamento local no programa a ser usado, ou upload das mesmas, em programas com processamento remoto via internet.
• Orientação interna - determinação dos parâmetros da camêra utilizada, que pode ser de modo mais preciso, a partir do processo de calibração da câmera, ou aproximado, através das informações do EXIF, contido no cabeçalho dos arquivos das imagens (como resolução e distância focal nominal). • Orientação externa relativa - procedimento que permite determinar as posições e orientações da câmera no momento da tomada fotográfica (para as diversas estações). Esse processo pode ser realizado de forma interativa a partir da identificação de pontos homólogos nas diversas fotos, ou de forma automática, a partir da detecção e correlação automática de alguns pontos (alvos ou feições naturais) do objeto fotografado. A maioria dos programas realiza esta etapa a partir da correlação automática de alguns
pixeis comuns nas diversas fotografias para geração de uma nuvem de pontos preliminar e de baixa densidade, e, consequentemente, determinação da orientação relativa das fotos. Geralmente, também é realizado nessa etapa o processo automático de correção das distorções das fotografias, visando facilitar (ou viabilizar) a etapa posterior de correlação de um grande número de pixeis nas fotografias para obtenção das coordenadas tridimensionais dos mesmos. Em programas que requerem os
MODELAGEM DA INF
ORMAÇÃO E SIMULAÇÃO
363
parâmetros precisos de calibração da câmera, essa correção é feita logo após a orientação interna. • Geração da nuvem de pontos - a partir da associação automática dos conjuntos de pixeis homólogos nas várias fotografias devidamente orientadas (na etapa anterior), é possível a obtenção das coordenadas tridimensionais do objeto fotografado, ou seja, a geração da nuvem de pontos com a densidade requerida, ou da malha triangular (TIN - Triangular Irregular Network). Alguns programas permitem que o usuário defina a exatamente a densidade da nuvem gerada (afastamento entre os pontos), outros apresentam opções limitadas de níveis de refinamento. Há diferenças também com relação ao produto gerado, sendo possível a obtenção direta em nuvem de pontos, ou indiretamente, a partir de uma malha TIN. • Orientação externa absoluta – correção da escala do modelo (1:x – indeterminada) para a escala natural (1:1) e da rotação do modelo (eixos x, y e z) de nuvem de pontos, a partir de dimensões tomadas sobre o objeto real e dos eixos cartesianos do mesmo, ou ainda através de coordenadas tridimensionais obtidas por levantamento topográfico.
• Edição do modelo - realização de algumas operações básicas sobre o produto gerado (nuvem de pontos ou malha TIN) diretamente em alguns programas para DSM, como preenchimento de vazios, filtragem ou simplificação (decimação) da malha.
• Exportação – finalizado o modelo de nuvem de pontos ou da malha TIN, é possível exportá-lo para outros programas. Os formatos de exportação mais comums são Wavefront OBJ, Stanford PLY, ASPRS LAS, podendo-se encontrar em alguns casos DXF, DWG ou Autodesk FBX, dentre outros. Esta etapa é importante, pois, dependendo do programa a ser utilizado posteriormente, pode haver incompatibilidade de formatos, o que impedirá a importação da nuvem de pontos.
4. Pós-processamento - apesar de ser opcional, esta fase geralmente é realizada, uma vez que, para a maioria das aplicações, é necessário a obtenção de outros produtos como: desenhos, modelos geométricos (superfícies ou sólidos, paramétricos ou não), modelos fotorrealísticos, ortofotos, modelos BIM (Building
Information Modeling), animações, dentre outros. O pós-processamento pode ser realizado de três modos principais: em programas (stand alone) para o processamento de nuvens de pontos (como o Geomagic Studio, Rapidform, LupoScan e Polyworks), com o auxílio de plug-ins instalados em ferramentas CAD-BIM (como o CloudWorx, Feature Extraction ou Scan to BIM) ou diretamente nas ferramentas CAD-BIM. Nos dois
primeiros casos (uso de programas stand alone e
plug-ins), há ferramentas que permitem reconhecer algumas formas representadas na nuvem de pontos para geração de outros tipos de modelos, automatizando o processo de modelagem. No último caso (diretamente nas ferramentas CAD-BIM), a nuvem de pontos é usada apenas como referência para uma nova modelagem, sem recursos automatizados para reconhecimento das formas.
Algumas ferramentas para DSM
Foram desenvolvidos nos últimos anos uma série de programas para Dense Stereo Matching, sejam soluções comerciais ou acadêmicas, sejam, ferramentas para processamento local ou as que realizam o processamento remoto via internet, sejam ainda, programas livres ou proprietários. As maiores diferenças entre eles estão relacionadas a: custo, interface, necessidade ou não de calibração da câmera, limite de fotos a serem processadas, precisão e densidade da nuvem de pontos ou malha TIN gerada, possibilidade de definição da resolução, nível de automatização dos processos e tipos de formatos disponíveis para exportação.
De forma geral, pode-se dividir as ferramentas para DSM em três grandes grupos:
• processamento remoto gratuito via web (free
online service ou web-based tools);
• programas livres gratuitos (free
software/open-source), e
• programas comerciais (soluções proprietárias).
Processamento remoto gratuito via web
Uma das primeiras ferramentas disponíveis para processamento remoto via web foi o ARC 3D (www.arc3d. be/), desenvolvido pela Katholieke Universiteit Leuven, a partir de 2005. Depois surgiram outros serviços
online (de empresas), como Microsoft Photosynth (www.photosynth.net/), Hypr3D (www.hypr3d.com), My3dscanner (www.my3dscanner.com/), Autodesk Photofly (não mais disponível) e Autodesk 123DCatch (http://www.123dapp.com/catch), sendo este último uma evolução do Photofly.
Os programas online apresentam características semelhantes, como facilidade de uso (interface amigável) e grande velocidade para a geração dos modelos 3D (nuvens de pontos ou malhas TIN) a partir do processamento automatizado das imagens realizados nos servidores de alto desempenho dos prestadores do serviço. No entanto, apresentam menores recursos de edição (como escolha do nível de detalhamento do produto gerado e alterações na associação entre os pontos homólogos), maiores restrições de uso, sendo permitidos geralmente só para uso pessoal e
SIGRADI 2012 | F
ORMA (IN) F
ORMAÇÃO
364
educacional, sem fins lucrativos. Além disso, o grande problema desta categoria de programas está relacionado à propriedade dos dados (fotos originais e modelos gerados), que passa a ser de domínio dos fornecedores do serviço, podendo ser usados em pesquisas internas deles ou divulgadas pela rede.
Programas livres gratuitos
Dentre os programas livres (com código aberto) e gratuitos, um dos pacotes mais antigos e conhecidos é o Structure from Motion Toolkit, formado pelas ferramentas BundlerFocalExtractor, BundlerMatcher, Bundler, CMVS, PMVS2, disponíveis no site: www.visual-experiments.com/demos/sfmtoolkit/.
Outros exemplos mais recentes incluem os pacotes de programas VisualSfM e APERO-MicMac. O VisualSfM, disponível em www.cs.washington.edu/homes/ccwu/ vsfm/, tem código parcialmente aberto e utiliza também os programas CMVS, PMVS2 para densificação da nuvem de pontos. O segundo pacote, disponível em www.tapenade.gamsau.archi.fr/TAPEnADe/Tools.html, permite realizar de forma automática as etapas de orientação interna e externa (no APERO), e gerar uma densa nuvem de pontos (no MICMAC), com base nos parâmetros calculados pelo software anterior (PIERROT-DESEILLIGNY; DE LUCA; REMONDINO, 2011).
Os programas livres geralmente são desenvolvidos em instituições de ensino, a partir de projetos financiados por agências de fomento de pesquisa. As maiores vantagens de sua utilização incluem a disponibilização gratuita (para download) das ferramentas para diversas aplicações. Os problemas mais comuns estão relacionados à interface e aos manuais/tutoriais, geralmente apresentando maior dificuldade para uso, demandando maior tempo de estudo e maiores conhecimentos em ferramentas computacionais e programação.
Programas comerciais
Dentre os programas de DSM comerciais mais conhecidos estão o PhotoModeler Scanner da Eos Systems (www.photomodeler.com), o Zscan da Menci (www.menci.com) e o PhotoScan da Agisoft (www. agisoft.ru). Mais recentemente foram lançados os programas Smart3Dcapture scanner da Acute3D (www. acute3d.com), em janeiro de 2011, o 4e software da empresa 4e (www.4-e.es) e o um novo pacote da Menci, o EVO (www.menci.com), ambos no início de 2012. Este último inclui vários módulos: EVOCapture, EVOCheck, UMap e SiteManager, e é mais flexível do que o Zscan, uma vez que não requer uso da barra fixa para a tomada de trios de fotografias de pontos calibrados.
As maiores diferenças entre eles são custo (que podem variar entre 179,00 a 13.000,00 dólares), necessidade de
calibração da câmera (nos programas da Eos System e Menci), precisão e alguns recursos específicos, como possibilidade de edição, definição da malha, etc.
Conclusões
Os sistemas de varredura são as técnicas mais adequadas para o levantamento de formas complexas e irregulares, dada à precisão e velocidade na captura de grande quantidade de informação. Comparando os sistemas de varredura, podemos identificar algumas vantagens do DSM com relação à tecnologia 3D Laser Scanning: (1) baixo custo, necessitando basicamente de uma câmera digital e um programa específico para processamento das imagens; (2) facilidade de transporte, uma vez que requer o deslocamento apenas da câmera no momento da tomada fotográfica; (3) flexibilidade de uso, podendo ser aplicado no levantamento de pequenos ou grandes objetos, próximos ou bastante afastados da câmera, uma vez que o princípio de funcionamento é o mesmo; (4) obtenção direta da textura (pela foto) e de elevada qualidade, sem necessidade do mapeamento da foto sobre a nuvem de pontos obtida por varredura a laser. A grande desvantagem do DSM, quando comparado com o 3D Laser Scanning, está relacionada ao levantamento de objetos sem textura (superfícies lisas e homogêneas), casos em que é necessário sinalizar o objeto para facilitar a correlação das imagens. Além disso, o DSM requer processamento computacional a posteriori (em escritório), o que demanda um tempo muito maior para a geração da nuvem de pontos, em relação à varredura a laser (que a obtém diretamente campo).
Apesar das ferramentas que trabalham com Dense
Stereo Matching terem surgido há poucos anos atrás, elas têm permitido gerar resultados promissores, de elevada qualidade, precisão, permitindo a documentação de formas complexas em curto espaço de tempo e com baixos custos operacionais. Suas aplicações tendem a crescer enormemente nos próximos anos, principalmente com o aprimoramento das ferramentas gratuitas (programas livres e serviços online), tanto em termos de precisão como facilidade de uso e automação, e com o surgimento de programas comerciais com custos cada vez mais acessíveis.
Agradecimentos
Os autores agradecem à FINEP - Financiadora de Estudos e Projetos, pelo apoio financeiro referente ao projeto TIC-HIS, elaborado em resposta à CHAMADA PÚBLICA MCT / FINEP / Ação Transversal 7 / 2009.
Referências
Hullo, J. F. et al. 2009. Photogrammetry and Dense Stereo Matching approach applied to the documentation of the cultural heritage site of Kilwa (Saudi Arabia). Proceedings of the 22nd CIPA Symposium, Kyoto, Japan. Acesso em novembro de 2010,
MODELAGEM DA INF
ORMAÇÃO E SIMULAÇÃO
365 de http://cipa.icomos.org/text%20files/KYOTO/132-1.pdf.
Pierrot-Deseilligny, Marc ; De Luca, Livio; Remondino, Fabio. 2011. Automated image-based procedures for accurate artifacts 3D modeling and orthoimage generation. Acesso em junho de 2012, http://cipa.icomos.org/fileadmin/template/ doc/ PRAGUE/113.pdf
