Segmentação de nuvens de pontos não organizadas utilizando a Transformada Watershed

Faculdade de Tecnologia

Pedro Victor Vieira de Paiva

Segmentação de nuvens de pontos não organizadas

utilizando a Transformada Watershed

Limeira

2019

Segmentação de nuvens de pontos não organizadas utilizando a

Transformada Watershed

Dissertação apresentada à Faculdade de Tecnologia da Universidade Estadual de Campinas como parte dos requisitos para a obtenção do título de Mestre em Tecnologia, na área de Sistemas de Informação e Comunicação.

Orientadora: Profa. Dra. Eloisa Dezen Kempter

Coorientador: Prof. Dr. Marco Antonio Garcia de Carvalho

Este exemplar corresponde à versão final da Dissertação defendida por Pedro Victor Vieira de Paiva e orientada pela Profa. Dra. Eloisa Dezen Kempter.

Limeira

2019

Biblioteca da Faculdade de Tecnologia Felipe de Souza Bueno - CRB 8/8577

Paiva, Pedro Victor Vieira de,

P166s PaiSegmentação de nuvens de pontos não organizadas utilizando a

transformada watershed / Pedro Victor Vieira de Paiva. – Limeira, SP : [s.n.], 2019.

PaiOrientador: Eloisa Dezen-Kempter.

PaiCoorientador: Marco Antonio Garcia de Carvalho.

PaiDissertação (mestrado) – Universidade Estadual de Campinas, Faculdade de Tecnologia.

Pai1. Nuvem de pontos. 2. Segmentação de imagens. 3. Transformada

watershed. 4. Transformada imagem-floresta. I. Dezen-Kempter, Eloisa, 1963-. II. Carvalho, Marco Antonio Garcia de, 1970-. III. Universidade Estadual de Campinas. Faculdade de Tecnologia. IV. Título.

Informações para Biblioteca Digital

Título em outro idioma: Unorganized point cloud segmentation using watershed transform Palavras-chave em inglês:

Point cloud

Image segmentation Watershed transform Image foresting transform

Área de concentração: Sistemas de Informação e Comunicação Titulação: Mestre em Tecnologia

Banca examinadora:

Eloisa Dezen-Kempter [Orientador] Hélio Pedrini

André Leon Gradvohl

Data de defesa: 22-02-2019

Programa de Pós-Graduação: Tecnologia

Identificação e informações acadêmicas do(a) aluno(a)

- ORCID do autor: https://orcid.org/0000-0002-3743-1985

- Currículo Lattes do autor: http://lattes.cnpq.br/7371026960332542

Abaixo se apresentam os membros da comissão julgadora da sessão pública de defesa de disser-tação para o Título de Mestre em Tecnologia na área de concentração de Sistemas de Informa-ção e ComunicaInforma-ção, a que submeteu o aluno Pedro Victor Vieira de Paiva, em 22 de fevereiro de 2019 na Faculdade de Tecnologia – FT/UNICAMP, em Limeira/SP.

Profa. Dra. Eloisa Dezen Kempter Presidente da Comissão Julgadora

Prof. Dr. Hélio Pedrini IC/UNICAMP

Prof. Dr. André Leon Sampaio Gradvohl FT/UNICAMP

Ata da defesa, assinada pelos membros da Comissão Examinadora, consta no SIGA/Sistema de Fluxo de Dissertação/Tese e na Secretaria de Pós Graduação da FT.

Gostaria de agradecer à minha amada esposa Aline Nunes Paiva por sua dedicação e amor durante o período em que me dediquei à pós-graduação. Sem seu apoio, concluir esta etapa da vida acadêmica não teria sido possível.

Também agradeço meus pais, amigos, colegas por dedicarem parte de seu tempo desejando meu bem. Sou imensamente grato a todos.

Por fim, gostaria de agradecer a todos que tornam a pesquisa e as universidade públicas possíveis no Brasil. Desde os professores, coordenadores e diretores, agências de fomento (em especial a Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP, N. P. 2017/02787-9), até os contribuintes que financiam a educação neste país e que nem sempre tem acesso à ela.

Compreender o real estado de construções históricas é o principal desafio para sua conservação, o que leva à aplicação de novas tecnologias de sensoriamento nessa área. O uso de dados geométricos e de textura obtidos através de multi-sensores se apresentam como soluções promissoras. Tais sensores, como escâneres à laser 3D e câmeras fotográficas, comumente geram estruturas de nuvens de pontos. Porém, o enorme volume de informações gerado por essas técnicas torna árdua posteriores análises. Este trabalho estende a capacidade da Transformada Watershed na segmentação de nuvens de pontos que representam edificações em seus componentes arquitetônicos. Além da mudança do objeto em que a transformada é usualmente aplicada (imagens), o método é enriquecido com informações geométricas por meio de análise de curvatura, tornando a abordagem híbrida. Essa dissertação propõe também uma nova estratégia para aplicação de operadores morfológicos em nuvens de pontos não organizadas por meio de adjacência de voxels em octree, além da definição de um protocolo de aquisição de nuvens de pontos da construção. Finalmente, foi criado de um dataset de patrimônios históricos brasileiros rotulados em elementos arquitetônicos por especialistas. Apresenta-se um conjunto de experimentos que avaliam o método proposto por métricas de Precisão-Revocação, além de comparações com técnicas consolidadas no estado da arte.

The main challenge for historical constructions conservation is to understand its real state. Digital representation demand leads to the application of new acquisition technologies. Geometric and texture data obtained through multi-sensors presents as promising solutions. Such sensors, like 3D laser scanners and photogrammetric methods, commonly generate point cloud structures. However, the large volume of data generated by those techniques makes further analysis arduous. This work extends the ability of the Watershed Transform in the segmentation of point clouds representing buildings in their architectural components. In addition to the change of the object in which the transform is usually applied (images), the method is enriched with geometric information by means of curvature analysis, making the approach hybrid. This dissertation also proposes a new strategy for the application of morphological operators in clouds of unorganized points by means of the adjacency of voxels in octree, besides the definition of a protocol of acquisition of clouds of construction points. Finally, it was created from a dataset of Brazilian historical patrimonies labeled in architectural elements by specialists. We present a set of experiments that evaluate the method proposed by Precision-Recall metrics, in addition to comparisons with techniques consolidated in the state of the art.

2.1 (a) Representação matricial de nuvens de pontos organizadas; (b) Estrutura irregular de nuvens de pontos não organizadas. Fonte: (FELGUEIRAS; CÂMARA, 2001) . . . 22 2.2 Exemplos de trabalhos que aplicam RANSAC. Fontes: (LANDES; BIDINO;

GUILD, 2014b) (a),(SHENG et al., 2016) (b),(DELLEPIANE et al., 2011) (c) . . . 33 2.3 Exemplos de trabalhos que aplicam crescimento de regiões. Fontes: (ZHAN;

LIANG; XIAO, 2009; WANG; CHO; KIM, 2015) . . . 34 2.4 Exemplos de trabalhos que aplicam segmentação por agrupamento. Fontes:

(STROM; RICHARDSON; OLSON, 2010; BIZJAK, 2016) . . . 35 3.1 Representação volumétrica (esquerda) e hierárquica (direita) de octree de

voxels esparsos com dois níveis. Fonte: (WILHELMSEN, 2012). . . 39 3.2 Diagrama de conversão octree-grafo não orientado . . . 45 3.3 Exemplo de utilização de operações morfológicas em NPNO: (a) nuvem

original, (b) nuvem dilatada, (c) nuvem erodida e (d) gradiente morfológico. . . 47 4.1 Diagrama de etapas do método proposto. . . 49 4.2 Exemplo de NPNO colorida (Igreja de São Francisco). Fonte: autor . . . 49 4.3 (a) NPNO convertida para tons de cinza; (b) NPNO com valores de intensidade

suavizada por média; (c) gradiente morfológico de uma NPNO. . . 50 4.4 Centro de regiões com baixa variação angular (pontos em vermelho) para um

limite angular 𝜃 = 6°. Fonte: autor . . . 51 4.5 NPNO segmentada pela Transformada Watershed; destaque para super

segmentação. Fonte: autor . . . 51 4.6 NPNO segmentada pela Transformada Watershed e agrupada nas 14 regiões

mais significativas segunda ALC. Fonte: autor . . . 53 4.7 Fluxo de etapas necessárias à estratégias efetivas de aquisição de estruturas

modelados por técnicas SfM. Fonte: autor. . . 54 4.8 (a) Plano de voo com alta taxa de variação angular enquanto (b) faixas de altura

e largura são completamente cobertas. Fonte: autor. . . 54 4.9 (a) Fachada obtida com o protocolo de (MURTIYOSO et al., 2016); (b) Fachada

obtida com o protocolo proposto. (Fonte: autor) . . . 55 4.10 Exemplo de coletas de nuvens de pontos com VANT (a) e TLS (b). Fonte: autor. 56 4.11 Nuvens de pontos coletadas: (a) Igreja de São Francisco de Assis, (b) Engenho

Central, (c) Igreja da Boa Morte e (d) Casa do Baile. Fonte: autor. . . 56 4.12 Nuvens capturas e respectivos “padrões ouro” : (a) Igreja da Boa Morte

-Limeira/SP, (b) Igreja de São Francisco de Assis - Belo Horizonte/MG e (c) Engenho Central - Piracicaba/SP . Fonte: autor. . . 57

baseado em cor; (c) Transformada Watershed . . . 62 5.2 Métricas de avaliação para diferentes cenários Igreja da Boa Morte: (a)

crescimento de regiões baseado em curvatura; (b) crescimento de regiões baseado em cor; (c) Transformada Watershed . . . 63 5.3 Igreja de São Francisco segmentada por: (a) crescimento regiões baseado em

curvatura; (b) crescimento regiões baseado em cores; (c) Transformada Watershed(proposta). . . 64 5.4 Igreja da Boa Morte segmentada por: (a) crescimento regiões baseado em

curvatura (RUSU; COUSINS, 2011); (b) crescimento regiões baseado em cores (ZHAN; LIANG; XIAO, 2009); (c) Transformada Watershed . . . 65 5.5 Comparativo entre áreas segmentadas por: (a) referência; (b) crescimento de

regiões baseado em curvatura; (c) crescimento de regiões baseado em cor; e (d) Transformada Watershed Fonte: autor . . . 66 5.6 Comparativo entre áreas segmentadas por: (a) referência; (b) crescimento de

regiões baseado em curvatura; (c) crescimento de regiões baseado em cor; e (d) Transformada Watershed Fonte: autor . . . 66

2.1 Número de trabalhos em cada fase analítica da revisão divididos por base de busca. . . 31 2.2 Trabalhos que aplicam RANSAC na segmentação de elementos arquitetônicos. 32 2.3 Trabalhos que aplicam crescimento de regiões na segmentação de elementos

arquitetônicos. . . 34 2.4 Trabalhos que aplicam agrupamento na segmentação de elementos

arquitetônicos. . . 36 4.1 Descrição da base de dados de nuvens de pontos coletadas. . . 57 6.1 Publicações geradas durante o mestrado. . . 70

AEC - Arquitetura, Engenharia e Construção AGM - Árvore Geradora Mínima

ALC - Árvore dos Lagos Críticos

BIM - Modelagem da Informação da Construção, do inglês Building Information Modeling HBIM - Modelos Inteligentes das Construções Históricas IFT - Image Foresting Transform LIDAR - Detecção de Variação da Luz, do inglês Light Detection and Ranging

NPNO - Nuvem de Pontos não Organizada NPO - Nuvem de Pontos Organizada O&M - Operação e Manutenção

RANSAC - Consenso de Amostras Aleatórias, do inglês Random Sample Consensus SfM - Estrutura orginada do Deslocamento, do inglês Structure from Motion

SIFT - Transformada de Caraterística Invariante à Escala, do inglês Scale-Invariant Feature Transform

TLS - Escâner à Laser Terrestre, do inglês Terrestrial Laser Scanner VANT - Veículo Aéreo não Tripulado

1 Introdução 14 1.1 Motivação e Justificativa . . . 15 1.2 Desafios . . . 16 1.3 Objetivo . . . 16 1.3.1 Objetivo Geral . . . 17 1.3.2 Objetivos Específicos . . . 17 1.4 Organização do Texto . . . 17

2 Fundamentos e Trabalhos Relacionados 18 2.1 Modelos Digitais as-is . . . 18

2.1.1 Modelos gerados por escaneamento a Laser . . . 19

2.1.2 Modelos Fotogramétricos . . . 20

2.1.3 Aquisição de Modelos . . . 21

2.2 Nuvens de Pontos . . . 22

2.3 Segmentação de Nuvens de Pontos . . . 23

2.4 Crescimento de Regiões Baseado em Curvatura . . . 23

2.4.1 Vizinhança Imediata . . . 24

2.4.2 Estimação de Curvatura . . . 24

2.5 Transformada Watershed . . . 26

2.5.1 Transformada Imagem-Floresta . . . 26

2.5.2 Super Segmentação . . . 28

2.6 Revisão Sistemática da Literatura . . . 29

2.6.1 Metodologia . . . 30

2.6.2 Métodos de Segmentação . . . 30

2.6.3 Discussão . . . 36

3 Operações Morfológicas em Nuvens de Pontos 38 3.1 Referencial Teórico . . . 39

3.1.1 Octreede Voxels Esparsos . . . 39

3.1.2 Morfologia Matemática . . . 40

3.2 Estratégias para Operações Morfológicas em NPNO . . . 41

3.3 Morfologia Matemática em NPNO via octree . . . 43

3.3.1 Determinação de Voxel . . . 43

3.3.2 Construção da octree de voxels esparsos . . . 44

3.3.3 Conversão de octree para grafo . . . 44

3.3.4 Morfologia em grafo . . . 45

4.1.1 Pré-processamento . . . 49

4.1.2 Definição de pontos sementes . . . 50

4.1.3 Segmentação dos elementos . . . 51

4.1.4 Estratégia de Aquisição de Imagens . . . 53

4.1.5 Avaliação do Modelo Fotogramétrico . . . 55

4.2 Base de Dados . . . 55

4.3 Métricas de Avaliação . . . 58

5 Experimentos e Resultados 60 5.1 Protocolo de Aquisição de Dados . . . 60

5.2 Experimentos . . . 61

5.3 Discussão . . . 62

6 Conclusões 68 6.1 Trabalhos Futuros . . . 69

6.2 Publicações e outros Trabalhos . . . 69

Capítulo 1

Introdução

Documentos arquitetônicos, como plantas, vistas e modelos tridimensionais, são tipicamente desenvolvidos nas fases de projeto e construção das edificações. Todavia esses documentos se mantêm essenciais durante a operação e manutenção como fontes de informações detalhadas sobre a estrutura e seus componentes(L. KLEIN; LI; BECERIK-GERBER, 2012). No caso de patrimônios históricos, a escassez de registros, devido ao passar do tempo, torna o próprio edifício o único “documento” disponível e impulsiona a aplicação de tecnologias emergentes no mapeamento do estado atual dessas construções.

Sensores a laser 3D e câmeras fotográficas de alta resolução, associadas a técnicas de visão computacional, possibilitam maior entendimento sobre os materiais e a própria geometria dos objetos de interesse, formalizando essas informações em estruturas de nuvens de pontos (coloridas ou não). No entanto, esta representação digital cria complexas coleções de dados, tornando árduas as tarefas de análise e modelagem (MACHER; LANDES; GRUSSENMEYER, 2015).

Uma segmentação eficaz deve dividir dados em grupos homogêneos segundo certas características, criando assim uma alternativa na compreensão desses conjuntos. Porém, esta não é uma tarefa trivial em nuvens de pontos, particularmente as nuvens não organizadas. Embora diferentes estratégias de segmentação já tenham sido utilizadas na tentativa de enriquecer o estudo de prédios históricos (LU; LEE, 2017), características singulares dos diversos estilos arquitetônicos exigem abordagens específicas.

Uma forma de subdividir nuvens de pontos em regiões consistentes é através do uso de técnicas de crescimento de regiões, uma abordagem que separa conjuntos de pontos partindo de posições pré-definidas e as expandindo iterativamente, baseada em critérios como relação

angular entre vizinhos dentro do mesmo raio (RABBANI; VAN DEN HEUVEL; VOSSELMANN, 2006) ou coloração. Operações sobre valores de intensidade como transformações morfológicas são pouco associadas à essa técnica, o que possibilita o estudo dessa informação como estratégia auxiliar no agrupamento.

Nesta dissertação é sugerido o uso da Transformada Watershed (VINCENT; SOILLE, 1991) como reforço na segmentação de nuvens de pontos coloridas. Esta operação morfológica aplica o conceito de bacias hidrográficas a imagens, tratando os valores de intensidade dos pixels como suas respectivas alturas em uma representação tridimensional e, ao “inundar” áreas profundas, barreiras feitas para impedir a “transposição” criam divisões que representam regiões constituintes de uma imagem.

As seções seguintes explicitam a exigência de métodos eficientes na criação de representações confiáveis de edificações históricas, como a segmentação de nuvens de pontos coloridas, pode colaborar nesse sentido e quais os objetivos específicos desse trabalho, além de sua organização.

1.1

Motivação e Justificativa

Historicamente, varreduras laser geravam nuvens de pontos desprovidas de valores de intensidade. Consequentemente, técnicas de segmentação que utilizam somente informação espacial são comumente vistas na literatura. A fusão de dados originados de multi-sensores e a consolidação dos métodos Structure from Motion (FORSYTH; PONCE, 2011) extinguiram essa limitação, associando cor aos pontos coletados. Porém, o uso dessa informação ainda é pouco explorado, limitando-se a operações básicas, particularmente em dados originados na Arquitetura, Engenharia e Construção (AEC).

O conceito de Building Information Modelling (BIM), um ambiente estruturado, holístico e compartilhado de informações para a construção (C. M. EASTMAN et al., 2011), amplia os requisitos de exatidão dentro da AEC. Isso é particularmente verdade ao se trabalhar com modelos BIM “as-is” aplicados à conservação dos patrimônios culturais, quando o mapeamento da condição vigente do edifício é o objetivo da modelagem. Nesse cenário, a análise meticulosa das estruturas capturadas é vital para a criação de um modelo fidedigno ao objeto real.

Sendo assim, a subutilização de informações de intensidade/textura é uma lacuna a ser explorada por métodos de segmentação de nuvens de pontos. Principalmente em aplicações de conservação de construções históricas, vista a necessidade de agrupamentos precisos.

1.2

Desafios

Apesar da extrema relevância das nuvens de pontos densas, sendo atualmente a melhor forma de representação digital de grandes estruturas, sua segmentação não é uma tarefa trivial devido a uma série de dificuldades inerentes a esse tipo de dado como: (i) número de pontos, chegando à casa de centenas de milhões, o que se reflete diretamente no tamanho das nuvens; (ii) custo computacional das análises em tantos pontos; (iii) presença de ruídos oriundos de capturas realizadas em ambientes não controlados; (iv) heterogeneidade de densidade, sendo comum áreas desprovidas de pontos (buracos); entre outros.

Nas áreas da AEC, a segmentação e o reconhecimento de elementos complexos podem ser endereçados como principais desafios, sendo frequente na literatura proposta de divisões das edificações em componentes simples como pisos, paredes, telhados ou outros itens facilmente reconhecíveis (portas e janelas). Os diversos estilos arquitetônicos, particularmente das edificações históricas, costumam não seguir padrões simplórios e serem ricos em adornos e ornamentos. As particularidades encontradas nessas obras tornam sua segmentação em elementos arquitetônicos coesos um desafio ainda complexo e pouco explorado.

1.3

Objetivo

Este projeto origina-se no programa multidisciplinar e-Science 2016/04991-0, financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), que prevê o uso de ferramentas computacionais como auxiliares no desenvolvimento tecnológico nas mais diversas áreas do conhecimento. Particularmente na Faculdade de Tecnologia da UNICAMP, o programa tem como objetivo impulsionar a automatização na criação de modelos digitais harmônicos ao estado real de construções históricas. Sendo assim, a transformação de dados de sensoriamento bruto em porções melhor inteligíveis contribui para criação de representações mais precisas e de forma ágil.

1.3.1

Objetivo Geral

Teve-se como objetivo propor um método de segmentação de nuvens de pontos oriundas de edifícios históricos, utilizando tanto informação geométrica quanto de intensidade como características de agrupamento. Os pontos agrupados devem corresponder à elementos arquitetônicos das construções, possibilitando assim a comparação de projeções bidimensionais desses segmentos com o respectivo documento de projeto.

1.3.2

Objetivos Específicos

Podemos listar os seguintes objetivos específicos desta dissertação como:

1. Mapeamento das técnicas de segmentação em nuvens de pontos da construção 2. Construção de dataset de nuvens de pontos do patrimônio histórico

3. Segmentar nuvens de pontos por meio de análise de curvatura e da Transformada Watershed

4. Avaliar o método proposto com métricas quantitativas e qualitativas.

1.4

Organização do Texto

Esta dissertação está organizada da seguinte maneira: o Capítulo 2 apresenta os fundamentos teóricos e conceitos básicos da área, esclarecendo os princípios de aquisição e estruturação dos dados estudados, os métodos de segmentação aplicados e o mecanismo de avaliação empregado, bem como uma revisão sistemática dos trabalhos na área. No Capítulo 3 é descrita a abordagem adotada para definição de adjacência em nuvens de pontos não organizada, além de ser proposta uma estratégia para aplicação de operações morfológicas nesse dado. O Capítulo 4 descreve a abordagem de segmentação ultilizada por esse trabalho baseada na Transformada Watershed, análise de curvatura e agrupamento hierárquico. Na sequência, o dataset, os experimentos e os resultados são descritos no Capítulo 5. Finalmente, no Capítulo 6 são apresentadas as considerações finais do trabalho.

Capítulo 2

Fundamentos e Trabalhos Relacionados

Neste capítulo, são apresentadas as referências teóricas sobre o sensoriamento remoto de construções com o uso de escâneres de varredura a laser 3D e técnicas de fotogrametria, ambas tendo como produto as nuvens de pontos. Este formato de dado é formalizado e discutido após uma breve introdução. Também é apresentado um panorama sobre o estado da arte da segmentação de nuvens de pontos de construções, especificamente com o objetivo de criação de modelos inteligentes, em uma revisão sistemática da literatura da área.

2.1

Modelos Digitais as-is

A relação entre edificações em fase de construção e as pré-existentes, em nível global, é claramente desproporcional. Um dado que ilustra essa desigualdade pode ser visto nos Estados Unidos onde edificações recentes compõem entre 2% e 3% do estoque de edificações anuais daquele país (BROWN; SOUTHWORTH; STOVALL, 2005). Já a utilização das construções pode se estender por várias décadas, ou até séculos, o que cria um desafio em atividades de operação e manutenção (O&M) devido à necessidade de um entendimento completo das construções no combate à degradação natural (AKCAMETE; AKINCI; GARRETT, 2010). Esse quadro é agravado quando a edificação de interesse é uma obra de importância histórica, já que características únicas, a falta de documentação arquitetônica original, e mudanças não registradas desses patrimônios, dificultam uma compreensão clara dessas obras (DEZEN-KEMPTER et al., 2015).

Nesse sentido, as ferramentas disponíveis na tecnologia Building Information Modelling (BIM) se apresentam como uma solução promissora frente à tarefa de modelar o presente

estado das edificações, também conhecidos como modelos “as-is”. Largamente aplicado nas fases de concepção e construção, a tecnologia BIM é uma abordagem que compreende todo o ciclo de vida de uma construção através de objetos paramétricos capazes de armazenar informações semânticas dos diversos elementos que compõem o edifício (AKCAMETE; AKINCI; GARRETT, 2010). Como requisito para a construção de modelos BIM, diversas informações sobre a obra devem alimentar os programas modeladores, entre elas, dados geométricos e de materiais.

A tarefa de documentar a situação vigente de elementos construídos ainda depende fortemente de levantamentos manuais onde, medições tomadas in loco são usadas na criação de modelos digitais. Métodos tradicionais como uso de estações totais, fitas métricas, ou mesmo câmeras fotográficas comuns geram resultados imprecisos e de forma dispendiosa ao serem aplicados em larga escala (TANG et al., 2010). As funcionalidades introduzidas por múltiplos sensores e técnicas avançadas de fotogrametria surgem como alternativas para essa tarefa. Sensores a laser 3D vem sendo usados de forma intensa por sua capacidade de coletar densas nuvens de pontos com precisão milimétrica. Porém, estes ainda são equipamentos caros, frágeis e de operação especializada. Por outro lado, a fotogrametria oferece um resultado similar de forma acessível sem necessidade de longos treinamentos prévios. O uso de Veículos Aéreos Não Tripulados (VANT) vem se tornando cada vez mais comum, porém seu emprego recente nesse meio ainda é insuficiente para o estabelecimento de metodologias padronizadas para aquisição de imagens.

2.1.1

Modelos gerados por escaneamento a Laser

Os escâneres terrestres a laser (TLS, do inglês Terrestrial Laser Scanner), comumente aplicados na aquisição de dados geométricos na construção, utilizam a medição LIDAR, sigla para Light Detection And Ranging, uma técnica ativa de sensoriamento remoto capaz de estimar a distância do sensor ao ponto analisado com base no tempo de deslocamento de pulsos laser (WEHR; LOHR, 1999). Esse princípio, conhecido como Time-of-Flight, pode ser formalizado através da equação:

𝑅 = 𝑐 ⋅ 𝑡𝐿

onde 𝑅 é a distância entre o sensor e o ponto, 𝑐 a constante que define a velocidade da luz e 𝑡𝐿

o tempo de voo médio. Esse tipo de aquisição pode ser feita a grandes distâncias (entre 300 e 500metros) e com uma taxa de deslocamento baixa, resultando em densos dados referentes às camadas externas dos objetos estudados. Os pontos coletados por esses sensores podem ser enriquecidos com informação provenientes de outros sensores como: coloração, infravermelho, posicionamento global, entre outros.

2.1.2

Modelos Fotogramétricos

Resultados similares ao escaneamento a laser podem ser obtidos através de técnicas fotogramétricas auxiliadas por métodos avançados de visão computacional. Esse tipo de captura é considerada de baixo custo, fácil manuseio, portátil e flexível (REMONDINO et al., 2012). Em linhas gerais, a fotogrametria é o processo de estimar distâncias e medidas de objetos a partir de uma ou mais imagens, analógicas ou digitais, de forma automática ou manual (MIKHAIL; BETHEL; MCGLONE, 2001).

Informações geométricas mais complexas e completas podem ser obtidas com métodos Structure from Motion(SfM), analisando-se vastas coleções de imagens obtidas de diferentes ângulos de um mesmo objeto. Pontos em comum entre as imagens podem ser triangulados com a posição da câmera e através de cálculos que consideram parâmetros internos do sensor (calibração) e a localização geoespacial dos pontos é estimado um ponto tridimensional. Especificando esses passos temos:

• É aplicado um detector de características invariantes à escala (LOWE, 2004) capaz de gerar pontos canônicos à imagem.

• Esses pontos são usados como medida de relacionamento entre pares de imagens, usualmente através de algoritmos Random Sample Consensus (RANSAC) (FISCHLER; BOLLES, 1981).

• Parâmetros externos (posição e orientação) e internos (matriz de projeção) são usados para estimar a posição dos pontos em comum em um espaço tridimensional.

Para que modelos 3D satisfatórios sejam criados a partir de técnicas SfM, a cobertura total do objeto de interesse é uma exigência, o que pode restringir a aplicação do método em situações onde ocorra oclusão parcial. Com o surgimento dos VANT, o fator limitante da obstrução é reduzido significativamente.

2.1.3

Aquisição de Modelos

Entender o real estado de um edifício é parte essencial em trabalhos focados em preservação, documentação as-is, reconstrução, entre outras (REMONDINO, 2011). Com esse intuito, lasers podem ser utilizados em um processo extremamente preciso de detecção de superfície, porém com um alto custo associado.

Dados similares podem ser gerados utilizando um alto número de imagens e algoritmos específicos (BAYRAM et al., 2015) e, diferente de sensores laser, câmera fotográficas podem ser adquiridas por uma fração do valor de estações de varredura laser, além de possuírem alta manuseabilidade. No entanto, ainda não é claro um protocolo de aquisição universal nesses aparelhos, o que torna esse processo, embora efetivo, ainda experimental (MURTIYOSO et al., 2016; CHIABRANDO; DONADIO; RINAUDO, 2015; ACHILLE et al., 2015).

Sanar a falta de regularidade na obtenção de imagens não é uma tarefa trivial mas pode ser atacada reutilizando procedimentos estabelecidos em estações fixas de captura e, refletindo na captura, características que fortaleçam a acurácia intrínseca dos algoritmos de geração dos modelos. Sendo assim, dominar as minúcias desses métodos é imprescindível para criação de uma estratégia geral de aquisição com VANT.

Aquisição em Estações Terrestres

Dentre os estudos sintetizados por Murtyoso et al. (2016), diferentes procedimentos de aquisição compartilham recomendações como: condições controláveis para calibração dos equipamentos; alta convergência de ângulos de captura; imagens com altíssimas taxas de sobreposição. Graças a alta mobilidade dos VANT, um amplo espectro de ângulos pode ser atingido garantindo alta cobertura dos objetos, satisfazendo assim as propriedades de convergência e de sobreposição. Em contrapartida, a limitação de peso para carga dessas aeronaves pode restringir o uso de sensores com alto grau de ajuste.

Estimação de Estruturas

De forma análoga à fotogrametria, métodos Structure from Motion (SfM) fazem uso de fotografias sobrepostas para realizar medições, com a vantagem de eliminar marcações controles já que posicionamento e orientação podem ser determinados por parâmetros internos das câmeras (MICHELETTI; CHANDLER; LANE, 2015). Embora diversas

implementações possam ser encontradas na literatura (YI et al., 2014), em essência, uma técnica SfM apresenta estágios de:

• Um alto número de imagens de múltiplos pontos de vista de um objeto são passados como entrada.

• Pontos comuns entre as imagens são calculados aplicando uma transformação invariante a escala estabelecendo assim uma relação geométrica em um sistema de coordenadas. • Parâmetros internos das câmeras determinam as relações entre coordenadas nas

imagens e no mundo físico.

• As posições no espaço 3D são então refinadas por processos chamados bundle adjustment (TRIGGS; ZISSERMAN; SZELISKI, 2003).

Como resultado, uma nuvem de pontos com informações espaciais e de textura é gerada, podendo variar quanto a densidade de pontos. Para uma estimação efetiva das estruturas, é de suma importância uma quantidade alta de imagens similares, rotacionadas em eixo vertical e horizontal além de capturas em diferentes distância e profundidade.

2.2

Nuvens de Pontos

Tanto os escâneres laser quanto as técnicas fotogramétricas são capazes de gerar representações das superfícies através de conjuntos de pontos em um sistema de coordenadas tridimensional. As nuvens de pontos podem ser classificadas em dois tipos: organizadas, ilustrada pela Figura 2.1(a), ou não organizadas, ilustrada na Figura 2.1(b).

(a) (b)

Figura 2.1: (a) Representação matricial de nuvens de pontos organizadas; (b) Estrutura irregular de nuvens de pontos não organizadas. Fonte: (FELGUEIRAS; CÂMARA, 2001)

Em sistemas organizados, o sensor empregado na captura é capaz de gerar uma imagem enriquecida com informação de profundidade, estruturando a nuvem de pontos de forma

matricial (WOLF; DEWITT; WILKINSON, 2000). Esse tipo de organização simplifica a manipulação dessas nuvens, uma vez que o mapa de adjacência entre os pontos está disponível de forma nativa, permitindo identificar elementos vizinhos.

Já em nuvens de pontos não organizadas, o caminho entre os pontos não é conhecido, sendo necessária a aplicação de estruturas de dados, como árvores, para melhor entender a disposição das informações. Essa falta de ordem implica maiores desafios no tratamento/processamento desse tipo de nuvem de pontos. É nesse tipo de dado que este trabalho se concentra. Sendo assim, além dos desafios relacionados à tarefa de segmentação, a forma de processar essas nuvens também é uma tarefa a ser realizada.

2.3

Segmentação de Nuvens de Pontos

Segundo Gonzalez e Woods (2006), no caso bidimensional, a segmentação é o processo de dividir uma imagem em partes ou objetos constituintes. Já para Tóvári e Pfeifer (2005), os segmentos em um espaço tridimensional são elementos geometricamente contínuos da superfície de um objeto que possuem certas similaridades. Nuvens de pontos enriquecidas de coloração podem ser descritos tanto por sua cor/intensidade, por suas formas ou pela combinação de ambas. Sendo assim, podemos definir que a principal característica de uma região em um nuvem de pontos é sua homogeneidade baseada na combinação de ambos critérios de superfície e de coloração.

Dado um conjunto de pontos, o objetivo de processos de segmentação é agrupar pontos em regiões significativas, colaborando assim na análise desse dado em aspectos como localização e reconhecimento de objetos, classificação é extração de características (NGUYEN; LE, 2013).

2.4

Crescimento de Regiões Baseado em Curvatura

Introduzido por Besl e Jain (1988), os métodos de crescimento de região possuem dois estágios: uma rotulação grosseira de áreas com características específicas e um refinamento dessas regiões através de um método iterativo de crescimento. Ante as diversas implementações (VO et al., 2015), o método descrito por Rusu (2010) será introduzido devido a sua robustez, implementação e larga difusão no meio acadêmico e comercial graças à biblioteca Point Cloud Library1_.

A técnica de crescimento de regiões através de análise de curvatura possui duas etapas principais: (i) a definição de vizinhanças entre pontos e (ii) a estimação de curvatura; podendo ser calculados da seguinte forma: seja 𝑃 uma nuvem de pontos desorganizada formada por 𝑝1, 𝑝2, ..., 𝑝𝑛pontos dotados de coordenadas cartesianas (𝑥, 𝑦, 𝑧), o primeiro passo do algoritmo

é definir uma vizinhança entre os pontos.

2.4.1

Vizinhança Imediata

Em linhas gerais, a estimação de vizinhanças em nuvens de pontos desorganizadas é possível se:

• Uma estrutura de dados for definida, possibilitando cálculos de distância entre os pontos. • Com base em um raio, os pontos podem ser rotulados em vizinhanças.

Dado o problema organizacional das nuvens de pontos, as relações de vizinhança entre os pontos contêm um erro de aproximação (HOLZER et al., 2012). Formalizando, temos:

|𝑝_𝑎𝑣 − Ω| ≤ (1 + 𝜖)|𝑝_𝑜𝑣 − Ω|, (2.2)

onde, para uma função de busca de vizinhos Ω, existe um conjunto de pontos 𝑝𝑣

𝑎 contendo

um erro aceitável 𝜖 em relação à uma vizinhança ótima 𝑝𝑣

𝑜. Esse tipo de busca pode ser

implementada, de forma eficiente, assumindo a distância euclidiana entre pontos alcançáveis em um certo raio dentro de estruturas de árvore (NUCHTER; LINGEMANN; HERTZBERG, 2007).

Para que um ponto qualquer 𝑝𝑞 seja membro de uma vizinhança 𝑝𝑣, assumindo 𝑟 como o

raio, temos:

𝑝𝑣 = {𝑝𝑞 ∈ 𝑃 ∶ 𝑓 (𝑝𝑞, 𝑐) ≤ 𝑟} (2.3)

tal que 𝑓 seja a função que calcula a distância do ponto até o centro da vizinhança 𝑐.

Definida a vizinhança entre pontos, descritores locais podem ser calculados e, uma boa medida geométrica de uniformidade pode ser dada pela diferença entre as normais dos pontos vizinhos.

2.4.2

Estimação de Curvatura

Para se estimar a relação angular entre elementos de uma nuvem de pontos, os seguintes passos devem ser seguidos:

1. Calcular uma matriz de distâncias entre cada ponto da vizinhança e seu centro, e a partir desta obter seus componentes principais;

2. Utilizar os autovetores como indicadores das retas normais em relação à um ponto de vista;

3. Fazer uso das retas normais como critério da homogeneidade angular entre pontos e dentro das vizinhanças.

As retas normais aos planos são importantes descritores das superfícies, comumente utilizadas em técnicas de iluminação em computação gráfica, podendo ser calculadas de diversas formas. Uma delas é através da matriz de covariância do plano em relação a um ponto fixo no espaço proposta por Berkmann e Caelli (1994). O método assume que dado um ponto centroide ao plano ̄𝑝, a reta normal ao plano ⃗𝑛 é encontrada ao analisar os autovalores e autovetores da matriz de covariância  ∈ R3×3_{de 𝑃}

𝑣 tal que:  = 1 𝑛 𝑛 ∑ 𝑖=1 (𝑝𝑖 − ̄𝑝) ⋅ (𝑝𝑖 − ̄𝑝)𝑇, ⋅ ⃗𝑎𝑗 = 𝜆𝑗 ⋅ ⃗𝑎𝑗, 𝑗 ∈ {1, 2, 3}, (2.4)

onde os vetores de distância de todos os pontos 𝑛 ao centroide são ponderados por suas respectivas transpostas 𝑇 ; é assumido 𝜆𝑗 ∈ R e que os autovetores correspondem aos

componentes principais de 𝑃𝑉 ; se 0 ≤ 𝜆1 ≤ 𝜆2 ≤ 𝜆3, a dimensão de menor representatividade

será 𝜆1e, consequentemente, ⃗𝑎1o vetor normal. O sentido/sinal do vetor normal é ditado por

um ponto fixo no espaço.

Definida a reta normal, dois indicadores de curvatura do plano podem ser calculados: a curvatura da própria região e a diferença angular entre planos. No primeiro caso, basta calcular:

𝜎 𝑃𝑣 =

𝜆1

𝜆1+ 𝜆2+ 𝜆3

, (2.5)

indicando a variância em torno do centroide (PAULY; GROSS; KOBBELT, 2002), ou seja, valores baixos para 𝜎𝑃𝑣 sugerem que os pontos pertencentes à vizinhança estão em uma

plano tangente à superfície. Quanto a relação angular entre pontos vizinhos ⃗𝑛1e ⃗𝑛2, basta:

𝜃𝑛1,𝑛2 = arccos(⟨ ⃗𝑛1, ⃗𝑛2⟩) (2.6)

Planos com baixa variação de curvatura (𝜎𝑃𝑣) são usados como parâmetro inicial do

algoritmo, similar à “pontos semente”; logo após, a diferença angular entre os planos (𝜃𝑛1,𝑛2) é

2.5

Transformada Watershed

Inspirados pela divisão dos relevos criada a partir da inundação de uma topografia irregular, Digabel e Lantuéjoul (1978) propuseram e Vincent e Soille (1991) implementaram a versão discreta da Transformada Watershed. A ideia é simples: caso uma superfície irregular seja inundada a partir de “furos” em suas áreas de altitude mínima, “bacias” serão criadas. Conforme estas são preenchidas, “barragens” se erguem impedindo que o líquido seja transferido entre diferentes bacias. O processo é encerrado no instante em que o ponto mais elevado é atingido pelo líquido. Aplicando esse conceito a imagens digitais em escala de cinza, podemos associar o relevo aos diferentes valores de intensidade, pontos de inundação como regiões de baixos valores para essa medida e as barragens como linhas que irão segmentar a matriz de pixels.

2.5.1

Transformada Imagem-Floresta

Entre as diversas formas de implementar a Transformada Watershed, descritas por Roerdink e Meijster (2000), Lotufo et al. (2002) apresentam um algoritmo baseado em caminhos de menor custo em grafos. Intitulada Transformada Imagem-Floresta - IFT (do inglês Image Forest Transform), é a abordagem mais intuitiva ao se projetar soluções em estruturas de nuvens de pontos, dada sua similaridade aos grafos.

Antes de explicar o funcionamento da transformada através da IFT, se faz necessário definir alguns conceitos básicos e notações para o entendimento de pixels em uma imagem em escala de cinza como componentes de grafos.

Definição 2.5.1. (Grafo) Seja  um conjunto de vértices,  um conjunto de arestas e 𝜓𝑔

uma função que define a aresta que conecta um par de vértices (também denotada arco), o trio ordenado = (, , 𝜓𝑔)é dito grafo (BONDY; MURTY et al., 1976).

Definição 2.5.2. (Imagem) Uma imagem I é formada por um conjunto finito de pixels  e uma função 𝐼 (𝑡) que mapeia para cada pixel 𝑡 um valor qualquer.

Definição 2.5.3. (Adjacência) Ao se estabelecer uma relação de vizinhança em um conjunto, similar a função 𝜓𝑔, é definida a adjacência dos elementos, ou seja, elementos adjacentes estão

conectados. Esta relação entre os pixels de uma imagem I, permite uma interpretação como grafo direto, quando as arestas possuem um sentido.

Definição 2.5.4. (Caminho) Uma sequência de arestas, ou pixels, 𝜋 = ⟨𝑡1, 𝑡2, ..., 𝑡𝑛⟩ é dita

caminho se para todo par ordenado (𝑡𝑖, 𝑡𝑖+1) ∈ 𝜋 existe uma relação de adjacência  tal que

1 ≤ 𝑖 ≤ 𝑛 − 1, sendo 𝑡1sua origem (𝑜𝑟𝑔(𝜋 )) e 𝑡𝑛 o destino (𝑑𝑠𝑡(𝜋 )).

Definição 2.5.5. (Custo do Caminho) Assumindo as arestas (𝑠, 𝑡) ∈  e o caminho 𝜋 com 𝑠 = 𝑜𝑟𝑔(𝜋 )e 𝑡 = 𝑑𝑠𝑡(𝜋 ), o custo desse caminho é dado pela função 𝑓 (𝜋 ). Comumente, pesos são atribuídos aos arcos 𝑤(𝑠, 𝑡) e custos definidos para cada aresta ou entre os pixels.

A IFT pode ser descrita em função de três elementos centrais: pontos sementes, caminhos ótimos e florestas espalhadas. Definida uma função de custo qualquer 𝑓 (𝜋), os pontos sementes são um conjunto  ⊆  e todo elemento pertencente a esse conjunto possui um custo definido pela seguinte condição:

𝑓(𝜋 ) = ⎧ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎩ 𝑓 (𝜋 ), se 𝑜𝑟𝑔(𝜋) ∈  +∞, caso contrário, (2.7) sendo esses pixels candidatos à iniciar o processo de busca de caminhos. Dos inúmeros caminhos que podem se originar dos pixels sementes, um caminho é chamado ótimo se o custo 𝑓 (𝜋) desse trajeto for menor que qualquer outro 𝑓 (′_{𝜋 )} para toda 𝑜𝑟𝑔(𝜋) em 𝑡 e 𝑑𝑠𝑡(𝜋)

em 𝑠. Por fim, seja  uma função que associa cada pixel 𝑡 ∈  à outro pixel 𝑠 ∈ , (𝑡, 𝑠) ∈ , ou mesmo uma elemento fora da imagem, aqui denotado por 𝑛𝑢𝑙𝑙 ∉ , uma floresta espalhada ∗ _{será um função capaz de descrever um caminho de qualquer pixel da imagem à}

um semente em um número finito de iterações. Ao se definir uma imagem, uma função de custo e a relação de adjacência dos elementos para a IFT, obtêm-se uma floresta espalhada de caminhos ótimos como resultado. A IFT expande o método Dijkstra para cálculo de caminhos de melhor custo (1959) ao permitir múltiplos pontos de partida (sementes) e generalizando sua função de custo.

Como proposto por Lotufo et al. (2002), a Transformada Watershed é implementada através da IFT usando pontos sementes demarcados previamente. Parâmetros necessários à IFT como adjacência e função de custo são obtidos pela vizinhança dos pixels e por propriedades da imagem (gradiente, coloração, posição, etc.), respectivamente. Definida a função de custo 𝑓𝑝_{(𝜋 ), as linhas de Watershed são encontradas ao se calcular as zonas de}

influência dos pixels sementes, regiões com características próximas à semente, bastando determinar:

 = (𝑓𝑝(𝜋 )), ∀𝑜𝑟𝑔(𝜋 ) ∈. (2.8) A Equação2.8 é implementada (descrito em Algoritmo 2) com o auxílio de uma fila hierárquica, estrutura que ordena a retirada de elementos pela precedência de sua inserção. Vale destacar que a correta seleção dos elementos que constituem o conjunto  é fundamental para uma segmentação satisfatória da imagem, bem como etapas de pré-processamento na imagem de entrada (na vasta maioria dos casos), do contrário, um problema recorrente à transformada será percebido: a super segmentação.

Algoritmo 1IFT-Watershed com marcadores utilizando fila hierárquica (FH)

1: Entrada: : imagem, : marcações (sementes); 2: Saída: : linhas de watershed 3: Auxiliares:

: mapa de custos, iniciados como infinitos;

4: Inicialização:

5: para ∀𝐿(𝑡) ≠ 0 faça

6: 𝐶(𝑡) ← 𝐼 (𝑡),insira 𝑡 em 𝐹𝐻 com custo 𝐶(𝑝)

7: fim para

8: Propagação:

9: enquanto 𝐹 𝐻 não vazia faça

10: 𝑝 ←remova de 𝐹𝐻

11: para cada 𝑠 ∈(𝑡) faça

12: se 𝐶(𝑠) > 𝑚𝑎𝑥{𝐶(𝑡),(𝑠)} então

13: 𝐶(𝑠) ← 𝑚𝑎𝑥{𝐶(𝑡),(𝑠)}

14: Insira 𝑞 em 𝐹𝐻 com custo 𝐶(𝑠)

15: 𝐿(𝑡) ← 𝐿(𝑠)

16: fim se

17: fim para

18: fim enquanto

Fonte: (LOTUFO; FALCÃO; ZAMPIROLLI, 2002) (adaptado).

2.5.2

Super Segmentação

Um problema intrínseco à implementação clássica de watershed pode ser percebido ao se inserir uma imagem natural como entrada: a alta susceptibilidade à criação exagerada de

bacias, consequentemente super segmentando a imagem. Pré e pós-processamento podem diminuir esse efeito, dos quais a segmentação baseada em marcadores (sementes), a suavização da intensidade (filtragens por média ou gaussiana), a aplicação de filtros morfológicos e junção de regiões são conhecidamente eficazes.

Como já dito na implementação da Transformada Watershed através da IFT, pontos sementes são previamente definidos, seja de forma automática ou interativa, garantindo que a imagem de entrada obrigatoriamente terá um número igual de bacias e sementes.

No entanto, apenas o controle de marcação para as regiões não é suficiente para combater a super segmentação, sendo comumente aplicadas operações morfológicas. Como visto na Seção 3.1.2, esse tipo de operação consiste do uso de formas como conjuntos e operações como interações entre essas composições e elementos estruturantes. A combinação das operações de dilatação e erosão é capazes de destacar as bordas de uma imagem em um gradiente morfológico, eliminando assim o número de mínimos regionais. A aplicação da Transformada Watershed após tal operação minimiza o problema de super segmentação, mas não o elimina completamente.

2.6

Revisão Sistemática da Literatura

Os modelos possibilitados pelo Building Information Modeling (BIM) contêm geometria precisa e dados relevantes necessários durante o ciclo de vida dos edifícios (C. EASTMAN et al., 2011). Embora esteja bem estabelecido nas fases de projeto (as-design), o BIM também traz contribuições significativas para os edifícios já construídos (as-built / as-is), tais como gerenciamento, análise forense e preservação. Para tanto, uma série de tarefas é essencial para adquirir todas as informações necessárias para o modelo, incluindo a geometria e a textura reais (TANG et al., 2010). Os escâneres a laser e a fotogrametria são comumente usados na aquisição da superfície dos edifícios em uma representação de nuvens de pontos. Apesar da precisão e fusão de dados possibilitada pelas nuvens de pontos (espacial, cor, infravermelho, etc.), esta representação não fornece o conhecimento semântico exigido pelo BIM. É necessário um árduo trabalho de modelagem para converter nuvem de pontos brutos em modelos ricos em informação. Os métodos de segmentação podem reduzir a dificuldade de modelagem da nuvem para BIM, mas uma técnica totalmente automatizada ainda não está disponível (PĂTRĂUCEAN et al., 2015).

Existem várias abordagens para implementar a segmentação de nuvem de pontos, especialmente no campo robótico (RUSU; COUSINS, 2011). No entanto, aplicar diretamente essas técnicas na criação de modelos BIM pode não resultar em soluções eficientes devido à singularidade dos edifícios. Outro problema comum é a falta de experiência em métodos de segmentação por pesquisadores da área AEC.

A subseção seguinte resume as principais estratégias encontradas no estado da arte da segmentação de nuvens de pontos na criação de modelos BIM, com foco em métodos computacionais.

2.6.1

Metodologia

Utilizando a abordagem de Kitchenham (2004), mais de 660 publicações (sem réplicas) foram coletadas de 9 repositórios, listados na Tabela 2.1, aplicando a string: (“point cloud” AND segmentation AND (“cultural heritage” OR “as-is” OR “as-built”) AND (BIM OR “Building Information Modeling”)). A estratégia adotada para conduzir a revisão sistemática organiza as análises em 3 etapas: (1) Identificação - quando um termo específico suficiente é usado para adquirir toda a literatura nas bases de busca; (2) Seleção - critérios de exclusão anteriores são usados para eliminar falsos positivos; (3) Extração - depois de uma leitura completa, apenas trabalhos verdadeiramente relacionados sintetizam o estado real da pesquisa do tema.

Os seguintes critérios de inclusão/exclusão foram aplicados: confiança na fonte; relevância em engenharia civil, processamento de imagens ou áreas de visão computacional; Inglês como língua do artigo; e disponibilidade de descrição do método de segmentação. Durante a fase de seleção foram mantidos 65 artigos, a extração conduziu a 40. Um relato detalhado de seleção de artigos é apresentado na Tabela 2.1, organizado em fonte e número de trabalhos por fase.

2.6.2

Métodos de Segmentação

Uma maneira simplista de organizar métodos de segmentação de nuvem de pontos é agrupar as técnicas em uma das seguintes categorias: baseada em ajuste de modelo, baseada em crescimento de região, baseada em agrupamento de características ou híbrida. São descritas nas subseções seguintes cada uma das categorias de segmentação, suas aplicações e limitações encontradas na literatura.

Tabela 2.1: Número de trabalhos em cada fase analítica da revisão divididos por base de busca.

Base de Busca Trabalhos Identificados Trabalhos Selecionados Trabalhos Extraídos

IEEE 282 5 2 Springer 137 8 4 Willey 106 6 3 Engineering Village 33 13 10 ASCE 29 8 6 Scopus 15 9 5 Web of Science 15 10 5 Science Direct 11 6 5 ACM 4 -

-Segmentação Baseada em Ajuste de Modelo

Técnicas de segmentação de nuvens de pontos baseadas em ajuste de modelo, partem da hipótese de que uma superfície não natural será sempre formada por elementos geométricos. Dessa maneira, uma nuvem de pontos pode ser decomposta em um conjunto de formas geométricas primitivas, como planos, esferas, cones, etc. Uma implementação desse conceito, amplamente vista na literatura da área de AEC, é o RANdom SAmple Concensus (RANSAC), método que extrai agrupamentos de pontos encontrando os conjuntos mínimos capazes de corresponder a formas predefinidas. Introduzido na detecção de formas em nuvens de pontos não organizadas por Schnabel, Wahl e R. Klein (2007), o método parte pela busca de elementos aleatórios e, caso esses pontos obedeçam à geometria buscada, o conjunto é extraído. O processo é repetido até que uma quantidade limite de tentativas seja atingida.

Formalmente, dada uma nuvem de pontos  associada a suas normais {𝑛1, ..., 𝑛𝑛} e um

conjunto de formas primitivas Ψ = {𝜓1, ..., 𝜓𝑛}, a aplicação do RANSAC resulta em conjuntos

disjuntos de formas candidatas 𝜓1 ⊂ , ..., 𝜓𝑛 ⊂  e pontos não classificados  =  ⧵

{𝜓1, ...,𝜓𝑛}. Para que a forma do conjunto candidato seja definida, é avaliada a orientação

das normais dos pontos seguindo heurísticas de formas conhecidas (SCHNABEL; WAHL; R. KLEIN, 2007). Porém, como a Equação 2.9 demonstra, a baixa probabilidade de identificação de formas do RANSAC compromete seu custo computacional.

𝐏(𝑛) = ( 𝑛 𝑘)/( 𝑁 𝑘 ) ≈ ( 𝑛 𝑁 ) 𝑘 (2.9)

onde 𝑁 é o tamanho de , 𝑛 é o número de pontos candidatos a forma e 𝑘 é o número mínimo de pontos necessários para a forma.

RANSAC é um método de estimação de elementos largamente aplicados na criação de modelos as-is, sobretudo em trabalhos onde os elementos arquitetônicos a serem segmentados podem ser descritos via estruturas simples (ver Figura 2.2 e Tabela 2.2). Paredes, teto, telhado e pisos são descritos como planos e assim facilmente separados com altas taxas de acerto (MACHER; LANDES; GRUSSENMEYER, 2015; SHENG et al., 2016; AWWAD et al., 2010a; YANG; SHI, 2014). Uma vez disjuntas, a utilização das bordas dessas regiões é proposta em certos casos onde os limites dos planos podem descrever estruturas mais complexas como: seções transversais (LANDES; BIDINO; GUILD, 2014b), janelas (JUNG; HONG; YOON et al., 2015), ornamentos geométricos (BOULAASSAL; CHEVRIER; LANDES, 2010) ou estruturas de sustentação (HONG et al., 2015).

Tabela 2.2: Trabalhos que aplicam RANSAC na segmentação de elementos arquitetônicos.

Autor Objetivo Limitações

Wang et al. (2015) Segmentar elementos estruturais simples _{complexas e baixa automação.}Super segmentação de estruturas G. Zhang et al. (2015) _{ruidosas e massivas}Extrair planos de nuvens de pontos Limitado a planos.

Awwad et al. (2010b) _{de elementos arquitetônicos}Aumentar a automação na segmentação _{elementos não planos.}Sensível a ruido e incapaz de extrair Jung, Stachniss e Kim (2017) Criação autônoma de wireframe Número elevado de pontos ignorados.

Sharif et al. (2017) Identificar formas complexa predefinidas Dependência de formas 3D modeladas. Von Hansen, Michaelsen e Thönnessen (2006) Reduzir densidade de pontos Exclusão indeterminada de pontos.

Anagnostopoulos et al. (2016) Reconhecimento de paredes, teto e piso _{erroneamente classificados.}Elementos complexo Boulaassal, Chevrier e Landes (2010) Criação de modelos através de bordas Baixo nível de automação.

Yang e Shi (2014) Reconhecimento de janelas _{densidade da nuvem.}Diminuição drástica na

Brie et al. (2016) Representação 2D da nuvens Suceptivel apenas para estruturas planas. Dellepiane et al. (2011) _{nuvens de pontos}Redução racional da densidade de _{formas complexos.}Redução acentuada de detalhes com Jung, Hong, Jeong et al. (2014) _{construções}Segmentação de elementos internos de Simples aplicação do RANSAC. Jung, Hong, Jeong et al. (2014) _{espaços internos}Redução do tempo de modelagem de _{e alta sensibilidade a ruído.}Perda de informação, baixa automação Maalek, Lichti e Ruwanpura (2015) Segmentação de planos Super segmentação.

Hong et al. (2015) Criação de modelos wireframe 3D Número elevado de pontos ignorados. Landes, Bidino e Guild (2014a) Criação automatizada de vistas seccionais Ajuste fino de parâmetros necessário

Macher et al. (2014) Criação de modelos para HBIM _{de parâmetros.}Excessivas definições empíricas Zolanvari, Laefer e Natanzi (2018) _{arquitetônicos}Segmentação de bordas de elementos _{são identificadas.}Apenas bordas retangulares Macher, Landes e Grussenmeyer (2016) Modelagem de interiores _{descrição do método.}Baixa automação,

Sheng et al. (2016) Extração de componentes arquitetônicos Hipótese restrita a arquiteturas regulares.

Os trabalhos sintetizados na Tabela 2.2 indicam que apesar da efetividade em segmentar elementos que satisfaçam formas primitivas, elementos formados pela concatenação desses tipos ou estruturas mais complexas não são corretamente identificadas por essa técnica. No entanto, esta estratégia é largamente aplicada na segmentação de dados da construção.

(a) (b) (c)

Figura 2.2: Exemplos de trabalhos que aplicam RANSAC. Fontes: (LANDES; BIDINO; GUILD, 2014b) (a),(SHENG et al., 2016) (b),(DELLEPIANE et al., 2011) (c)

Segmentação Baseada em Crescimento de Regiões

Esta classe de métodos de segmentação baseia-se em expandir rótulos de pontos inicialmente definidos como “sementes” e determina se os vizinhos pertencem a mesma região desses pontos ou não, de forma iterativa. Em termos gerais, abordagens de crescimento de região usam um critério de escolha, como curvatura e coloração, para pontos semente e comparam se vizinhos estão em uma faixa aceitável de correlação.

O desvio angular dos pontos é o critério mais utilizado na fase de expansão das regiões (JALAEI; JRADE, 2014; WANG; CHO; KIM, 2015). Demonstrado por Rabbani, Van Den Heuvel e Vosselmann (2006), áreas com baixa variação angular são definidas como sementes e posteriormente expandidas, baseada em um limite angular entre pontos, na forma da Equação 2.10, com base nas normais dos pontos:

‖

‖𝑛𝑝⋅ 𝑛𝑠‖_{‖ > cos(𝜃}𝑡ℎ), (2.10)

onde 𝑛𝑝é a normal de um ponto, 𝑛𝑠é a normal da semente e 𝜃𝑡ℎé o limite angular imposto.

Outro critério para comparação e expansão das regiões visto na literatura é a cor, quando esta informação está disponível. Similaridade de cores pode ser descrita como distâncias em um dado espaço de cor, e uma forma comum de se calcular diferenças colorimétricas é calculando a distância euclidiana, como visto em Zhan, Liang e Xiao (2009) na forma:

(𝐶1, 𝐶2) =

√

(𝑟1− 𝑟2)2+ (𝑔1− 𝑔2)2+ (𝑏1− 𝑏2)2 (2.11)

para os pontos (𝐶1, 𝐶2)com informações de cor 𝑟, 𝑔, 𝑏 divididas nos respectivos componentes vermelho,

verde e azul.

Esta é uma abordagem mais tolerantes a formas adversas, diferentemente das técnicas baseadas em ajuste de modelo, e apresenta resultados com boas taxas de acerto ao segmentar

objetos planos ou com curvatura dentro de um parâmetro tolerável (WANG; CHO, 2014b; DIMITROV; FARD, 2015), ou quando coloração é um bom descritor das estruturas (ZHAN; LIANG; XIAO, 2009).

(a)

(b)

Figura 2.3: Exemplos de trabalhos que aplicam crescimento de regiões. Fontes: (ZHAN; LIANG; XIAO, 2009; WANG; CHO; KIM, 2015)

Tabela 2.3: Trabalhos que aplicam crescimento de regiões na segmentação de elementos arquitetônicos.

Autor Objetivo Limitações

Jalaei e Jrade (2014) _{em áreas residenciais}Extração automática de telhados Super segmentação Wang e Cho (2014a) _{baseada em bordas}Reconhecimento de estruturas simples Baixa precisão.

Wang et al. (2015) _{construções simples}Modelagem semiautomática de _{segmentar elementos irregulares}Resultados tendenciosos; incapaz de Xiong et al. (2013) _{ambiente interno parcial obstruído}Identificar componentes estruturais em um _{em elementos planos}Método efetivo apenas

Bassier, Van Genechten e Vergauwen (2018) Segmentação de elementos estruturais genéricos Perda de detalhes dos segmentos Nunez et al. (2006) Segmentar elementos com alta curvatura Alta sensibilidade a ruídos Gonzálvez et al. (2017) _{na documentação de construções históricas}Provar a viabilidade de LIDAR _{como “caixa-preta”}Método de segmentação empregado

Métodos de crescimento de regiões são limitados pelo critério de expansão e seleção dos pontos sementes , ou seja, uma vez atendido o critério usado na definição dos segmentos, outros fatores de seleção não serão levados em consideração. Um exemplo prático dessa restrição pode ser vista na Figura 2.3 em que, no caso da coloração (a), os elementos arquitetônicos com tonalidades próximas são mesclados, enquanto ao se ponderar apenas a geometria do dado (b) ocorre sub segmentação. Na Tabela 2.3 são enumeradas outra

limitações das aplicações que utilizam o crescimento de regiões, sendo a alta sensibilidade à ruído a maior delas.

Segmentação baseada em Grafos

A tarefa de segmentar nuvens de pontos pode também ser interpretada como busca em grafos graças à semelhança das nuvens com redes, bastando assumir os pontos como nós e as distâncias como pesos das arestas que conectam esses vértices. No caso das nuvens organizadas, a informação de adjacência entre pontos nativa apresenta arestas pré-definidas, permitindo a aplicação direta desses algoritmos. Já em nuvens desorganizadas, se faz necessária a definição de uma estrutura de dados antes de se estimar vizinhanças, sendo comumente utilizadas árvores.

Diferentes funções de custo e diferentes características atribuídas como pesos para os arcos tornam essa uma abordagem bastante flexível. Cores e diferença entre normais (Figura 2.4 (a) e (b)) podem ser usadas como peso na segmentação de regiões (JUNG; STACHNISS; KIM, 2017; ELKHRACHY, 2017) e detecção de bordas (BRIE et al., 2016), respectivamente. Outra aplicação para grafos em AEC extrapola a segmentação dos dados e adentra no reconhecimento de padrões, ao serem implementadas heurísticas na descrição de componentes como paredes, pisos e tetos. A orientação desses segmentos e a relações entre os mesmos permite a aplicação de regras simples de classificação (ANAGNOSTOPOULOS et al., 2016).

(a) (b)

Figura 2.4: Exemplos de trabalhos que aplicam segmentação por agrupamento. Fontes: (STROM; RICHARDSON; OLSON, 2010; BIZJAK, 2016)

Apesar das poucas e recentes aplicações de segmentação por grafo encontradas nessa revisão, esta estratégia se mostra promissora e com grande potencial de evolução. Entretanto, ainda é notável a baixa importância dada a informações não espaciais.

Tabela 2.4: Trabalhos que aplicam agrupamento na segmentação de elementos arquitetônicos.

Autor Objetivo Limitação

Dong et al. (2018) Segmentação de regiões planas em construções _{super segmentados}Objetos formados por múltiplos planos são Son e Kim (2017) _{durante etapas de construção}Segmentar elementos estruturais Custo computacional elevado

Xu et al. (2018) Segmentar estruturas em áreas de construção _empíricosEficiência diretamente ligada a parâmetros

Segmentação Híbrida

Combinar diferentes características das nuvens ou mesmo diferentes técnicas de segmentação é outra estratégia possível na tarefa de se obter regiões mais representativas para nuvens de pontos da construção. Um único trabalho foi encontrado nessa revisão, onde Sheng et al. (2016) utiliza a extração de planos com RANSAC combinada com a técnica K-means (A. K. JAIN; DUBES, 1988). Isso é realizado por meio de calculo a distância euclidiana entre as superfícies encontradas e pontos aleatórios no espaço, identificando-as como grupos coesos e assim segmentando paredes e pisos.

Essa é um área promissora, com trabalhos nas áreas de robótica e automação, porém timidamente explorada na AEC. Analogamente às abordagens de agrupamento, são poucos os trabalhos que aplicam técnicas híbridas na segmentação de componentes arquitetônicos de nuvens de pontos de edificações, históricas ou não.

2.6.3

Discussão

Ao se analisar as diferentes metodologias aqui apresentadas, fica evidente o forte aspecto geométrico das abordagens que ainda fazem pouco uso das diferentes suplementações provenientes de múltiplos sensores. O próprio tipo do dado força essa escolha, já que inúmeros fatores comprometem seu processamento, sendo seu custo computacional o principal deles.

O nível de detalhamento exigido nos modelos digitais “as-is” é incompatível com a atual precisão das técnicas de segmentação, levando a adoção de métodos semiautomáticos e delegando grande parte desse trabalho aos modeladores. Porém, no caso da intensidade/coloração, é destacável o potencial de soluções já estabelecidas no processamento de imagens visto a robustez e as inúmeras melhorias ocorridas ao longo das décadas nessa área. Técnicas híbridas, capazes de enriquecer métodos já estabelecidos na

segmentação de nuvens de pontos com abordagens firmadas no processamento de imagem, surgem como alternativa frente ao grau de exatidão exigido no estudo de edificações históricas.

Capítulo 3

Operações Morfológicas em Nuvens de

Pontos

Nuvens de pontos são representações de superfícies contendo informações geométricas e intensidade/cor em um sistema de coordenadas tridimensionais (WOLF; DEWITT; WILKINSON, 2000). As nuvens de pontos podem ser classificadas como organizadas ou não organizadas. Em nuvens de pontos organizadas (NPO), o mapa de adjacência entre os pontos é nativo à estrutura, já que este tipo de nuvem se assemelha a imagens bidimensionais acrescidas de profundidade. Já em nuvens de pontos não organizadas (NPNO) a vizinhança imediata dos pontos não é conhecida. A falta desta informação impede a aplicação de técnicas de melhoramento na intensidade/cor, como as soluções já estabelecidas na teoria morfológica matemática.

A morfologia matemática provê técnicas poderosas e versáteis, sendo largamente aplicada em problemas de processamento de imagens. Suas aplicações podem ser realizadas em dados de natureza binária, tons de cinza ou em canais de cor. O gradiente morfológico, por exemplo, é uma operação que possibilita a identificação de bordas de uma imagem, oferecendo informações úteis para sua análise.

Neste capítulo, é proposta a aplicação de operações morfológicas de dilatação e erosão em NPNO representados por grafos, especificamente no domínio da intensidade. Para alcançar este objetivo é necessário o uso de octree e vizinhança de voxels como meio de layout retangular. Nas seções seguintes serão apresentados conceitos referentes a octree, voxels e operadores morfológicos básicos (Seção 3.1), estratégias correlatas (Seção 3.2), metodologia

aplicada (Seção 3.3), resultados obtidos (Seção 3.4) e considerações finais sobre a abordagem proposta (Seção 3.5).

3.1

Referencial Teórico

A proposta aqui introduzida é baseada na criação de grafos não orientados a partir de nuvens de pontos desorganizadas, e posterior aplicação de operações morfológicas nesses grafos. Nessa seção são apresentados conceitos de estruturas octree, adjacência de voxels e morfologia matemática em grafos.

3.1.1

Octree de Voxels Esparsos

Octreessão estruturas de dados hierárquicas usadas na partição espacial tridimensional, onde o espaço inicial é dividido em oito sub-regiões iguais (ver Figura 3.1) de forma recursiva até se alcançar a largura desejada (REVELLES; URENA; LASTRA, 2000). Os voxels que compõem uma octree podem ser acessados através de uma indexação típica de árvore. Voxels podem ser entendidos como pixels enriquecidos com coordenadas 3D e volume fixo. Uma octree que armazena voxels, inclusive aqueles vazios, é chamada esparsa. Proposta como estratégia para compressão eficiente de resolução geométrica (LAINE; KARRAS, 2011), sua aplicação se estende à aplicações como: reconhecimento de padrões volumétricos (RIEGLER; OSMAN ULUSOY; GEIGER, 2017), processamento de nuvens de pontos massivas (ELSEBERG; BORRMANN; NÜCHTER, 2013), visualização iterativa (BEYER; HADWIGER; PFISTER, 2015), modelagem de superfícies baseadas em imagens (LOOP; C. ZHANG; Z. ZHANG, 2013), entre outras.

Figura 3.1: Representação volumétrica (esquerda) e hierárquica (direita) de octree de voxels esparsos com dois níveis. Fonte: (WILHELMSEN, 2012).

A estrutura hierárquica da árvore e o rigor do particionamento garante, além da ordenação dos dados, a criação de um mapa de adjacência de voxels. Dado o conjunto de voxels e a informação de adjacência gerada pela octree têm-se um grafo não orientado.

3.1.2

Morfologia Matemática

O arcabouço de técnicas de processamento de imagens baseadas na análise da forma de estruturas através da teoria dos conjuntos define a morfologia matemática (SOILLE, 2013). Toda operação morfológica baseia-se na interação entre os conjuntos imagem e elemento estruturante(EE), onde este define uma vizinhança (adjacência) entre pontos. As operações primitivas de erosão e dilatação são fundamentais em qualquer operação morfológica e a aplicação de ambas são similares quanto a forma de filtragem espacial: o centro do EE é posto sobre cada pixel da imagem original e seu novo valor será dado por uma combinação entre a vizinhança definida por EE. Essas operações serão formalizadas como inteiros e os conjuntos como matrizes em R2_.

Definição 3.1.1. (Dilatação) Seja a imagem 𝐴 e o EE 𝐵 conjuntos ∈ R2_{a dilatação de 𝐴 por}

𝐵é definida como:

𝐴 ⊕ 𝐵 = {𝑧 ∣ 𝐵𝑧∩ 𝐴 ≠ ∅}, (3.1)

sendo o resultado da dilatação 𝑧 todos os elementos onde 𝐴 e 𝐵 se sobrepõem ao menos uma vez (SOILLE, 2013).

Definição 3.1.2. (Erosão) Seja a imagem 𝐴 e o EE 𝐵 conjuntos ∈ R2 _{a erosão de 𝐴 por 𝐵 é}

definida como:

𝐴 ⊖ 𝐵 = {𝑧 ∣ 𝐵𝑧 ⊆ 𝐴}, (3.2)

sendo o resultado da erosão 𝑧 todos os elementos tal que 𝐵, transladado por 𝑧, estão contidos em 𝐴(SOILLE, 2013).

Apesar da aplicação direta dessas operações em imagens discretas em R2_{, os mesmos}

conceitos podem ser aplicados de forma geral em qualquer espaço que contenha uma estrutura vetorial (HEIJMANS; VINCENT, 1993), como em grafos. Nesse caso, para um ponto 𝑣 e um espaço vetorial 𝑆 com 𝑣 ∈ 𝑆 podemos definir uma adjacência 𝑁 (𝑥) como {𝑣 + 𝑎 ∣ 𝑎 ∈ 𝐴}, onde 𝐴 é um EE.

Formalmente, grafos são formados por um conjunto de pontos, chamados vértices (𝑉 ) e pelas conexões entre si, denotadas arestas (𝐸), podendo ser escrito como 𝐺 = (𝑉 , 𝐸). Dado um

grafo 𝐺(𝑉 , 𝐸) e um subgrafo (elemento estruturante) 𝐻, as operações de dilatação (𝛿) e erosão (𝜖) podem ser definidas, respectivamente, como:

𝛿(𝐺 ∣ 𝐻 ) = ⋃

𝑣∈𝐺

𝑁 (𝑣)

𝜖(𝐺 ∣ 𝐻 ) = {𝑣 ∈ 𝑉 ∶ 𝑁 (𝑣) ⊆ 𝐺}

(3.3)

Como demonstrado por Heumans et al. (1992), tais operações podem ser estendidas do R2

para grafos, segundo a proposição {𝑣, 𝑤 ∈ 𝐺 ∣ (𝑣, 𝑤) = (𝑤, 𝑣)}, devido à simetria 𝑣 ∈ 𝑁 (𝑤) se 𝑤 ∈ 𝑁 (𝑣).

A partir da subtração das operações primitivas (𝛿 − 𝜖) podemos encontrar o gradiente morfológico (SOILLE, 2013), representado pelas funções g (imagem) e g* (grafo).

𝑔 = (𝐴 ⊕ 𝐵) − (𝐴 ⊖ 𝐵) 𝑔 ∗ = 𝛿(𝐺 ∣ 𝐻 ) − 𝜖(𝐺 ∣ 𝐻 )

(3.4) o gradiente destaca o contraste de intensidade de um ponto e sua vizinhança, possibilitando a detecção de bordas e procedimentos de segmentação.

3.2

Estratégias para Operações Morfológicas em NPNO

Operações morfológicas podem ser aplicadas diretamente em NPO, dado que já possuem informação de adjacência (HERNÁNDEZ; MARCOTEGUI, 2009; SERNA; MARCOTEGUI, 2014). No caso das NPNO, seu uso é ainda pouco empregado fora das relações multidimensionais, quando apenas informações geométricas são parâmetro de análise (GORTE; PFEIFER, 2004; PINGEL; CLARKE; MCBRIDE, 2013).

Calderon e Boubekeur (2014) introduzem o arcabouço Point Morphology e que consiste em uma técnica baseada em Point Set Surfaces (PSS) (ALEXA et al., 2003) capaz de gerar modelos de sólidos “suaves” originados de NPNO. Tais modelos são obtidos na conversão de nuvens de pontos em um conjunto de superfícies ∏ = {𝝅𝑖 = (𝐩𝑖, 𝐧𝑖)} (pontos e respectivas

normais) projetadas em formas primitivas, computadas pelo métodos de Movimento de Quadrados Mínimos (MQM) (LEVIN, 1998). Quanto às operações morfológicas, é adotada uma estratégia de projeções, o que elimina a necessidade de definições explícitas de