Foveamento em nuvem de pontos

Interessados em acelerar a recuperação de objetos numa nuvem de pontos a partir da aquisição de dados no mundo real, Gomes e colaboradores (Gomes et al. 2013) criaram uma técnica chamada de Nuvem de Pontos Foveada (NPF) (Foveated Point Clouds). A técnica de NPF tem a sua base teórica no modelo MFM (Gomes 2009). Assim várias formulações das estruturas foveadas da NPF são uma extensão do modelo MFM para o espaço 3D.

Então a proposta da NPF tem o mecanismo base utilizar o downsampling na nuvem de pontos original usando caixas concêntricas, onde cada uma representa um nível. Diferen- temente da MFM que re-amostra trechos concêntricos da imagem original a NPF produz uma nuvem de pontos com uma densidade diferente para cada caixa. A mais externa da estrutura foveada possui um dos seus vértices situado a uma coordenada 3D específica que define o modelo do sistema de coordenadas de toda a estrutura, além de descartar qualquer ponto que não esteja inserido dentro de alguma caixa. Gradativamente as caixas internas vão ficando menores e são posicionadas de maneira linear, uma dentro da outra. A menor caixa é denominada como fóvea, de forma similar à MFM onde é a região 3D com maior densidade (ou resolução) na estrutura foveada como podemos ver na Figura 2.2.

O esquema de downsampling é aplicado do maior nível (caixa fóvea) até o menor nível (caixa mais externa). Conforme há um acréscimo no tamanho das caixas, menor é a densidade de pontos encontradas na região por elas ocupadas, de modo que chega até à caixa mais externa que possui a menor densidade da estrutura foveada.

O foveamento em nuvem de pontos define m + 1 caixas de tamanho Sk ∈ R3, onde

k= 0, 1, . . . , m representa cada nível da estrutura foveada. Cada nível tem a densidade de pontos alterada, o primeiro nível (level 0) tem um fator redução de densidade d0 e o

ultimo nível (level m) possui um fator de redução de densidade de pontos dm. De forma 12_{Precisioncorresponde as proporções de resultados positivos e negativos em estatística e testes de diag-}

nóstico que são resultados verdadeiros negativos e verdadeiros positivos. E Recall (ou Sensitivity) que é a fração de casos relevantes que são recuperados.

18 CAPÍTULO 2. FUNDAMENTAÇÃO TEÓRICA

Figura 2.2: Representação da execução da NPF com três níveis de densidade e m = 2 com a aplicação de detecção de objetos como plano de fundo. Possuindo um total de 74742 pontos e 2429 keypoints selecionados, onde a cena original possuí 307200 e seleciona 3747 keypoints no geral.

semelhante à MFM os níveis intermediários são uma interpolação linear entre d0 e dm.

No entanto, vale ressaltar que cada nível da estrutura da MFM com exceção da fóvea é parcialmente oco. A parte vazia dos níveis ocorre a partir do espaço relacionado ao próximo nível, mas como a caixa fóvea é o último, ou seja, não possui próximo nível então ela é completa.

A maior caixa possui três parâmetros: tamanho S0, orientação e posição (denotada

como ∆). Geralmente, se toda a NP for coberta, é possível ajustar automaticamente es- tes três parâmetros como uma caixa delimitadora em toda a cena, embora em algumas aplicações, seja interessante colocá-la em uma parte, considerando uma nuvem de pontos enorme (e.g. mapas topográficos ou urbanos). Essa estrutura é bem ilustrada na Figura 2.3.

Nos modelos foveados a menor região da estrutura é a fóvea. Assim a menor caixa é guiada por uma fóvea F que é a mais interna da estrutura. A origem do sistema de coordenadas da fóvea também é o ponto (0, 0, 0) como na MFM. Dessa forma, o vetor F é definido pela Equação 2.5

F = F0−S0

2 , (2.5)

2.2. TÉCNICAS PARA NUVEM DE PONTOS 3D 19

Figura 2.3: A Figura de (Gomes et al. 2013) é um exemplo de como é disposta a estrutura foveada no modelo de NPF.

O deslocamento das caixas para um nível k é δk ∈ R3, assim δ0 = (0, 0, 0) e F0 =

δm+S₂m. Cada caixa é deslocada seguindo a interpolação linear dada pela Equação 2.6,

lembrando bastante a Equação 2.2 utilizada na MFM.

δk= k

Sm+ S0+ 2F

2m (2.6)

Notando que δk é definido apenas para m > 0, em outras palavras, o sistema precisar

ser foveado, ou seja, a estrutura foveada precisa ter no mínimo 2 níveis. Podemos ver como é aplicado os deslocamentos dos níveis na Figura 2.3, onde é ilustrado apenas na direção x.

Já o tamanho de cada k-ésima caixa é interpolada linearmente pela Equação 2.7, bem similar a Equação 2.1 da MFM.

Sk=

k(Sm− S0) + mS0

m (2.7)

O fator de crescimento dos níveis internos da estrutura foveada é G = (Sx, Sy, Sz) ∈

R3, onde as componentes de Sx, Sy, Sz são o fator escala aplicado nas direções x, y e

z, respectivamente. Esse fator aumenta o número de pontos, ampliando o volume dos níveis. É notado se G → ∞ a estrutura foveada tem o comportamento de um modelo sem foveamento. Os esquemas de reconhecimento de objetos com e sem foveamento podem ser vistos nas Figuras 4.3 e 4.2, respectivamente.

Assim Gomes et al. (Gomes et al. 2013) afirma que cada nível é limitado pela a margem inferior do máximo entre δ_k− G e a origem (0, 0, 0), representado pela Equação 2.8, e a margem superior do mínimo entre δk+ G + Sk e S0, apresentado pela Equação

2.9.

20 CAPÍTULO 2. FUNDAMENTAÇÃO TEÓRICA

Capítulo 3

Trabalhos relacionados

A quantidade de produções na literatura que trabalham com técnicas de foveamento em nuvem de pontos e multifoveamento é escassa, sem considerar as duas técnicas na mesma proposta. Assim, iremos organizar o estudo com as técnicas com maior afinidade em relação a esta proposta. Desse modo, procuramos realçar as principais características de cada publicação, considerando a diversidade do uso das técnicas, de acordo com uma ordem cronológica, onde são apresentados resumidamente na Tabela 3.1.

3.1

Trabalhos de multifoveamento

Foram estudados em Tabernero et al. (Tabernero et al. 1999) os resultados das apli- cações de uma filtragem variante passa-baixa usando kernels de rotação e escala para ambas as representações no espaço e frequência espacial de um sinal bidimensional (ima- gem 2D). Mostra-se ao aplicar essa transformação a um par de Fourier, os dois sinais resultantes também podem formar um par de Fourier quando os filtros usados em cada domínio mantêm uma relação dual. Assim é afirmado que um filtro passa-baixa1scaling- rotating variant filtering2 (SRVF) é equivalente a uma deformação (warping) log-polar para a representação de uma imagem, seguido por uma filtragem passa-baixa invariante que corresponde à deformação inversa. Assim foi apresentada uma implementação efici- ente usando filtros direcionáveis para calcular tanto a imagem foveada quanto o espectro local.

A relação do trabalho de Tabernero et al. com a proposta deste trabalho é a aplicação do algoritmo desenvolvido em (Tabernero et al. 1999). Ele calcula conjuntos de pontos de atenção formando uma imagem multifoveada. Dada uma imagem qualquer é feita uma sobreposição por um conjunto de pontos de fixação (conjunto de fóveas), de forma que a partir da imagem multifoveada é obtido um arranjo de informações das diferentes fóveas, resultando numa imagem com alta resolução nos pontos de interesse. A técnica mostra como um número relativamente reduzido de pontos de atenção são suficientes para representar a informação mais significativa da imagem. Alguns pontos em aberto foram deixados como, os relacionados a uma formulação teórica do caso discreto e as potenciais

1_{Rejeitador de sinais de altas frequências como os detalhes na imagem (e.g. bordas e cornes), esses}

filtros são os suavizadores.

22 CAPÍTULO 3. TRABALHOS RELACIONADOS

(a) (b) (c)

Figura 3.1: Imagens adaptadas do trabalho (Camacho et al. 2002). Segundo Camacho Lozano et al., a Figura 3.1a corresponde a exemplificação da estrutura usada no método deles com l, r,t, b = 2, 9, 3, 4, já na Figura 3.1b é outra configuração com l, r,t, b = 7, 1, 4, 3 e pôr fim a Figura 3.1c é uma estrutura multifoveada que é formada pelas estruturas das Figuras 3.1a e 3.1b.

aplicações, especialmente àqueles relacionados ao estudo das invariâncias à rotação e à escala.

A Field Programmable Gate Array3 (FPGA) é notável pela grande capacidade de re- alizar as operações paralelamente. De modo que os algoritmos paralelizáveis têm um melhor aproveitamento quando embarcado nessas placas, antes de serem produzidos em hardware. Assim Camacho Lozano et al. implementaram um algoritmo baseado em uma pirâmide Gaussiana que suporta múltiplas fóveas (Camacho et al. 2002). Elas são defini- das em subdivisões que determinam o campo de visão em cada fóvea para a construção dos níveis da estrutura. As subdivisões padrões são l, r,t e b que são respectivamente os sentidos: esquerda, direita, cima e baixo, ilustrados nas Figuras 3.1. De acordo com a for- mulação proposta pelos autores, a origem do sistema de coordenadas é a borda superior esquerda da estrutura que é delimitada pela relação entre o minimun jump4, a subdivisão do nível JN, as dimensões (horizontal e vertical) e as subdivisões de cada lado da estrutura

foveada. De forma similar, a delimitação da estrutura e as coordenadas são determinadas pelos níveis da pirâmide que obtêm como resultado os cantos de cada nível que relaci- ona os campos de visão mapeados. De acordo com os autores, o multifoveamento é feito pela reaplicação desses procedimentos e tem como vantagem a possibilidade do proces- samento paralelo para as várias regiões de interesse.

Um mecanismo de controle para transmissão de vídeo baseado no envio de imagens de resoluções não uniformes que depende do canal de transmissão foi proposto por Ro- drígez Fernández e colaboradores em (Rodríguez et al. 2002). Para a elaboração desse mecanismo foi criado um método baseado no rastreamento de objetos por hierarquia por meio de uma estrutura piramidal adaptativa que determina áreas de interesse. Assim foi usado o método de grade cartesiana exponencial com estimadores de movimento para selecionar as regiões de interesse e relacioná-las entre os frames.

3_{Um circuito integrado projetado para ser configurado por um consumidor ou projetista após a fabrica-}

ção.

4_{O menor fator de distância comum J}

0 que é a menor distância do pixel para deslocar a fóvea ou

3.1. TRABALHOS DE MULTIFOVEAMENTO 23

O multifoveamento em (Rodríguez et al. 2002) foi conseguido basicamente pela so- breposição das estruturas foveadas separadamente. Assim a transmissão da estrutura é realizada garantindo maior prioridade para as regiões de interesse, ou seja, os níveis pró- ximos da fóvea. O mecanismo foi desenvolvido para conexões que possuíam delays ele- vados, de modo que poderia transmitir os diferentes níveis de resolução gerada pelas estruturas foveadas em velocidades diferentes. Então, uma vez que houve a recepção da informação visual e a recepção foi incompleta, a informação visual em multirresolução reconstruída pode incluir informações dos pacotes anteriores. Quando isso ocorre o des- locamento é grande e a banda da rede é limitada à região da fóvea. Conforme Rodrígez Fernández et al., uma solução proposta para este problema seria enviar uma fóvea que englobe todo o movimento. A principal vantagem da técnica é garantir a qualidade do objetivo mesmo quando a banda da rede é variável.

Outro trabalho importante nessa área foi o de Dhavale e Itti em (Dhavale & Itti 2003) que explora a abordagem de compressão de vídeo usando multifoveamento. Primeira- mente, eles usam um modelo neurobiológico de atenção para extração de regiões de interesse, ou seja, extração de features de baixo nível (cores, movimento, orientação e intensidade), de uma forma totalmente automática. Posteriormente, esses locais de fixa- ção são usados para formar um mapa de saliência5. Sendo um modelo semelhante aos dados de movimentações dos olhos humanos.

No estudo feito em (Dhavale & Itti 2003), foram avaliadas duas abordagens de fo- veamento com base em objeto e localização, onde a metodologia empregada foi o da pirâmide Gaussiana para cada fóvea. Através da ponderação binomial do valor mínimo entre a saliência, wi, e a distância, gi(x, y), do ponto ao objeto, P(x, y), onde é gerado

um valor que define o resultado da pirâmide Gaussiana que será utilizada para compor a imagem multifoveada. Um dos efeitos colaterais do multifoveamento nesse algoritmo mencionado pelos autores é uma suavização chamada de beauty jumps, onde os frames são uma média temporal de modo que os deslocamentos das fóveas parecem suavizá-los. Como visto na literatura apresentada na Seção 3.1, confirmamos que o multifove- amento é aplicado em diversos contextos através da repetição das estruturas foveadas. Os trabalhos citados, desenvolvidos em software, utilizam a extração de features de mo- vimento para inferir conhecimento sobre o contexto. Dentre esses, existem alguns que são capazes de realizar o multifoveamento em tempo real, mas para fazer isso utilizam hardwaresdedicados reprogramáveis como as FPGAs, que tem um grande poder de pro- cessamento paralelo. Como já dito nos capítulos anteriores, a multiplicação das estruturas foveadas em um sistema pode provocar interseções entre as estruturas e, por conseguinte, trazer redundância na análise. Dos trabalhos analisados os únicos que trataram o problema das redundâncias causadas pelas intersecções das estruturas foveadas foram os (Camacho et al. 2002) e (Rodríguez et al. 2002).

Assim em (Camacho et al. 2002) e (Rodríguez et al. 2002), as regiões de interesse são codificadas considerando como caso especial os elementos que pertencem a mais de uma região na mesclagem das estruturas foveadas. Esses elementos são identificados,

5_{A proposta de Koch e Ullman (Koch & Ullman 1987) que pode ser descrito como a representação dis-}

tinta da localização das informações de interesse (conspicuidade). Basicamente é formado pela combinação de vários mapas de features elementares.

24 CAPÍTULO 3. TRABALHOS RELACIONADOS

onde toda a região de interesse tem uma flag bit que é ativada durante uma janela de tempo para os elementos redundantes. Então os maiores níveis da pirâmide (as fóveas) são processados de forma separada das estruturas foveadas, para amenizar o processa- mento redundante gerado pela mesclagem das estruturas. No entanto, essa abordagem é atenuante apenas, pois existem redundâncias dos outros níveis mesclados das estruturas foveadas.

As diferenças básicas desse método de eliminação de regiões de redundância para o realizado nesta proposta é, primeiramente, os tipos dos dados que são imagens rasters 2D, enquanto o desta proposta são as nuvens de pontos 3D. Além da nossa abordagem de método remover todos os elementos redundantes de cada nível das estruturas foveadas.