Three-dimensional Radial Active Contour Model:
A 3-D to 1-D Image Segmentation Technique
T. M. D. Almeida, P. C. Cortez and T. D. S. Cavalcante
1Abstract— In this paper we present a new technique of 3D
volume segmentation to be applied in general 3D shapes. This technique, called Three-dimensional Radial Active Contour Model (3D Radial Snakes), generalize the concept of Active Rays and use the idea of rays coming from a central point inside an object of interest to be segmented. This rays lies among a 3D space and are represented by two angles and it’s length. The idea of this model is to achieve the edge of the object of interest by the analysis of the information only on the ray (1D). We perform tests in synthetic 3D shapes varying the number of rays and computing the mean distance from the original shape and calculating how similar the shapes are. We calculate the processing time by segmentation cycles and compare against 3D Region Growing technique. The obtained results from synthetic volumes show that this method can be applied in image segmentation with good accuracy in a very fast way.
Keywords— Active Contour, Active Rays, Radial Snakes, 3D
Segmentation.
I. INTRODUÇÃO
SEGMENTAÇÃO é uma das tarefas mais complexas no processamento digital de imagens sendo uma etapa de um sistema de visão computacional. De acordo com Gonzalez & Woods [1], segmentar uma imagem consiste em subdividi-la em suas regiões ou objetos constituintes que devem corresponder às áreas de interesse da aplicação. As metodologias de segmentação se dividem basicamente em duas grandes categorias: as técnicas baseadas em descontinuidade e em similaridade.
Dentre as técnicas baseadas em descontinuidades, o Método de Contornos Ativos (MCA), ou snakes, se destaca devido às variações que vêm sendo desenvolvidas ao longo dos anos [2,3,4,5,6,7,8]. Este método, inicialmente proposto por Kass, Witkin e Terzopoulos [2], consiste na demarcação de um contorno em torno de um objeto de interesse. Esse contorno é conduzido por sucessivas iterações através do cálculo de forças até encontrar as bordas do objeto.
De modo geral, o MCA consiste na parametrização bidimensional de uma curva geométrica de modo que a posição de cada ponto que compõe a curva é determinada por suas coordenadas no plano cartesiano.
O modelo é tido como deformável porque é descrito por uma função de energia que deve ser mínima nas bordas do objeto de interesse. Essa energia é subdividida em outras duas novas energias: a energia interna e a energia externa. Por tratar de aspectos geométricos relacionados à forma e a posição da
T. M. D. Almeida, Universidade Federal do Ceará (UFC), Fortaleza, CE, thomaz@lesc.ufc.br
P. C. Cortez, Universidade Federal do Ceará (UFC), Fortaleza, CE, cortez@lesc.ufc.br
T. D. S. Cavalcante, Instituto Federal do Ceará (IFCE), Sobral, CE, tarique.cavalcante@ifce.edu.br
curva, a energia interna é aquela encarregada de manter a curva suave e, ao mesmo tempo, rígida ou elástica. Já a energia externa é obtida apenas e diretamente de informações provenientes na imagem do objeto de interesse.
Os MCAs foram pensados para serem modelos iterativos cujo objetivo é minimizar a função de energia, descrita anteriormente, em torno de cada ponto de controle da curva, considerando suas duas dimensões. Logo, quanto mais pontos houver mais suave tende a ser a curva, mas, em contrapartida, mais esforço computacional é requerido para encontrar a menor energia na vizinhança do ponto de controle.
Visando superar o problema da complexidade computacional do MCA tradicional em duas dimensões (2D) foi desenvolvido o Método de Contornos Ativos Radial (MCA Radial) [9] em que a busca da menor energia se dá ao longo de um raio, que faz com que o ponto de controle tenha uma vizinhança em única dimensão (1D) [10].
Um dos primeiros trabalhos envolvendo o conceito de detecção ao longo de raios surgiu em 1983 [11] mas foi a criação dos Active Rays (Raios Ativos - RA) [12] que serviu de base para o MCA Radial.
Os RAs vem sendo modificados ao longo dos anos e ganhando diversas variações e aplicações tais como: rastreamento humano [13], segmentação de prédios em imagens de alta resolução [14], microcalcificação em mamografias [15], segmentação do ventrículo esquerdo em imagens de ecocardiografia [16], entre outros.
Contudo, esses trabalhos citados envolvem técnicas aplicadas apenas em imagens de duas dimensões. A extensão do MCA de duas dimensões para três dimensões é chamada de Método das Superfícies Ativas (MSA) [17] ou simplesmente de MCA 3D [18]. Segundo Cohen e Cohen [19], os MCAs 3D consistem em um conjunto de contornos 2D ligados entre si em que os pontos de controle sofrem influência não só dos pontos do próprio contorno, mas também dos pontos dos contornos adjacentes. Dentre os tipos de MCAs 3D existentes, os paramétricos podem ser agrupados como:
(i) conjunto de contornos 2D independentes, em que um contorno em nível diferente da terceira dimensão não possui relação com outro contorno de outro nível [20,21];
(ii) conjunto de contornos 2D interligados entre si, formando uma malha estruturada, em que um ponto de um contorno sofre a influencia dos pontos adjacentes de mesmo plano e dos pontos de planos adjacentes mas sua movimentação se restringe apenas ao plano do seu contorno [22];
(iii) conjunto de pontos representados em 3D que se conectam de acordo com a formação de um tipo de malha adotada. Os pontos do contorno sofrem influência de qualquer outro ponto conectado a ele e podem se movimentar ao longo das três dimensões
A
sem restrição de planos [17,19].
Com uma dimensão a mais, tem-se uma superfície ao invés de uma curva e isso implica não só em mais pontos de controle, se comparado ao MCA tradicional, mas também em uma maior vizinhança de busca considerando as três dimensões. Logo, essa abordagem traz um problema inerente no tocante ao desempenho computacional visto que o domínio do problema agora está em R3.
Neste sentido, este trabalho propõe o Método de Contornos Ativos Radial 3D (MCA Radial 3D), uma abordagem de segmentação de imagens de três dimensões tratadas em uma dimensão visando uma maior velocidade no processamento computacional quando comparado com segmentações 3D. Neste novo método, uma nuvem de pontos é representada em 3D onde os pontos são conectados de acordo com a formação de uma malha estruturada explicada posteriormente. Esses pontos sofrem a influência de qualquer outro ponto ligado a eles e também não tem restrição de movimentação em relação a planos, como os métodos do terceiro grupo explicados anteriormente. Contudo, o movimento dos pontos é limitado a uma única dimensão ao longo de feixes radiais 3D. A formulação desse novo método é descrita e avaliada qualitativamente e quantitativamente em volumes gerados sinteticamente de modo a demonstrar a eficiência do método no tocante à redução da segmentação de 3D para 1D.
Este trabalho está organizado em seis seções. A fundamentação teórica sobre o MCA Radial está contida na Seção II. A formalização do novo MCA Radial 3D, principal contribuição desse trabalho, é apresentada na Seção III. Na Seção IV é descrita a metodologia de avaliação da técnica proposta. Os testes e resultados são exibidos na Seção V. As conclusões desse trabalho e os trabalhos futuros são, enfim, apresentadas na Seção VI.
II. MCA RADIAL
A técnica desenvolvida por Denzler e Niemann [10] foi criada para realizar o rastreamento de bordas em tempo real. A ideia desta técnica é definir um ponto de origem dentro do objeto a ser rastreado e encontrar os pontos que o definem, efetuando a busca ao longo de raios que divergem desse ponto de origem. Isso reduz a busca do ponto do contorno de uma região 2D na imagem para 1D em cada raio, conforme ilustrado na Fig. 1.
Figura 1. Representação de contorno por Raio Ativo [12].
Nesse sentido, define-se um feixe do RA , partindo de um ponto de referencia , que é caracterizado por sua angulação e seu comprimento e
pode ser definido por [10]
, cos , sen , (1)
em que f é uma imagem em tons de cinza e 0 , sendo dado pelo comprimento do raio que se inicia no ponto m até a extremidade da imagem. Logo, os pontos de controle na angulação partindo do ponto m podem ser descrito por [12]
, , (2) Similarmente ao MCA, a função de energia total do contorno deve ser minimizada. Contudo, a busca pela mínima energia é realizada ao longo de cada feixe de modo que a energia total é dada por [10]
, (3) em que os termos e são, respectivamente, as energias externas e internas ao longo do feixe em um ângulo . A energia interna em cada ponto do contorno é calculada por [10]
, (4) em que e são coeficientes de relevâncias para ângulo de cada feixe . O primeiro termo desta equação remete à força de elasticidade e o segundo à força de suavização.
Por outro lado, a energia externa para um ponto do contorno pode ser calculada em função do gradiente da imagem a ser segmentada mediante equação [10]
| | , . (5)
III. MCA RADIAL 3D
O MCA Radial proposto neste trabalho amplia os conceitos detalhados na sessão anterior de duas para três dimensões. Esta abordagem, ainda não formalizada na literatura atual, trata a segmentação de um volume (3D) através da análise de informações 1D presentes em feixes que divergem de um ponto no centro do volume a ser segmentado, conforme ilustrado na Fig. 2.
Como pode ser visto, um feixe , , possui um terceiro parâmetro que se trata de uma nova e adicional angulação. Desta maneira cada feixe pode ser generalizado em 3D contendo três parâmetros esféricos: seu comprimento , o ângulo sendo aquele que varia em torno do eixo y, sobre o plano x-z, e o ângulo que varia sobre o plano x-y e em torno do eixo z. Estes ângulos e são análogos aos parâmetros de azimute e elevação em um sistema de coordenadas horizontal. Formalmente um feixe 3D , , é definido como uma função de uma imagem f da seguinte forma
, ,
sen cos ,
sen sen ,
cos
. (6)
A. Malha do MCA Radial 3D
A dinâmica de qualquer MCA 2D derivado do MCA tradicional [2] pode ser descrita resumidamente em quatro passos: 1) demarcação de contorno inicial próximo ao objeto; 2) cálculo de energias; 3) minimização de energia, e 4) atualização da posição dos pontos do contorno. Grande parte dos métodos 3D possuem dinâmica semelhante, mas ao invés de começarem com um contorno inicial tem-se uma superfície inicial definida em torno do objeto. Essa superfície geralmente é representada por uma malha onde existem pontos interligados entre si [17,18,22,23].
Existem basicamente dois tipos de malhas: estruturadas e não estruturadas. As malhas estruturadas são mais simples em todos os aspectos, incluindo sua implementação, já que todos os seus pontos de controle, ou nós, possuem a mesma quantidade de elementos adjacentes. Já as malhas não estruturadas são mais complexas e não possuem limites para a quantidade de elementos adjacentes, dificultando inclusive sua implementação [24].
Existem trabalhos recentes que realizam análise comparativa de malhas em MCA 3D [25] visto que o tipo de malha e, por sua vez, a quantidade de elementos conectados entre si é de fundamental importância para o MCA 3D. Isto acontece porque o cálculo da energia interna de cada ponto do MCA depende exclusivamente da superfície da malha em torno deste ponto e isso afeta diretamente o desempenho computacional dos MCAs 3D.
Um dos pontos fortes do MCA Radial 3D proposto nesse trabalho é reduzir a complexidade computacional. Para isso, uma malha estruturada com quantidade de nós inicialmente fixos é utilizada, conforme mostrado na Fig. 3.
Figura 3. Representação de malha do MCA Radial 3D.
Diferente de outras metodologias radiais [9,16,26], o MCA Radial 3D não necessita de adição e/ou remoção de nós durante a segmentação e, por isso, a quantidade de nós que se inicia é a mesma que termina. Como existe apenas um nó em cada raio, a quantidade de raios é quem define o nível de detalhe e refinamento da malha. Logo, malhas contendo muitos nós devem requerer maior processamento para desfazer e refazer suas ligações. Isto é evitado pois é uma propriedade desta nova técnica proposta neste trabalho.
B. Energias do MCA Radial 3D
O conceito de energia é a principal característica dos MCAs e o único aspecto comum a todas as técnicas e variações. Esta energia atua em todos os pontos de controle da superfície em um par de ângulos , partindo de uma origem m definidos por
, , , , (7) A energia total do MCA Radial 3D é a generalização da equação 3 e é definida a partir das novas energias internas e externas por
∬ , , . (8)
Energia Interna
A energia interna é, por definição, responsável pela geometria do contorno (2D) ou da superfície (3D). Esta energia tende a eliminar pontos de inflexão, deixando a superfície contínua e suave. É composta pelas primeiras e segundas derivadas parciais chamadas de força de continuidade e de força de curvatura, respectivamente, sendo calculada, para , , por
∬
(9) em que e são coeficientes associados à relevância de cada termo da energia interna no ponto , . Os termos que contêm se referem à força de continuidade (derivada de primeira ordem) e os termos que contêm se referem à força de curvatura (derivada de segunda ordem).
A força de continuidade trata da capacidade de um nó da superfície conseguir se distanciar ou se aproximar de seus nós vizinhos de modo a criar uma superfície uniformemente espaçada. Nos modelos tradicionais de MCA 3D um nó da superfície pode ocupar qualquer lugar no espaço, ao passo que no MCA Radial 3D este nó só pode se mover ao longo do feixe em 1D e isso é uma propriedade inerente dessa nova técnica proposta nesse trabalho.
A força de continuidade 3D é dada em função da distância entre um nó da superfície e seu i-ésimo vizinho através da fórmula
, ∑ , (10)
em que é a distância média entre um nó e seus N vizinhos. Assim, a força de continuidade é definida como a variância das distâncias entre um nó da superfície e seus vizinhos. Quanto maior esta variância, maior a força de continuidade que deve ser minimizada. A influência desta força é ilustrada na Fig. 4 onde se observa um contorno (2D) formado por oito nós. Na Fig. 4a existem nós cujas distâncias para seus vizinhos divergem da distância média entre todos os vizinhos. Estes nós tendem a se afastarem ou se aproximarem ao longo de seus raios (linha tracejada) de modo a equilibrar a distância de seus vizinhos e, por sua vez, manter o contorno contínuo e igualmente espaçado (Fig. 4b).
(a) (b)
Figura 4. Influência da força de continuidade, (a) antes da força atuar; e (b) depois da atuação da força.
A força de curvatura, definida pela derivada de segunda ordem na equação 9, está associada aos pontos de inflexão da curva. Esta força é responsável pela suavização do contorno de modo a maximizar os ângulos internos da superfície, evitando ângulos agudos. Com isso, durante a fase de minimização de energia, o MCA tende a perder curvatura minimizando a área da superfície.
A força de curvatura 3D em um nó é proposta em função da média das coordenadas de seus vizinhos ( , , ) como a norma sobre um raio , , , definida por
, ‖ ‖ , (11)
em que x, y e z estão em coordenadas cartesianas (para simplificar os cálculos) de modo que sen cos , sen sen e cos . Com isso, o ponto médio gerado pela posição dos nós vizinhos forma uma projeção do nó em questão no plano médio determinado pelos vizinhos.
Um exemplo de aplicação da força de curvatura é ilustrado na Fig. 5 onde na Fig. 5a observa-se um nó mais afastado do que os demais. À medida que se busca a menor energia, o nó mais afastado tende a ir de encontro ao plano definido pelos seus nós vizinhos, como é ilustrado na Fig. 5b, mas sempre se movendo em uma dimensão ao longo do feixe. Desta maneira, evita-se que a superfície estacione em mínimos locais tais como pontos ruidosos.
(a) (b)
Figura 5. Influência da força de curvatura, (a) antes da força atuar; e (b) depois da atuação da força.
Energia Externa
A energia externa permite que a superfície do MCA se adapte no entorno do objeto a ser segmentado. Esta energia é influenciada exclusivamente por informações presentes na imagem. Contudo não depende de nenhuma informação da geometria dos nós e isso impede que a superfície do MCA se contraia sobre si mesma e entre em colapso. Tradicionalmente é utilizado o gradiente ao longo de um raio , como energia externa da forma
, | , | , (12) em que representa o quão relevante devem ser as informações presentes na imagem, em detrimento das forças que envolvem a geometria da curva (compensadas pelos parâmetros e descritos anteriormente).
IV. METODOLODIA DE AVALIAÇÃO
O passo-a-passo da técnica desenvolvida pode ser sumarizado no fluxograma da Fig. 6 que se inicia com a leitura da imagem 3D. Em seguida são realizadas configurações iniciais tais como: o tamanho dos raios, os ângulos e e os coeficientes de relevância de cada termo das energias. O tamanho dos raios e a angulação dos mesmos é arbitrária, definida pelo usuário baseado na dimensão aproximada do objeto a ser segmentado já que o diâmetro do objeto tem que ser menor que diâmetro da malha gerada. Já os coeficientes de relevância , e são encontrados empiricamente através de testes nas aplicações específicas. Esse tipo de abordagem empírica é comumente encontrada na literatura [26] devido às peculiaridades da estrutura a ser segmentada ou do tipo de imagem em questão. Em imagens médicas, por exemplo, é clara a diferença de um volume formado por imagens de Ultrassom (US) e um volume formado por imagens de Tomografia Computadorizada (TC). No primeiro tipo a estrutura do coração, por exemplo, não tem tanta definição quanto às estruturas pulmonares das imagens de TC e, por sua vez, os parâmetros , e são distintos para cada uma.
Além desses parâmetros, também é definido o ponto de origem de onde vão ser gerados os raios. Este ponto é definido pelo usuário e deve ser interno ao objeto que se deseja segmentar. Após a definição dos parâmetros iniciais, a definição desse ponto é a única interferência do operador pois depois de definida a origem é criada uma estrutura de dados contendo a malha e todos os raios automaticamente.
Cada nó que constitui um raio é composto por um voxel do volume da imagem inicial. Isto é, as únicas informações da imagem são aquelas que estão presentes ao longo de cada raio (1D).
Em seguida, são gerados todos os raios e uma superfície inicial é criada. Essa superfície é composta pelo último nó de cada raio e deve se deformar de acordo com os cálculos de energias. A energia externa só é calculada uma vez, pois depende exclusivamente das informações invariáveis presentes nos raios. Já a energia interna, precisa ser recalculada a cada nova iteração do MCA, já que sempre que a superfície se altera sua geometria também é modificada. Esse processo é repetido por um número determinado número iterações. Em cada iteração ocorre a normalização das forças de continuidade e de curvatura para as novas posições dos pontos de controle da superfície e o calculo da energia total é realizado para que os pontos sejam movidos para o local de energia mínima.
Figura 6. Fluxograma da técnica MCA Radial 3D.
Para realizar os testes, cinco formas geométricas 3D são criadas artificialmente visando incluir características como cantos pontiagudos e arredondados, regiões planas na vertical, na horizontal e na diagonal e regiões curvas. As formas, ilustradas na Fig. 7, são: cilindro, cone, cubo, esfera e pirâmide.
(a) (b) (c)
(d) (e)
Figura 7. Volumes 3D sintéticos, (a) cilindro; (b) cone; (c) cubo; (d) esfera e (e) pirâmide.
As formas estão imersas em um espaço 3D de dimensões iguais a 300 × 300 × 300 voxels, definidas arbitrariamente. O espaço é inicialmente limpo tomando valor 1 para todos os
voxels e, em seguida, as formas citadas são criadas
centralizadas neste espaço, possuindo valor 0 para todos os
voxels internos à mesma. As formas criadas possuem as
seguintes dimensões (em voxels):
• Cilindro – raio da base = 30 e altura = 160; • Cone – raio da base = 100 e altura = 100; • Cubo – lado = 100;
• Esfera – raio = 50;
• Pirâmide – base quadrada = 200x200 e altura = 100. Os testes são realizados da seguinte maneira: todos os raios possuem 145 voxels de comprimento e são gerados do mesmo ponto localizado no interior do espaço 3D aonde as formas estão inseridas (posição cartesiana: 150,150,150).
Para testar a influência da quantidade de pontos na segmentação, o número de raios é variado em duas vezes conforme a quantidade de linhas nos eixos horizontal e vertical. A Fig. 8 ilustra a inicialização para cada variação da quantidade de raios. A Fig. 8a contém 10 linhas na vertical e 10 linhas na horizontal totalizando 100 raios. Já a Fig. 8b possui duas vezes mais linhas com 400 raios. Na Fig. 8c existem 40 linhas nos dois eixos (1600 raios). Por fim, na Fig. 8d há 6400 raios divididos em 80 linhas na horizontal e 80 na vertical.
(a) (b) (c) (d)
Figura 8. Superfície inicial para segmentação com, (a) 100 raios; (b) 400 raios; (c) 1600 raios e (d) 6400 raios.
Cada uma dessas quatro configurações de malha é testada em todas as formas 3D da Fig. 7 seguindo o mesmo padrão de inicialização gerando 20 segmentações resultantes.
Para a avaliação dessas segmentações são utilizadas métricas de distância e de ajuste de forma. A primeira é baseada na distância euclidiana média, dada em voxels, entre os pontos que compõem a superfície do objeto e os pontos que compõem a superfície da segmentação resultante. Já a segunda métrica se baseia na simetria entre as regiões do volume de referência e regiões do volume segmentado. Ou seja, o quanto se assemelham entre si quando sobrepostas dado pela razão entre a interseção e união dos dois volumes.
A técnica proposta é comparada, ainda, com clássica técnica de Crescimento de Regiões (CR) [1], em três dimensões. Como os volumes 3D utilizadas neste trabalho são sintéticos, sem ruídos e binários, com apenas duas cores, a técnica de CR sempre produz uma segmentação idêntica ao volume inicial (desde que seja iniciada com uma semente interna ao volume). Desta maneira, o desempenho computacional das duas técnicas passa a ser o objetivo da comparação entre as mesmas. Para isso, o seguinte protocolo é utilizado: 1) o MCA Radial 3D é inicializado no centro de cada volume, de onde são disparados os raios, e a minimização das energias acontece até que os pontos de
controle não se movam mais através dos raios, sendo este o critério de parada; 2) cada volume é segmentado 100 vezes e o tempo de processamento médio é calculado utilizando 100, 400, 1600 e 6400 raios; 3) cada volume é segmentado também através da técnica de CR a partir de uma única semente depositada no mesmo local de onde são disparados os raios do MCA Radial 3D e esta segmentação é, também, repetida 100 vezes para que, ao final, obtenha-se o tempo médio de processamento pela técnica de CR. Na Tabela I é descrito o hardware utilizado nos testes.
TABELA I
CONFIGURAÇÃO DO HARDWARE UTILIZADO
Fabricante: Apple
Modelo: Macbook Pro (Mid 2012)
Processador: Intel Core i5 (2,5 GHz)
RAM: 8 GB (DDR3) @ 1600 MHz
Vídeo: Intel HD Graphics
Sistema Operacional:
macOS Sierra (10.12.1)
V. RESULTADOS
Cada teste é realizado em uma forma 3D por vez. Na Fig. 9 são mostrados os resultados da segmentação do cilindro através das quatro configurações de malha. A forma padrão-ouro que deve ser segmentada está na Fig. 9a. Nas Figs. 9b, 9d, 9f e 9h tem-se as malhas variando a quantidade de raios e, ao lado, a renderização das respectivas malhas.
(a) (b) (c) (d) (e)
(f) (g) (h) (i)
Figura 9. Segmentação do cilindro sendo (a) padrão-ouro; (b), (d), (f) e (h) malhas de segmentação de 100, 400, 1600 e 6400 raios e (c), (e), (g) e (i) renderização das malhas de segmentação de 100, 400, 1600 e 6400 raios.
O cilindro, assim como o cone (Fig. 10), possui uma base plana circular. Percebe-se, pela diferença entre as Figs. 9c e 9i e pelas Figs. 10c e 10i, que são necessários mais pontos para fazer malhas mais refinadas e curvas mais suaves.
(a) (b) (c) (d) (e)
(f) (g) (h) (i)
Figura 10. Segmentação do cone sendo (a) padrão-ouro; (b), (d), (f) e (h) malhas de segmentação de 100, 400, 1600 e 6400 raios e (c), (e), (g) e (i) renderização das malhas de segmentação de 100, 400, 1600 e 6400 raios.
Em relação ao corpo do cilindro, que é retilíneo vertical, ou ao corpo do cone, que é retilíneo diagonal, não existe
necessidade de maior refinamento. É possível perceber esse fato com o aumento da quantidade de nós pois não há mudança significativa no corpo das formas. Essa situação está ilustrada na Fig. 11 onde é apresentada a segmentação do cone com 100 raios a esquerda e com 1600 raios a direita.
Figura 11. Detalhe de segmentação no corpo do cone.
No cubo, ilustrado na Fig. 12a, vê-se claramente que as superfícies retilíneas são realmente mais simples de serem segmentadas e os efeitos da mudança da quantidade de nós só é percebido nos cantos e nas arestas do cubo. Dessa forma, a utilização de mais raios resulta num melhor refinamento da segmentação final através da melhoria de qualidade de segmentação dos cantos e das arestas.
(a) (b) (c) (d) (e)
(f) (g) (h) (i)
Figura 12. Segmentação do cubo sendo (a) padrão-ouro; (b), (d), (f) e (h) malhas de segmentação de 100, 400, 1600 e 6400 raios e (c), (e), (g) e (i) renderização das malhas de segmentação de 100, 400, 1600 e 6400 raios.
A esfera, ilustrada na Fig. 13, é a única forma que não tem nenhuma face plana, o que já traz um nível de dificuldade maior para a segmentação da estrutura. Apesar da segmentação estar visualmente satisfatória (Figs. 13c, 13e, 13g e 13i), os resultados numéricos, apresentados nas Figs. 15 e 16, mostram que o aumento da quantidade de raios não é determinístico na qualidade da segmentação desse tipo de estrutura podendo aumentar o erro através do aumento da distância entre a segmentação resultante e o objeto. Isso acontece devido à influência da energia interna que tende a deixar os nos da superfície uniformemente espaçados. Assim, essa energia força os nós a se distanciarem evitando aglomerados em uma mesma região.
(a) (b) (c) (d) (e)
(f) (g) (h) (i)
Figura 13. Segmentação da esfera sendo (a) padrão-ouro; (b), (d), (f) e (h) malhas de segmentação de 100, 400, 1600 e 6400 raios e (c), (e), (g) e (i) renderização das malhas de segmentação de 100, 400, 1600 e 6400 raios.
A última forma a ser segmentada é a pirâmide. Essa forma, apresentada na Fig. 14, traz elementos que misturam características do cone e do cubo. Esta apresenta cinco lados planos e de fácil representação através das malhas das Figs. 14b, 14d, 14f e 14h. Contudo, diferentemente do cone e do cubo, esta forma apresenta cantos pontiagudos entre duas superfícies com diferentes angulações. Esses cantos são, novamente, de difícil segmentação com poucos raios.
(a) (b) (c) (d) (e)
(f) (g) (h) (i)
Figura 14. Segmentação da pirâmide sendo (a) padrão-ouro; (b), (d), (f) e (h) malhas de segmentação de 100, 400, 1600 e 6400 raios e (c), (e), (g) e (i) renderização das malhas de segmentação de 100, 400, 1600 e 6400 raios.
Os resultados numéricos relacionados à distância média (em voxels) entre a superfície resultante da segmentação das formas e a superfície da própria forma 3D podem ser vistos na Fig. 15. Já os valores de medida de forma, que variam entre 0 e 1 para o volume do objeto e o volume resultante da segmentação, são expostos na Fig. 16. Quando esta medida tende a 0, indica discordância entre os dois volumes. Caso contrário, quanto mais próximo de 1, mais semelhantes eles são.
O MCA Radial 3D proposto nesse trabalho tem a característica de não precisar adicionar ou remover nós. Logo, a quantidade de raios iniciais deve ser suficiente para criar uma superfície capaz de segmentar todos os cantos do objeto. Dessa maneira, a quantidade de raios influencia diretamente na qualidade da segmentação final e as menores taxas de acerto de forma e as maiores distâncias entre as superfícies, como pode ser visto nas Figs. 15 e 16, aconteceram justamente quando se utilizou de 100 raios para realizar a segmentação das formas 3D. Apesar disso, a maior distância média entre as superfícies é menor que dois voxels apenas e todas as formas são, pelo menos, 85% semelhantes.
É possível confrontar o decréscimo do valor das distâncias médias através do aumento da quantidade de nós pelo gráfico da Fig. 15. Dessa maneira, é possível supor que quanto mais raios, mais próximas estão as duas superfícies uma da outra. Isto acontece porque muitos nós deixam a superfície mais adaptável a qualquer estrutura, diminuindo assim a diferença entre elas.
Figura 15. Gráfico das distâncias médias obtidas na segmentação das formas 3D.
É possível, ainda, visualizar, através do gráfico da Fig. 16, e confirmar o fato que mais raios tornam o volume resultante da segmentação cada vez mais parecido com a forma 3D. Com 6400 raios, por exemplo, as formas estão, no mínimo, 93% idênticas.
Figura 16. Gráfico dos valores de métrica de forma obtidas na segmentação das formas 3D.
Ao analisar as segmentações resultantes das Figs. 9, 10, 12, 13 e 14, aliada aos números apresentados abaixo dos gráficos das Figs. 15 e 16, é possível comprovar a eficiência da técnica proposta como nova metodologia de segmentação de volumes 3D em uma única dimensão.
Além da eficiência, é possível comprovar, também, a eficácia da metodologia através da comparação do tempo de processamento com a técnica de CR. Na Fig. 17 é mostrado o gráfico contendo o tempo médio necessário para segmentas cada volume 3D através da técnica MCA Radial 3D com 100, 400, 1600 e 6400 raios e através da técnica de CR. Percebe-se que a técnica proposta é realmente muito rápida com praticamente todos os tempos abaixo de 1 segundo, ao passo que a técnica de CR leva em torno de 15 segundos para realizar as mesmas segmentações. Ressalta-se, ainda, que a técnica de CR sofre mais influência a ruídos por realizar uma análise em 3D levando em consideração todos os voxels do volume, onde pode haver vazamento da segmentação.
100 Raios 400 Raios 1600 Raios 6400 Raios
Cilindro 1,15439 0,804434 0,678754 0,713723 Cone 1,18181 1,05103 0,967121 1,00219 Cubo 1,78786 0,836199 0,496875 0,511921 Esfera 1,03939 0,809321 0,931612 1,06254 Piramide 1,52277 0,976957 0,770414 0,774575 0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 Distân cia Méd ia (em Voxe ls )
100 Raios 400 Raios 1600 Raios 6400 Raios
Cilindro 0,935738 0,953626 0,963604 0,961881 Cone 0,896412 0,902242 0,926085 0,930888 Cubo 0,888766 0,945235 0,971939 0,971088 Esfera 0,938343 0,9331 0,941674 0,950981 Piramide 0,859398 0,927755 0,945214 0,94693 0,8 0,82 0,84 0,86 0,88 0,9 0,92 0,94 0,96 0,98 1 Medi a de Fo rma
Figura 17. Gráfico dos tempos médios de processamento.
VI. CONCLUSÕES
Este trabalho propõe uma nova técnica de segmentação de imagens em três dimensões chamada de Método de Contornos Ativos Radial 3D. Esta técnica trata o domínio do espaço 3D em uma única dimensão. Desta maneira, os cálculos de funções de energia são simplificados e, por consequência, o desempenho computacional para segmentação de estruturas 3D em geral são otimizados.
O método proposto é descrito de forma ampla como uma generalização para os Métodos de Contornos Ativos Radiais (ou Raios Ativos). Esse trabalho apresenta uma nova angulação para os RAs e, dessa forma, os RAs se tornam um caso específico do método proposto.
Nesse trabalho é descrito o conceito de um raio 3D e introduzida a necessidade de uma malha estruturada para armazenar os pontos de controle, ou nós, da superfície de segmentação. É descrita, ainda, toda a formulação matemática da energia total do método, bem como a simplificação das forças de continuidade e de curvatura que compõem a energia interna.
Define-se o gradiente, que é muito utilizado em MCAs de um modo geral, como energia externa da técnica proposta. Contudo, não há necessidade de um espaço de busca 3D, pois, um nó só pode se mover ao longo de um raio (1D). Esta é uma característica importante da nova técnica pois reduz o espaço de para R.
Outra característica importante da técnica é a ausência da adição e/ou da remoção de nós. Desta maneira, não há necessidade de desfazer e refazer ligação entre os pontos de controle da superfície de segmentação, o que aumenta mais ainda o desempenho computacional da técnica.
Essa técnica é avaliada quando aplicada em cinco formas geométricas 3D com características diferentes entre si, como cantos pontiagudos, arredondados, regiões planas na vertical, na horizontal e na diagonal e regiões curvas. A técnica produz resultado visual satisfatório, provando que estruturas do espaço 3D podem ser reduzidas e serem analisadas em 1D.
São realizados, ainda, testes variando o tamanho da malha (em relação à sua quantidade de nós) visando checar numericamente a eficácia da técnica. Os resultados são avaliados através do cálculo da distância média entre os pontos das formas 3D sintéticas e os pontos da segmentação produzida pelo método, bem como através do cálculo da medida de forma que traz o quanto a segmentação resultante é
idêntica à forma 3D. Esses resultados indicam que o método proposto pode produz uma segmentação praticamente idêntica com distâncias variando na ordem de 1 voxel e formato até 97% idêntico.
Por último são realizados ciclos de testes de desempenho a fim de se obter um um referencial do tempo de processamento da técnica proposta. A técnica de Crescimento de Regiões 3D é implementada e seu tempo de processamento comparado utilizado como comparação. Percebe-se que a o MCA Radial 3D pode levar menos de 1 segundo para segmentar uma estrutura que demoraria quase 25 segundos com a técnica CR.
Portanto, conclui-se que o método descrito pode ser aplicado na segmentação de objetos 3D de forma promissora podendo servir de base para diversas variações de MCAs Radiais 3D com aplicações inclusive em tempo real devido ao seu baixo tempo de processamento. Como trabalhos futuros pretende-se, inicialmente, criar uma função de inicialização automática dos raios. Uma análise de energia externa deve ser feita com a aplicação de transformadas matemáticas ao longo dos raios. Estruturas 3D reais, tais como nódulos pulmonares, por exemplo, devem ser utilizadas para avaliar a técnica proposta quando comparado com resultados da literatura proveniente de ouros tipos de MCAs 3D.
REFERÊNCIAS
[1] R. C. Gonzalez, R. E. Woods, “Digital Image Processing”, Prentice Hall, 3a ed, New Jersey, 2010.
[2] M. Kass, A. Witkin, D. Terzopoulos, “Snakes: Active contour models”, International Journal of Computer Vision, vol. 1, no. 4, pp. 321–331, 1987.
[3] L. D. Cohen, “On active contour models and balloons”, CVGIP: Image Under., vol. 53, no. 2, pp. 211–218, 1991.
[4] C. Xu, J. Prince, “Gradient vector flow: a new external force for snakes”, Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pp. 66–71, 1997
[5] T. Chan, L. Vese, “Active contours without edges”, IEEE Trans. Image Process., vol. 10, no. 2, pp. 266–277, 2001.
[6] P. Yan, A. A. Kassim, “Segmentation of volumetric MRA images by using capillary active contour”, Medical Image Analysis, vol. 10, no. 3, pp. 317–329, 2006.
[7] K. Zhang, L. Zhang, H. Song, W. Zhou, “Active contours with selective local or global segmentation: A new formulation and level set method”, Image and Vision Computing, vol. 28, no. 4, pp. 668–676, 2010. [8] A. S. Silva, F. M. Q. Severgnini, M. L. Oliveira, V. M. S. Mendes, Z. M.
A. Peixoto, “Object Tracking by Color and Active Contour Models Segmentation”, IEEE Latin America Transactions, vol. 14, no. 3, pp. 1488–1493, 2016.
[9] A. R. Alexandria, P. C. Cortez, J. H. S. Félix, T. S. Cavalcante, P. P. Rebouças Filho, J. A. C. Silva Junior, “Hilbertian Energy: a method for external energy calculation on radial active contours”, 17th International Conference on Systems, Signals and Image Processing, pp. 81–84, 2010. [10] J. Denzler, H. Niemann, “Active rays: A new approach to contour tracking”, International Journal of Computing and Information Technology, vol. 4, pp. 9–16, 1996.
[11] A. J. Buda, E. J. Delp, C. R. Meyer, J. M. Jenkins, D. N. Smith, F. L. Bookstein, B. Pitt, “Automatic computer processing of digital 2-dimensional echocardiograms”, The American Journal of Cardiology, vol. 52, no. 3, pp. 384–389, 1983.
[12] J. Denzler and H. Niemann, “Active rays: Polar-transformed active contours for real-time contour tracking,” Journal on Real-Time Imaging, vol. 5, pp. 203–213, 1999.
[13] K. Tabb, N. Davey, R. Adams, S. George, “Analysis of Human Motion Using Snakes and Neural Networks”, Articulated Motion and Deformable Objects, vol. 1899, s.n., pp. 48-57, 2000.
[14] S. D. Mayunga, Y. Zhang, D. J. Coleman, “Semi-Automatic Building Extraction Utilizing Quickbird Imagery”, Stilla U, Rottensteiner F, Hinz
100 raios 400 raios 1600 raios 6400 raios C. R.
Cilindro 0,031 0,123 0,5 2,062 16,639 Cone 0,038 0,131 0,544 2,426 10,52 Cubo 0,017 0,065 0,283 1,17 24,362 Piramide 0,049 0,193 0,764 3,19 12,668 Esfera 0,015 0,06 0,244 1,012 13,977 0 5 10 15 20 25 Tempo (s)
S (Eds) CMRT05, vol. 36, part. 3/W24, pp. 131-136, 2005.
[15] N. S. Arikidis, S. Skiadopoulos, A. Karahaliou, E. Likaki, G. Panayiotakis, L. Costaridou, “B-spline active rays segmentation of microcalcifications in mammography”, Medical Physics, vol. 35, no. 11, 5161-5171, 2008.
[16] A. R. Alexandria, P. C. Cortez, J. A. Bessa, J. H. S. Félix, J. S. Abreu, V. H. Albuquerque, “pSnakes: a new radial active contour model and its application in the segmentation of the left ventricle from echocardiographic images”, Comput. Methods Programs Biomed., vol. 116, no. 3, pp. 260-73, 2014.
[17] V. Jaouen, P. González, S. Stute, D. Guilloteau, I. Buvat, C. Tauber, “Vector-based active surfaces for segmentation of dynamic PET images”, IEEE 10th International Symposium on Biomedical Imaging, pp. 61–64, 2013.
[18] E. S. Rebouças, R. M. Sarmento, P. P. Rebouças Filho, “3D Adaptive Balloon Active Contour: method of segmentation of structures in three dimensions”, IEEE Latin America Transactions, vol. 13, pp. 195–203, 2015.
[19] L. Cohen, I. Cohen, “Finite-element methods for active contour models and balloons for 2-D and 3-D images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 11, p. 1131-1147, 1993. [20] D. Terzopoulos, A. Witkin, M. Kass, “Constraints on deformable
models: recovering 3D shape and nongrid motion”, Artificial Intelligence, vol. 36, no. 1, pp. 91-128, 1988.
[21] D. Terzopoulos, A. Witkin, M. Kass, “Symmetru-seeking models and 3D object reconstruction”, International Journal of Computer Vision, vol. 1, pp. 211-221, 1987.
[22] P. P. Rebouças Filho, R. M. Sarmento, P. C. Cortez, A. C. S. Barros, V. H. C. D. Albuquerque, “Adaptive Crisp Active Contour Method for Segmentation and Reconstruction of 3D Lung Structures”, nternational Journal of Computer Applications, vol. 111, no. 4, pp. 1–8, 2015. [23] J. P. Pons, J. D. Boissonnat, “Delaunay Deformable Models:
Topology-Adaptive Meshes Based on the Restricted Delaunay Triangulation”, 2007 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2007.
[24] N. A. Kallemeyn, K. H. Shivanna, N A. DeVries, S. Kode, A. A. Gandhi, D. C. Fredericks, J. D. Smucker, N. M. Grosland, “Advancements in Spine FE Mesh Development: Toward Patient-Specific Models”, GEFEN, A. (Ed.). Patient-Patient-Specific Modeling in Tomorrow’s Medicine (Studies in Mechanobiology, Tissue Engineering and Biomaterials, vol. 09). pp. 75–101, 2012.
[25] T, S. Cavalcante, “Método de Superfícies Ativas Aplicado na Segmentação de Lobos Pulmonares em Imagens de Tomografia Computadorizada do Tórax”, Tese (Doutorado), Universidade Federal do Ceará, 2016.
[26] J. A. Bessa, P. C. Cortez, J. H. S. Félix, A. R. Rocha Neto, A. R. Alexandria, “Radial snakes: Comparison of segmentation methods in synthetic noisy images”, Expert Systems with Applications, vol. 42, no. 6, pp. 3079-3088, 2015.
Thomaz Maia de Almeida é graduado em Mecatrônica
Industrial pelo Instituto Federal do Ceará (2009), mestre em Engenharia de Teleinformática pela Universidade Federal do Ceará (2012) e especialista em Sistemas para Dispositivos Móveis pela Faculdade 7 de Setembro (2014). Atualmente é professor efetivo do eixo de Controle e Processos Industriais do Instituto Federal do Ceará – Campus Sobral. Tem experiência na área de visão computacional, processamento digital de imagens aplicadas a biomedicina, reconhecimento de padrões e inteligência computacional e robótica.
Paulo César Cortez é doutor em Engenharia Elétrica pela
Universidade Federal da Paraíba (1996). Atualmente é professor associado III do Departamento de Engenharia de Teleinformática da Universidade Federal do Ceará. Tem experiência na área de Engenharia Elétrica/Teleinformática, com ênfase em Visão Artificial, atuando principalmente nos seguintes temas: modelagem poligonal de contornos 2D/3D; reconhecimento de padrões; segmentação de imagens digitais; processamento digital de sinais e imagens biomédicos e sistemas inteligentes de auxílio ao diagnóstico médico; aplicações em telemedicina; instrumentação biomédica; sistemas embarcados.
Tarique da Silveira Cavalcante possui graduação em
Mecatrônica Industrial pelo Instituto Federal de Educação, Ciência e Tecnologia do Ceará (2008), mestrado em Engenharia de Teleinformática pela Universidade Federal do Ceará (2010) e MBA em Gerenciamento de Projetos pela Universidade de Fortaleza (2012). Atualmente é pesquisador da Universidade Federal do Ceará. Tem experiência na área de de Visão Computacional, Engenharia Biomédica, Robótica, Automação e Simulação.
