Análise de Estruturas em Imagens:
Segmentação Seguimento e Reconstrução 3D Segmentação, Seguimento e Reconstrução 3D
João Manuel R S Tavares João Manuel R. S. Tavares
tavares@fe.up.pt www.fe.up.pt/~tavares
2º Seminário de Engenharia Biomédica 29 de Outubro de 2007, ESTIG-IPB
29 de Outubro de 2007, ESTIG IPB
Conteúdo
• Apresentação
• Processamento e Análise de Imagem
• Processamento e Análise de Imagem
– Operações e Aplicações
• Segmentação de Estruturas em Imagens
• Segmentação de Estruturas em Imagens
– Métodos (modelos deformáveis e estatísticos) e Aplicações
S i t d E t t l d S ê i d
• Seguimento de Estruturas ao longo de Sequências de Imagem
Mét d (fí i t á ti ) A li õ – Métodos (físicos e estocásticos) e Aplicações
• Reconstrução 3D de Estruturas a partir de Imagens
– Métodos (visão estéreo e volumétricos) e Aplicações
• Eventos e Publicações
• Equipa
Apresentação
Apresentação
• Prof. Auxiliar no Dep. de Engenharia Mecânica e Gestão Industrial (DEMEGI) da Faculdade de Engenharia da
Universidade do Porto (FEUP)
• Investigador Sénior e Coordenador de Projecto no Lab. de Ó
Óptica e Mecânica Experimental (LOME) do Instituto de Engenharia Mecânica e Gestão Industrial (INEGI)
D t d M t E El t té i d C t d
• Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área da Visão Computacional)
• Licenciado em Eng Mecânica (FEUP)
• Licenciado em Eng. Mecânica (FEUP)
• Áreas de Investigação: Visão Computacional (segmentação, seguimento e reconstrução 3D de objectos) Interfaces
seguimento e reconstrução 3D de objectos) , Interfaces
Homem/Máquina (visualização de dados e percepção humana) ,
Desenvolvimento de Produto (sistemas protótipos biomédicos)
Processamento e Análise d I
de Imagem
(Visão Computacional)
(Visão Computacional)
Processamento e Análise de Imagem
• O sistema sensorial da visão tem elevada importância para os seres vivos
para os seres vivos
– Podendo disponibilizar informações de índole mais básica, como a existência ou não de um objecto, ou de cariz mais complexo, como o movimento de objectos
– Operações comuns envolvendo a visão são: a identificação de
t t ( t ã ) i t d i t ( d
estruturas (segmentação), o seguimento do movimento (ou da deformação) de estruturas ao longo do tempo (seguimento e análise), a obtenção da informação 3D sobre a forma das
análise), a obtenção da informação 3D sobre a forma das
estruturas visualizadas (reconstrução 3D)
Processamento e Análise de Imagem
• Os investigadores da área do Processamento e Análise de Imagem (Visão Computacional) tentam desenvolver de Imagem (Visão Computacional) tentam desenvolver métodos e técnicas computacionais para realizar de
forma automática, ou semi-automática, operações e , , p ç
tarefas desenvolvidas pelos (complexos) sistemas de
visão dos seres vivos
Processamento e Análise de Imagem
• Exemplos de tarefas comuns usando metodologias e técnicas de Visão Computacional são: remoção de
técnicas de Visão Computacional são: remoção de ruído, correcção geométrica, compressão,
segmentação, seguimento e análise do movimento g ç , g
(2D/3D), alinhamento (2D/3D), reconstrução da forma 3D, etc. ,
• Domínios em que são comuns metodologias e técnicas de Visão Computacional: Medicina, Industria,
de Visão Computacional: Medicina, Industria,
Engenharia, Sistemas de Segurança, Realidade Virtual,
etc.
Segmentação de Estruturas I
em Imagens
Segmentação de Estruturas em Imagens
• Pretende-se identificar de forma automática, ou semi- automática, as estruturas presentes numa dada imagem automática, as estruturas presentes numa dada imagem
• As metodologias mais comuns podem ser divididas em estatísticas físicas e protótipos/modelos deformáveis estatísticas, físicas e protótipos/modelos deformáveis
• É uma das operações mais usuais em Visão
Computacional sendo muitas vezes a primeira “grande”
Computacional, sendo muitas vezes a primeira grande tarefa considerada, como, por exemplo, no
reconhecimento de estruturas em imagens reconhecimento de estruturas em imagens
• Pode ser executada em imagens 2D mas também em 3D
3D
Segmentação de Estruturas em Imagens
• Exemplo: análise da zona de dano em materiais compósitos
compósitos
Imagem original Segmentação
Zona do dano determinada
Medidas obtidas da zona do dano
Durão et al (in press), Damage analysis of carbon/epoxy plates after drilling,
International Journal of Materials and Product Technology
Segmentação de Estruturas em Imagens
• Exemplo: identificação de faces em imagens usando modelos estatísticos para a pele
modelos estatísticos para a pele
Amostras usadas para construir o modelos estatístico
(zonas de pele) Objecto
determinado (face)
Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:
Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens:
Introdução e exemplos de resultados, CMNI 2005, Granada, España
Segmentação de Estruturas em Imagens
• Exemplo: utilização de imagem protótipo para segmentar características
segmentar características
Template (imagem do olho)
Objecto determinado
Carvalho & Tavares 2005 Metodologias para identificação de faces em imagens:
Carvalho & Tavares 2005, Metodologias para identificação de faces em imagens:
Introdução e exemplos de resultados, CMNI 2005, Granada, España
Segmentação de Estruturas em Imagens
• Exemplo: utilização de modelo protótipo deformável para segmentar características
segmentar características
Imagem original e de campos de forças considerados
Determinação iterativa do objecto (íris) usando um template deformável (círculo)
ç p ( )
D t i ã it ti d
Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Coimbra, Portugal Carvalho & Tavares 2007 Eye detection using a deformable
Determinação iterativa do objecto (olho) usando um
template deformável (círculo e 2 parábolas)
Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Porto, Portugal
( p )
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.)
modelos pontuais de distribuição (cont.)
Identificação e amostragem (pontual) automática dos objectos a modelar
Vasconcelos & Tavares 2005 Automatic Modelling Image Represented Objects
Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects
using a Statistic based Approach, EUROSIS 2005, Porto, Portugal
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.)
modelos pontuais de distribuição (cont.)
Imagens de treino usadas na construção dos modelos
Vasconcelos & Tavares 2005, Automatic Modelling Image Represented Objects & , g g p j
using a Statistic based Approach, EUROSIS 2005, Porto, Portugal
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.)
modelos pontuais de distribuição (cont.)
Etapas da segmentação numa nova imagem (usando modelo geométrico)
Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização
na segmentação e reconhecimento de objectos em imagens, CMNI 2005, Granada, España
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de objectos em imagens usando modelos pontuais de distribuição (cont.)
modelos pontuais de distribuição (cont.)
Etapas da segmentação numa nova imagem (usando modelo geométrico + aparência)
Vasconcelos & Tavares 2006 Methodologies to Build Automatic Point Distribution
Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution
Models for Faces Represented in Images, CompIMAGE 2006, Coimbra, Portugal
Segmentação de Estruturas em Imagens
• Exemplo: controlo de um sistema por linguagem gestual
Sistema de controlo desenvolvido
T t l 2005 C t l 2 A i S h i b G t R iti i
desenvolvido
Tavares et al 2005, Control a 2-Axis Servomechanism by Gesture Recognition using a
Generic WebCam, International Journal of Advanced Robotic Systems, Vol. 2, No. 1
Segmentação de Estruturas em Imagens
• Exemplo: detecção de tumor em imagens de mamografia
mamografia
Chagas et al 2007 An Application of Hough Transform to Identify Breast Cancer in
Imagem original Segmentação obtida
Chagas et al 2007, An Application of Hough Transform to Identify Breast Cancer in
Images, VIPimage 2007, Porto, Portugal
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de estruturas usando contornos activos (snakes)
activos (snakes)
Imagem original e Contorno final contorno inicial obtido
Tavares et al 2002 Apresentação de um Banco de Desenvolvimento e Ensaio para Tavares et al 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para
Objectos Deformáveis, RESI – Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de estruturas usando modelos activos segundo princípios físicos
activos segundo princípios físicos
Imagem original e contorno inicial
Contorno final obtido
Gonçalves et al 2007, Segmentation of objects in images using physical
i i l Vi IMAGE 2007 P t
principles, VipIMAGE 2007, Porto,
Portugal
Segmentação de Estruturas em Imagens
• Exemplo: segmentação de estruturas em imagens médicas usando level-sets
médicas usando level sets
Imagem original Segmentação inicial Segmentação final obtida
P di ã t l 2005 G ã d d l d lh d l t fi it ti d
Perdigão et al 2005, Geração de modelos de malhas de elementos finitos a partir de
imagens médicas 2D, Encontro_1_Biomecânica, Abrantes, Portugal
Seguimento de Estruturas ao
l d S ê i
longo de Sequências de Imagem
de Imagem
Seguimento de Estruturas em Sequências de Imagem
• Pretende-se seguir o movimento (e/ou a deformação) de estruturas ao longo do tempo
estruturas ao longo do tempo
• Nesta área, destacam-se as metodologias estocásticas
• Usualmente envolve a identificação da estrutura a
• Usualmente, envolve a identificação da estrutura a
seguir em cada imagem, a associação da estrutura entre imagens (emparelhamento/alinhamento) a estimativa do imagens (emparelhamento/alinhamento), a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento envolvido bem como a sua
a análise do movimento envolvido bem como a sua
quantificação
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelos de gestão
técnicas de optimização e modelos de gestão
Prediction Uncertainty Area Measurement Correspondence Result
Pi h t l 2005 H M t T ki d A l i ith K l Filt i d
Pinho et al 2005, Human Movement Tracking and Analysis with Kalman Filtering and
Global Optimization Techniques, ICCB 2005, Lisboa, Portugal
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestão Kalman, técnicas de optimização e modelos de gestão
(5 frames i t l) interval)
Pi h t l 2005 A M t T ki M t M d l ith K l Filt i Gl b l
Pinho et al 2005, A Movement Tracking Management Model with Kalman Filtering, Global
Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: seguimento de entidades usando filtragem de Kalman, técnicas de optimização e modelos de gestão Kalman, técnicas de optimização e modelos de gestão
Pinho et al 2007 Efficient Approximation of the Mahalanobis Distance for Tracking with the
Pinho et al 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the
Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: emparelhamento de estruturas segundo princípios físicos
princípios físicos
Imagem de
Objecto Inicial Objecto Final Emparelhamento obtido
g
pedobarografia dinâmica
Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic
P d b h i O ti i ti T h i El t i L tt C t Vi i d
Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and
Image Analysis, Vol. 5, No. 3
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: emparelhamento de estruturas segundo princípios físicos
princípios físicos
Emparelhamentos obtidos entre iso-contornos
Emparelhamentos obtidos entre contornos
Bastos et al 2006, Matching of Objects Nodal Points Improvement using Optimization, Inverse Problems in Science and Engineering, Vol. 14, No. 5
Tavares et al 2005, Improvement of Modal Matching Image Objects in Dynamic
P d b h i O ti i ti T h i El t i L tt C t Vi i d
Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and
Image Analysis, Vol. 5, No. 3
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: ordenação de contornos de estruturas usando técnicas de optimização
técnicas de optimização
Contorno desejado
Contorno original
Contorno
obtido Contorno Contorno Contorno
desejado original obtido desejado original obtido
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: emparelhamento de estruturas usando informação de curvatura e técnicas de optimização informação de curvatura e técnicas de optimização
Contornos originais
Contornos emparelhados (2 vistas)
originais (2 vistas)
Oliveira e Tavares 2007, Matching contours in images using curvature
information, VipIMAGE 2007, Porto,
ContornosC t lh d
o a o , p G 00 , o o,
Portugal
originais Contornos emparelhados(2 vistas)
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: emparelhamento de estruturas usando programação dinâmica
programação dinâmica
Contornos originais Contornos emparelhados
Seguimento de Estruturas em Sequências de Imagem
• Exemplo: estimativa da deformação entre estruturas segundo princípios físicos
segundo princípios físicos
Emparelhamentos Deformações estimadas
Gonçalves et al 2007,
Aplicação de Princípios Físicos
Si l ã d D f ã
T & Pi h 2005 E ti ã T l d D f ã t Obj t tili d
na Simulação da Deformação
de Objectos em Imagens,
CIBEM8, Cusco, Perú
Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma
Metodologia Física, InfoComp, Vol. 4, No. 1
Reconstrução 3D de
E t t ti d I
Estruturas a partir de Imagens
Reconstrução 3D de Estruturas a partir de Imagens
• Pretende-se reconstruir a forma 3D de estruturas a partir de imagens
de imagens
• Pode-se reconstruir estruturas a partir de conjuntos de imagens 2D alinhadas por exemplo reconstruir órgãos imagens 2D alinhadas, por exemplo, reconstruir órgãos a partir de slices
– Geralmente envolve o alinhamento dos Geralmente envolve o alinhamento dos slices, a segmentação slices a segmentação 2D da estrutura em cada slice e a construção da geometria 3D a partir dos contornos segmentados
– Contudo, também se pode reconstruir a geometria 3D
directamente a partir dos dados 3D, usando, por exemplo, modelos deformáveis activos 3D
modelos deformáveis activos 3D
Reconstrução 3D de Estruturas a partir de Imagens
• Pode-se reconstruir tridimensionalmente estruturas exteriores a partir de imagens
exteriores a partir de imagens
– Para tal, pode-se usar técnicas Activas (com projecção de energia ou movimento relativo) ou Passivas (sem projecção de energia nem movimento relativo)
• Geralmente, envolve identificação de características das estruturas nas imagens emparelhamento de características entre imagens nas imagens, emparelhamento de características entre imagens, calibração do sistema de aquisição, triângulação entre imagens, etc.
O é
– Outra possibilidade é a reconstrução baseada em metodologias
Volumétricas de Escavação Espacial
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução órgãos em imagens médicas
slices
Segmentação Pavimento pélvico reconstruído
Estruturas da cavidade pélvica reconstruídas
Pimenta et al 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Coimbra, Portugal
Alexandre et al 2007 3D reconstruction of pelvic floor for numerical simulation purpose
Alexandre et al 2007, 3D reconstruction of pelvic floor for numerical simulation purpose,
VipIMAGE 2007, Porto, Portugal
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução órgãos em imagens médicas
Segmentação de um slice e b id
reconstrução obtida
Perdigão et al 2005, Sobre a Geração de Malhas Tridimensionais para fins Computacionais a partir de Imagens
Reconstrução de estruturas do braço
Computacionais a partir de Imagens
Médicas, CMNI 2005, Granada, España
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução 3D usando técnicas de Visão Activa
Activa
Sequência de imagens Reconstrução 3D
Extracção de pontos
fortes Emparelhamento
denso
Emparelhamento de pontos fortes
Auto-calibração / Estimativa da Pose
Plataforma computacional M t d l i tili d
Extracção da geometria epipolar
desenvolvida Metodologia utilizada
Azevedo et al 2006 Desenvolvimento de uma Plataforma Computacional para Obtenção
Azevedo et al 2006, Desenvolvimento de uma Plataforma Computacional para Obtenção
da Forma 3D de Objectos usando Técnicas de Visão Activa, Mecânica Experimental, nº 12
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução 3D usando técnicas de Visão Activa
Activa
Mapa de disparidade obtido
Imagens originais
Azevedo et al 2006 Development of a Computer Platform for Object 3D Reconstruction
Azevedo et al 2006, Development of a Computer Platform for Object 3D Reconstruction
using Active Vision Techniques, VISAPP 2006, Setúbal, Portugal
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução 3D usando metodologias Volumétricas
Volumétricas
Imagens originais Modelo 3D obtido voxelizado
Modelo 3D obtido poligonizado
Azevedo et al 2007 Building External Anatomical Structures from Images using a Single
Azevedo et al 2007, Building External Anatomical Structures from Images using a Single
Off-The-Shelf Camera, ICCB 2007, Isla de Margarita, Venezuela
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução 3D usando metodologias Volumétricas
Volumétricas
Imagens originais Modelo 3D obtido Modelo 3D obtido Imagens originais Modelo 3D obtido
voxelizado
Modelo 3D obtido poligonizado
A d t l 2007 3D V l t i R t ti d Ch t i ti f Obj t f
Azevedo et al 2007, 3D Volumetric Reconstruction and Characterization of Objects from
Uncalibrated Images, VIIP 2007, Palma de Mallorca, Spain
Reconstrução 3D de Estruturas a partir de Imagens
• Exemplo: Reconstrução 3D usando metodologias Volumétricas
Volumétricas
Imagens originais Modelo 3D obtido voxelizado
Modelo 3D obtido poligonizado
