Experiências no Seguimento de Objectos Rígidos e não Rígidos em Visão por Computador

(1)

Experiências no Seguimento de Objectos Rígidos e não Rígidos em

Visão por Computador

Autores:

João M. R. S. Tavares A. Jorge Padilha

Primeiro Ciclo de Seminários Internos Departamento de Ciência e Tecnologia

Universidade Fernando Pessoa Maio 1999

(2)

Etapas da Apresentação:

Breve apresentação de João Tavares;

Apresentação do trabalho desenvolvido durante a dissertação de Mestrado;

Apresentação de outros trabalhos realizados

durante o Doutoramento.

(3)

Breve Apresentação de J. Tavares:

Licenciado em Eng.ª Mecânica pela FEUP, com a opção de projecto de máquinas, em 1992.

Bolseiro de Mestrado da JNICT, programa Ciência, de 1992 a 1994.

Mestre em Eng.ª Electrotécnica e de Computadores pela FEUP, com o perfil de Informática Industrial, em 1995.

Dissertação: Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara, Orientador: Prof. A. Jorge Padilha.

Investigador no INEB - Instituto de Engenharia Biomédica, Grupo ARSIS - Arquitecturas e Sistemas, desde 1995.

(4)

Breve Apresentação de J. Tavares:

Bolseiro de Doutoramento da JNICT, programa PRAXIS XXI, de 1994 a 1998.

Aluno de Doutoramento em Eng.ª Electrotécnica e de Computadores na FEUP desde 1994 (data da conclusão 2000). Dissertação: Análise de Movimento de Corpos

Deformáveis usando Visão Computacional, Orientador: Prof.

A. Jorge Padilha.

Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Informática I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1995/96, 96/97.

(5)

Breve Apresentação de J. Tavares:

Responsável, ao abrigo do Programa PRAXIS, pelas aulas

práticas das disciplinas de Computação e Programação I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1997/98.

Docente das Disciplinas Sistemas Informáticos I e II do Curso de Ciências da Comunicação na UFP, em 1998/99.

(6)

Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara

João Manuel R. S. Tavares, A. Jorge Padilha

FEUP - Faculdade de Engenharia da Universidade do Porto INEB - Instituto de Engenharia Biomédica

(7)

I - Introdução

Objectivos:

Apresentar uma abordagem global com a qual é possível obter informação tridimensional de uma dada cena, ou objecto, a partir do movimento de uma câmara.

Pressupostos:

1) O ambiente em questão é tipicamente industrial,

podendo, assim, considerar-se a cena ou o objecto como constituídos por segmentos de recta.

(8)

I - Introdução

2) O movimento da câmara é perfeitamente conhecido; isto é, são dados a sua posição e orientação relativamente a um referencial mundo.

3) Não é possível medir as velocidades e as acelerações dos parâmetros considerados para as entidades.

4) A abordagem global a adoptar deve ser o mais eficiente possível e adaptável a diferentes tipos de cenas, ou

objectos, e movimentos da câmara.

5) Pretende-se apenas as coordenadas 3D dos pontos terminais de cada entidade e uma aproximação da

profundidade dos restantes.

(9)

Passos da abordagem global:

1) Calibração da câmara e respectivo hardware;

2) Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência;

3) Simplificação das entidades presentes em cada imagem;

4) Seguimento 2D das entidades consideradas ao longo da sequência de imagens;

5) Obtenção de informação tridimensional dos pontos que constituem cada entidade.

I - Introdução

(10)

Mundo 3D

Seguimento de linhas e aproximação poligonal

Fusão de entidades próximas e de direcções similares

Detecção de edges

Imagem k+1

Emparelhamento

Modelo 2D Determinação das

coordenadas 3D das entidades

"Mundo 3D"

Parametrização das entidades ... ...

Hardware de aquisição de imagem

Calibração Hardware de

aquisição de imagem

Imagem k

Seguimento de linhas e aproximação poligonal

Detecção de edges

Fusão de entidades próximas e de direcções similares

Parametrização das entidades

Fig. 1 - Abordagem global.

(11)

II - Calibração da Câmara utilizada e respectivo Hardware

Calibração de uma câmara:

Entende-se por calibração de uma câmara a determinação da relação matemática que, para a respectiva câmara,

transforma pontos 3D em pontos 2D (Fig. 2).

Mundo 3D Imagem 2D

Modelo da câmara

Parâmetros intrínsecos e extrínsecos da câmara

X_u Y_u x_w

z_w y_w

Fig. 2 - Calibração de uma câmara.

(12)

Procedimentos envolvidos na calibração:

1) Determinação das coordenadas 2D na memória

frame

dos pontos de calibração;

2) Agrupamento das coordenadas 3D mundo e 2D na memória

frame

dos pontos de calibração;

3) Calibração da câmara e do respectivo

hardware

.

II - Calibração da Câmara utilizada e

respectivo Hardware

(13)

Abordagem utilizada para a determinação das coordenadas na memória frame dos pontos de calibração:

Fig. 3 - Imagem de calibração. Fig. 4 - Detecção das amplitudes das orlas de intensidade (Deriche).

Fig. 5 - Detecção das direcções das orlas de intensidade (Deriche).

II - Calibração da Câmara utilizada e

respectivo Hardware

(14)

Fig. 6 - Determinação dos lados das figuras geométricas segundo uma

das direcções principais.

Fig. 7 - Determinação dos lados das figuras geométricas segundo a

outra direcção principal.

Fig. 8 - Pontos de calibração:

intersecção das rectas obtidas por regressão linear dos pontos que

constituem os lados.

II - Calibração da Câmara utilizada e

respectivo Hardware

(15)

Processo utilizado para a calibração:

O processo de calibração global é constituído por três etapas:

1) Determinação do factor de incerteza horizontal (Lenz e Tsai);

2) Determinação das coordenadas do centro da imagem na memória frame (Lenz e Tsai);

3) Determinação dos restantes parâmetros de calibração:

matriz de rotação 3D, vector de translação 3D, distância focal efectiva e factor de distorção radial (Tsai para

pontos coplanares).

II - Calibração da Câmara utilizada e

respectivo Hardware

(16)

Etapa I - Determinação do factor de incerteza horizontal.

Etapa II - Determinação das coordenadas correctas do centro da imagem na memória frame.

Etapa III - Determinação da matriz de rotação 3D, do vector de translação 3D, da distância focal efectiva e do

coeficiente de distorção radial da lente.

Um único processo.

Hardware de aquisição de

imagem

Hardware de aquisição de

imagem

Fig. 9 - Etapas do método global de calibração.

II - Calibração da Câmara utilizada e

respectivo Hardware

(17)

III - Determinação das Entidades

Etapas do método adoptado:

1) Sujeitar cada imagem da sequência a um detector de orlas de intensidade (como, por exemplo, o detector de Deriche) de forma a classificar cada pixel em termos de amplitude e de direcção;

2) Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para

agregação - histerese), das várias linhas presentes em cada imagem de orlas;

3) Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida.

(18)

Fig. 10 - Definição de uma faixa de

aproximação. Fig. 11 - Rotação da faixa de aproximação de forma a incluir o ponto d.

III - Determinação das Entidades

Algoritmo de faixas dinâmicas (Leung e Yang):

Fig. 12 - A rotação da faixa de aproximação de

forma a incluir o ponto d não é possível. Fig. 13 - Definição de uma nova faixa de aproximação.

b c

d e

D D o a

Linha fronteira

Linha fronteira Linha critica

d b c

e o a

o a

b

c

d e

o a

b

c

d e

(19)

Fig. 14 - Imagem de teste. Fig. 15 - Imagem obtida com faixa de aproximação estreita.

Fig. 16 - ... com faixa de

aproximação mais larga (4x). Fig. 17 - Soma das imagens das Figs. 14 e 16.

III - Determinação das Entidades

Exemplos de resultados:

(20)

Pressuposto:

Entidades que no plano imagem se apresentam próximas e com

direcções similares têm uma grande probabilidade de pertencerem a uma mesma entidade 3D; exemplos: duas arestas 3D que podem ser consideradas como uma única entidade; arestas 3D que, por qualquer motivo, aparecem fragmentadas na imagem.

Vantagem em fundir entidades próximas e de direcções similares:

O seguimento ao longo da sequência torna-se mais fácil e menos dispendioso em termos de recursos computacionais.

IV - Simplificação das Entidades Determinadas

(21)

Objectivos do método a adoptar para a fusão:

1) Boa orientação do segmento de recta resultante;

2) Bom posicionamento do segmento de recta resultante;

3) A orientação e o posicionamento do segmento resultante deve ser influenciada pela importância relativa dos

segmentos de recta a fundir (isto é, pela relação entre os comprimentos);

4) Utilização geral, isto é, independente da disposição relativa dos segmentos a fundir.

(22)

c

d

b a

Fig. 18 - Segmentos (“barras”) a fundir têm densidade de massa constante.

c

d

b a

Fig. 19 - Sistema de massa equivalente (massas concentradas nos extremos dos segmentos).

G c

d

b a

Fig. 20 - Determinação do centro de massa (G).

G c

d

b a

Fig. 21 - Determinação do eixo de inércia.

O método de fusão adoptado (uma analogia mecânica):

(23)

Fig. 22 - Definição dos extremos do segmento resultante.

Fig. 23 - Critérios de fusão e de verificação da disposição relativa intrínsecos ao

próprio método.

⇒ Equivalente à regressão linear dos pontos que constituem os segmentos a fundir.

G

c

d

b a

G c

d

b a

(24)

Exemplos de resultados:

Fig. 24 - Imagem constituída

pelos segmentos a fundir. Fig. 25 - Imagem obtida utilizando critérios de fusão exigentes.

Fig. 26 - ... critérios de

fusão menos exigentes. Fig. 27 - Soma das imagens das Figs. 24 e 26.

(25)

V - Seguimento das Entidades ao Longo da Sequência de Imagens

Etapas da abordagem utilizada para o seguimento:

1) Parametrização das entidades consideradas em cada imagem;

2) Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial;

3) Emparelhamento das entidades entre duas imagens sucessivas;

4) Actualização e gestão de um modelo 2D de entidades.

(26)

Parametrização utilizada para as entidades:

As coordenadas do ponto médio, a direcção e o comprimento.

•Vantagens:

1) Os parâmetros não são correlacionados, o que permite a utilização de três filtros de Kalman independentes e de pequena dimensão;

2) Não são afectados pela posição das entidades em cada imagem.

(27)

Abordagem utilizada para o seguimento

1) Utilização de três filtros de Kalman independentes: um para cada parâmetro;

2) Utilização de modelos cinemáticos de aceleração localmente constante;

3) Aceleração modelada como um processo Gauss-Markov de primeira ordem;

4) Inserção de ruído Gaussiano na modelação do sistema;

(28)

5) Como medida de emparelhamento são utilizadas distâncias normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento);

6) Utilização de um modelo 2D de entidades, continuamente actualizado.

(29)

Entidades na imagem K, parametrizadas

Emparelhamento utilizando distâncias normalizadas de Mahalanobis

ou restrições geométricas.

... ...

Entidades na imagem K+1, parametrizadas

Filtro de Kalman para o

comprimento

Filtro de Kalman para a

direcção Filtro de

Kalman para a posição do ponto médio

Fig. 28 - Abordagem adoptada para o seguimento das entidades ao longo de uma sequência.

(30)

VI - Obtenção de Informação Tridimensional

Abordagem adoptada:

1) Resolução do sistema de projecção estéreo para obter as coordenadas 3D dos pontos extremos de cada entidade

emparelhada em duas imagens distintas;

2) Determinação de uma aproximação da profundidade dos restantes pontos da respectiva entidade, utilizando

interpolação linear das profundidades dos seus pontos extremos.

(31)

Imagem k Imagem k+1 a

b

b´ a´

VI - Obtenção de Informação Tridimensional

Problema:

A possibilidade de uma entidade ser visível de diferente modo nas duas imagens a considerar, Fig. 29.

Solução adoptada:

Determinação da verdadeira localização dos extremos do

segmento de recta visível na imagem k+1 sobre o segmento visível na imagem k e ao qual foi devidamente emparelhado:

Fig. 29 - b e b’ correspondem, na realidade, a pontos 3D distintos.

(32)

1)

Utilização das linhas epipolares, Fig. 30.

•Problema:

Alguma das linhas epipolares pode ser paralela (ou quase) ao segmento visível na imagem k, Fig. 31.

Fig. 30 - Utilização das linhas

epipolares e₁ e e2. Fig. 31 - A utilização da linha epipolar e₂ não é adequada para a determinação

da verdadeira localização do ponto b´. a´

b´

Imagem k Imagem k+1 e₂

e₁ b a

b´ a´

Imagem k Imagem k+1 e₁

e₂ a

b

VI - Obtenção de Informação Tridimensional

(33)

2)

Análise das posições dos pontos extremos dos segmentos emparelhados na imagem k, Fig. 32.

VI - Obtenção de Informação Tridimensional

Fig. 32 - Representação da imagem do segmento de recta da imagem k+1 na imagem k.

b´ a´

Imagem k Imagem k+1 a

b

(34)

VII - Alguns Resultados Experimentais

Na calibração

Fig. 33 - Posições relativas e referencias utilizados.

Fig. 34 - Imagem obtida pela câmara.

5°

x_w

z_w z_c

x_c

y_w

30°

y_c z_c Centro óptico

Centro do plano de calibração

(35)

Fig. 35 - Pontos de calibração

determinados. Fig. 36 - Soma das imagens das Figs. 34 e 35.

Fig. 37 - Zona seleccionada da imagem da Fig. 36,

ampliada.

VII - Alguns Resultados Experimentais

Determinação dos pontos de calibração no plano imagem:

(36)

Algumas observações aos resultados obtidos na calibração:

1) Apesar das más condições existentes para o setup prático, os resultados obtidos apresentam uma qualidade aceitável. Tal

qualidade pode ser comprovada pelos ângulos da rotação 3D do sistema mundo para o sistema câmara: segundo o eixo xx,

obteve-se -32.877º quando o ângulo real era cerca de -30.0º;

segundo o eixo yy, obteve-se -0.136º quando o real era cerca de 0.0º; e segundo o eixo zz, obteve-se 4.635º quando o real era cerca de 5.0º.

2) Não foi possível a determinação das coordenadas correctas do centro da imagem na memória frame. (Erros nas coordenadas 3D dos pontos de calibração e baixo valor da distorção radial da

lente.)

VII - Alguns Resultados Experimentais

(37)

Fig. 38 - 2ª Imagem da sequência. Fig. 39 - Entidades detectadas.

VII - Alguns Resultados Experimentais

Determinação das entidades:

1) Obtenção de uma sequência de 8 imagens;

2) Detecção de orlas de intensidade (Deriche);

3) Seguimento de linhas e aproximação poligonal;

4) Fusão de segmentos próximos e de direcções similares.

(38)

VII - Alguns Resultados Experimentais

Fig. 40 - Entidades a seguir. Fig. 41 - Deslocamento de todas as entidades ao longo da

sequência.

(39)

Fig. 42 - Entidades detectadas na 1ª imagem da sequência e suas

referências.

VII - Alguns Resultados Experimentais

imagem 1ª 2ª 3ª 4ª

Ref TEm TEm TEm TEm

1 I KRG KM KM

2 I F F F

3 I F F F

4 I KRG KM KM

5 I F F F

6 I F KRG KM

7 I KRG KM KM

imagem 5ª 6ª 7ª 8ª

Ref TEm TEm TEm TEm

1 KM KM KM KM

2 F KM KM KM

3 KRG KRG KRG KRG

4 KRG KM KM KM

5 KRG KM KM KM

6 KRG KM KM KM

7 KRG KM KM KM

Legenda:

Ref - Referência, TEm - Tipo de emparelhamento:

I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F - falhado.

Tab. I -O processo de seguimento.

(40)

Apesar das desfavoráveis condições existentes para o setup prático, os resultados obtidos podem ser considerados como razoáveis.

Obtenção da profundidade das entidades emparelhadas:

Fig. 43 - Profundidade das entidades emparelhadas na 8ª imagem.

VII - Alguns Resultados Experimentais

⇒Os resultados obtidos no seguimento são bastante satisfatórios, o que comprova o valor da abordagem apresentada.

⇒

(41)

VIII - Conclusões e Perspectivas de Desenvolvimento Futuro

Conclusões:

1) Foi apresentada uma abordagem global para a obtenção de informação tridimensional de uma cena ou objecto a

partir do movimento de uma câmara;

2) A referida abordagem é constituída pelas etapas:

calibração da câmara e respectivo hardware; determinação das entidades; simplificação das entidades; seguimento das entidades ao longo da sequência; obtenção das coordenadas 3D das entidades emparelhadas;

3) Alguns resultados experimentais obtidos também foram apresentados; dos mesmos, é possível verificar-se a boa qualidade obtida pela referida abordagem.

(42)

4) A abordagem global apresentada revelou-se como bastante flexível, robusta e capaz de responder

adequadamente aos objectivos inicialmente traçados.

Perspectivas de desenvolvimento:

1) Determinar o factor horizontal de incerteza de um outro modo, pois o método empregue é de difícil utilização para as condições práticas normalmente existentes;

VIII - Conclusões e Perspectivas de Desenvolvimento

(43)

2) Determinar o centro da imagem na memória frame de outro modo, pois o método utilizado não é adequado para baixos valores de distorção radial da lente;

3) Para situações nas quais se pretende um modelo da cena 3D ou de um objecto, pode-se enriquecer a abordagem

utilizada para o seguimento e consequente obtenção de coordenadas 3D, Fig. 44.

(44)

Filtros de Kalman Filtros de Kalman

Verificação

Modelo 3D Previsão

Actualização

Obtenção de coordenadas 3D Emparelhamento das

entidades e medição Entidades na imagem

K parametrizadas

...

Modelo 2D

...

Previsão

Actualização

Fig. 44 - Uma abordagem possível para enriquecer o seguimento das várias entidades e consequente obtenção de informação tridimensional.

(45)

Bibliografia:

Análise de Movimento em Sequências de Imagens - Miguel F. P. Velhote Correia

Dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores - Fevereiro de 1995

Measurement and Integration of 3-D Structures by Tracking Edge Lines - James L.

Crowley, Pactrick Stelmaszyk, Thomas Skordas, Pierre Puget International Journal of Computer Vision 8:1, 29-52 (1992) Tracking line segments - Rachid Deriche, Olivier Faugeras Image and Vision Computing - vol. 8 no 4 (November 1990)

Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3- D Machine Vision Metrology - Reimar K. Lenz, Roger Y. Tsai

Ieee Transactions On Pattern Analysis And Machine Intelligence, Vol. 10, No. 5, September 1988 - 713/720

Dynamic Strip Algorithm in Curve Fitting - Maylor K. Leung, Yee-Hong Yang Computer Vision, Graphics, and Image Processing 51 146 (1990) - 146/165

(46)

Bibliografia:

Stochastic Models, Estimation, and Control - Peter S. Maybeck Volume I

Mathematics In Science and Engineering - Volume 141 Academic Press -1979

Aquisição e Processamento de Informação Tridimensional - Jorge Alves da Silva

Dissertação de Doutoramento apresentada à Faculdade de Engenharia da Universidade do Porto, Departamento de Engenharia Electrotécnica e de Computadores - 1994

Algumas Ferramentas para Visão Tridimensional por Computador - João Manuel R. S.

Tavares

Publicação inserida na dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia

Electrotécnica e de Computadores.

Faculdade de Engenharia da Universidade do Porto - 1995

(47)

Bibliografia:

Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara - João Manuel R. S. Tavares

Dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores.

Faculdade de Engenharia da Universidade do Porto - 1995

A new approach for merging edge line segments - João Manuel Tavares, A. Jorge Padilha Artigo para o RecPad’95 - 7th Portuguese Conference on Pattern Recognition

Aveiro, Portugal - 23/24 de Março de 1995

Matching lines in image sequences with geometric constraints - João Manuel Tavares, A.

Jorge Padilha

Artigo para o RecPad’95 - 7th Portuguese Conference on Pattern Recognition Aveiro, Portugal - 23/24 de Março de 1995

A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses - Roger Y. Tsai

Ieee Journal Of Robotics And Automation, Vol. RA-3, NO. 4, August 1987 - 323/344

(48)

Agradecimentos

À Junta Nacional de Investigação Científica e Tecnológica pela Bolsa de Mestrado atribuída ao primeiro autor, ao abrigo do Programa Ciência com a Ref. BM/3258/92 - RM, com a qual foi possível desenvolver o trabalho apresentado.

(49)

Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em

Visão por Computador

João Manuel R. S. Tavares, A. Jorge Padilha

FEUP - Faculdade de Engenharia da Universidade do Porto INEB - Instituto de Engenharia Biomédica

(50)

I - Introdução

O âmbito do doutoramento insere-se no domínio do seguimento e análise do movimento de corpos deformáveis 2D/3D usando Visão Computacional.

Nesta apresentação é realizada uma breve introdução ao estado da arte, descritas algumas fases do trabalho já realizadas,

apresentados alguns exemplos de resultados experimentais

obtidos, exposta a aplicação principal que se pretende satisfazer, e, por fim, tecidas algumas conclusões e discutidas algumas

perspectivas de trabalho futuro.

(51)

Algumas das técnicas utilizadas por vários investigadores no

domínio da análise/seguimento de corpos deformáveis 2D/3D em visão por computador são:

• Utilização de modelos deformáveis protótipos (Templates, ...);

• Análise de componentes principais;

• Utilização de filtragem de Kalman (mais utilizada para o seguimento de objectos rígidos, utilizada em conjunto com outras técnicas para o seguimento de objectos não rígidos);

II - Breve Introdução ao Estado da Arte

(52)

• Contornos (Snakes), superfícies e modelos activos;

• Utilização da análise modal;

• Utilização do método dos elementos finitos;

• Utilização do método dos elementos finitos + análise modal;

• …

(A vermelho as técnicas consideradas como potencialmente mais interessantes para a aplicação alvo.)

II - Breve Introdução ao Estado da Arte

(53)

III - A aplicação CMIS

Durante o doutoramento está a ser desenvolvida, em Visual C++ para plataforma Windows 95/NT, uma aplicação para análise e processamento de imagens: O CMIS.

A esta aplicação não são só acrescentados os algoritmos desenvolvidos no âmbito especifico do doutoramento mas também algoritmos mais gerais e comuns.

O CMIS está a ser dirigido potencialmente para a área da imagem médica sendo o embrião do SIMED.

Actualmente o CMIS é/foi o sistema base para o

desenvolvimento de trabalhos de fim de curso, de investigação (mestrados/doutoramentos) de alguns alunos/investigadores na área da Visão por Computador da FEUP/INEB.

(54)

III - A aplicação CMIS

CMIS: emparelhamento de dois contornos não rígidos:

(55)

III - A aplicação CMIS

CMIS: Análise de regiões.

(56)

IV - Contornos Activos (Snakes)

Contornos activos ou “snakes” são constituídos por um conjunto de pontos, uniformemente distribuídos, com determinadas

propriedades mecânicas, que através de forças de atracão e de repulsão vão convergindo (iterativamente) desde uma posição inicial, definida pelo utilizador ou colocada automaticamente na imagem, até uma posição final adequada para segmentar o objecto desejado.

Definição inicial.

Objecto a segmentar.

(57)

IV - Contornos Activos (Snakes)

Definição dos parâmetros para a Snake (modelo de Kass):

(58)

IV - Contornos Activos (Snakes)

Posição final da Snake:

Alguns parâmetros do objecto segmentado:

(59)

V - Análise Modal

Com a Análise Modal pretende-se determinar os emparelhamentos entre pontos de dois objectos através da análise dos

deslocamentos de cada ponto no respectivo espaço modal: Pontos com deslocamentos semelhantes são considerados como

potencialmente candidatos ao emparelhamento.

Até ao momento esta técnica foi por nós implementada através de duas abordagens distintas:

• determinação dos vectores/valores próprios de uma matriz de proximidade definida para cada objecto (método de

Shapiro);

• determinação dos vectores/valores próprios dos modelos de elementos finitos construídos para cada objecto.

(60)

V - Análise Modal

Exemplos de resultados obtidos (pelo método de Shapiro):

Contorno t Contorno t+1 Contornos t e t+1

Emparelhamento obtidos com os contornos amostrados

…após a aplicação da transformação rígida determinada (pelo método de Horner baseado

em quaternions unitários) ao contorno t.

(61)

J. Tavares. A. PadilhaSeguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C.

V - A nálise Modal

Contorno t

Contorno t+1

Contornos t e t+1 Emparelhamentos

obtidos

…após aplicação da transf. rígida

…após aplicação da transf. rígida incluindo

o escalonamento

(62)

VI - Método dos Elementos Finitos

O Método dos Elementos Finitos considera o sistema global como equivalente a um agrupamento de elementos finitos no qual cada um destes é uma estrutura contínua mais simples. Impondo que em

certos pontos comuns a vários elementos, designados por nodos ou nós, os deslocamentos sejam compatíveis e as forças internas em equilibro o sistema global, resultante do agrupamento, reage como uma única entidade e de forma similar ao sistema real.

A vantagem do método é que a equação de movimento para o sistema global pode ser obtida pelo agrupamento das equações

determinadas individualmente para cada elemento finito utilizado na modelização. O movimento em qualquer ponto no interior de cada um destes elementos é obtido por intermédio de interpolação sendo,

geralmente, as funções de interpolação polinómios de grau reduzido e iguais para elementos do mesmo tipo.

(63)

VII - Método dos Elementos Finitos + Análise Modal

A técnica da utilização da Análise Modal com o Método dos Elementos Finitos consiste em:

• Construir um modelo de elementos finitos para cada um dos objectos a emparelhar;

• Determinar os modos de vibração de cada um dos modelos (a partir das matrizes de massa e de rigidez);

• Determinar as correspondências pela análise dos deslocamentos dos nodos de cada modelo no respectivo espaço modal.

Com a utilização de modelos físicos torna-se possível determinar a energia de deformação necessária para deformar um objecto num outro e estimar os deslocamentos dos nodos não emparelhados com sucesso (utilizando o método dos mínimos quadrados de forma a

minimizar a energia de deformação).

(64)

[M]{^U^¨}+ +[K]{U}={R}

determinação das matrizes de massa e de rigidez para o modelo finito

Determinação dos modos próprios Construção do modelo físico

Entrada: dados considerados como nodos de um elemento finito

[K]{φ}_i= ω_i²[M]{φ}_i resolução do problema de valores/vectores próprios generalizado

[M]{U¨}+ +[K]{U}={R}

determinação das matrizes de massa e de rigidez para o modelo finito

[K]{φ}_i= ωi2[M]{φ}_i resolução do problema de valores/vectores próprios generalizado

Saída: correspondência entre dados Emparelhar os modos {φ}_i não rigidos de baixa ordem

de ambas as formas

Utilizar os modos {φ}_i emparelhados como sistema

de coordenadas

VII - Método dos Elementos Finitos +

Análise Modal

(65)

VII - Método dos Elementos Finitos + Análise Modal

Exemplos de Resultados (utilizando o elemento finito de Sclaroff):

Valor da energia de deformação: 17.6

Contorno t Contorno t+1 Contornos t e t+1 Emparelhamento obtidos com os contorno amostrados

…após a aplicação da transformação rígida

…após a determinação dos deslocamentos nodais estimados

(66)

VII - Método dos Elementos Finitos + Análise Modal

Exemplos de Resultados (utilizando o elemento finito de Sclaroff):

Valor da energia de deformação: 1.4

Contorno t Contorno t+1

Contornos t e t+1

Emparelhamento obtidos com os contorno amostrados

(67)

VII - A aplicação principal

Pretende-se utilizar uma metodologia adequada para a análise de sequências de imagens 2D/3D (3D considerando a

intensidade como a terceira coordenada: modelização XYI) de pedobarografia.

Exemplo de imagens de pedobarografia (negadas):

(68)

VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros

Com esta apresentação foi realizada uma breve introdução ao âmbito do doutoramento, descrição de algumas das suas fases e verificação de alguns resultados já obtidos.

Actualmente esta-se a aplicar a metodologia usada com sucesso no seguimento em imagens 2D de sequências de

pedobarografia em imagens 3D das mesmas sequências. Para a terceira coordenada é utilizado o nível de intensidade utilizando- -se assim a relação pressão/intensidade e construindo-se

modelos de superfície XYI.

O inicio da escrita da dissertação está agendado para o Verão do corrente ano.

(69)

VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros

Exemplo de um modelo de superfície XYI.