Relatório de Progresso
Alinhamento de imagens de medicina nuclear
Nuno José Ferreira de Sá Couto
Sérgio Vasconcelos de Barros
Projecto Final de Curso
Projecto Final de Curso
Projecto Final de Curso
Projecto Final de Curso
5
55
5ºººº ano
ano
ano
ano
Licenciatura de Engenharia Electrot
Licenciatura de Engenharia Electrot
Licenciatura de Engenharia Electrot
PD77 -Alinhamento de imagens de medicina nuclear
Objectivo
Concepção e implementação de métodos de captura de informação posicional (3-D) para alinhar imagens renais de medicina nuclear obtidas em sequência temporal, com vista a potenciar a capacidade de análise diagnóstica.
Descrição
O trabalho a desenvolver incorpora a aquisição e aplicação de conhecimentos em diversas áreas, nomeadamente o processo físico de aquisição das imagens, os métodos de captação de informação tridimensional por meio de câmaras convencionais, e as técnicas de processamento e análise de imagem para correcção geométrica.
A ausência de estrutura e de pontos fiduciais nas imagens renais dificulta o seu alinhamento automático, enquanto que a longa duração do exame médico inviabiliza a adopção de medidas de imobilização do paciente.
Assim, neste projecto pretende-se analisar a possibilidade de utilizar informação visual adicional, obtida através da aquisição de imagens do paciente efectuada concomitantemente com o exame médico de medicina nuclear.
A extracção de informação sobre a posição e pose do paciente em cada momento permitirá estimar o movimento da zona renal e, desse modo, compensá-lo na sequência de imagens.
Local de Trabalho
FEUP - INEB - Sala I 303 -Sinal e Imagem Biomédica Professor Responsável
Professor Armando Jorge Padilha. Alunos
Nuno José Ferreira de Sá Couto (ee96040@fe.up.pt) Sérgio Vasconcelos de Barros (ee96077@fe.up.pt) Fases do trabalho
De forma sumária, prevêem-se as seguintes fases de progresso do trabalho:
1. Pesquisa de informação relevante para o projecto, em particular no que respeita ao processo de obtenção de imagens de radioisótopos e aos métodos passivos de aquisição de informação tridimensional.
2. Implementação do sistema de aquisição 3-D, incluindo concepção de alvos e/ou de marcas corporais.
3. Realização do alinhamento geométrico da sequência de imagens, a partir da estimação da posição e pose da zona renal.
4. Montagem e ensaios práticos em exames clínicos reais e, se necessário, com recurso a fantomas.
Considerações
É pretendido com este relatório descrever o progresso em termos de actividades e resultados desde o início do projecto até à data de 5 de Maio de 2001, dando conta do que foi já feito e do que se encontra por realizar.
Este relatório não substitui no entanto o relatório final uma vez que apenas se pretende dar uma ideia do que foi efectuado em termos genéricos, deixando para o relatório final toda a informação associada ao projecto.
Introdução
O trabalho a desenvolver neste projecto pretende, através do estudo do movimento de um alvo colocado no paciente durante o exame médico, corrigir as alterações que resultam do movimento do paciente nos resultados do exame. O seguimento do movimento do alvo no paciente é feito através de um sistema de duas câmaras colocados em posições distintas, de modo a obter informação tridimensional. Neste alvo encontram-se padrões a partir dos quais através de métodos de processamento e análise de imagem, conseguimos identificar o movimento associado e por relação o movimento associado ao paciente. Assim após ter identificado o movimento e identificando-o com o instante de cada imagem obtida pelo exame, poderemos actuar sobre estas imagens de modo a corrigir os erros associados ao movimento do paciente.
A aquisição de imagens leva a que tenha que ser feita a calibração das câmaras uma vez que este é um passo necessário em visão 3D para podermos extrair informação métrica a partir de imagens 2D.
Assim a aquisição de imagem a partir das câmaras, a calibração das mesmas e todo o processamento associado à detecção do movimento do alvo e respectiva correcção nas imagens finais são os objectivos deste projecto.
As ideias subjacentes a todo o projecto são a implementação de um sistema flexível, robusto, funcional e que possibilite ao utilizador adaptá-lo às suas necessidades de acordo com diferentes métodos e alternativas disponíveis.
Todas as fases envolvidas nesse mesmo projecto bem como as que já foram desenvolvidas e as que se encontram por desenvolver serão referenciadas neste relatório.
Sequência de Actividades
Actividades realizadas
1. Recolha de informação. 2. Criação da página web.
3. Estudo, aquisição e montagem dos meios necessários para a implementação do sistema de câmaras.
4. Análise da estrutura a seguir para criação da aplicação de interface. 5. Escolha e familiarização com o ambiente de programação a utilizar.
6. Desenvolvimento da aplicação seguindo uma estrutura modular a. Aquisição.
b. Calibração do sistema. 7. Dimensionamento dos alvos. Actividades a realizar
1. Desenvolvimento dos seguintes módulos da aplicação: a. Detecção do alvo.
b. Concatenação da informação stereo para indicação de movimento 3D. c. Correcção da sequência de imagens a partir dos movimentos detectados 2. Correcção e optimização da aplicação adaptada às condições de utilização normal. 3. Validação e verificação dos métodos e da funcionalidade da aplicação.
4. Análise de possibilidade de melhorias e alternativas à solução realizada.
De seguida vai ser feita uma breve descrição de cada etapa já realizada.
1. Recolha de informação
O processo de recolha de informação iniciou-se antes mesmo do início programado do projecto através do contacto com o instituto de engenharia biomédica da Universidade de Karlsruhe - Institut fur Biomedizinische Technik, Universitat Karlsruhe - aproveitando o facto de terem sido realizadas actividades curriculares nesse mesmo instituto por parte dos autores do projecto como alunos ERASMUS .
O processo de recolha de informação pretendeu satisfazer as necessidades inerentes ao projecto relativas aos seguintes temas:
Medicina nuclear
História da medicina nuclear Ideias fundamentais associadas
Técnicas, métodos e equipamentos utilizados SPECT
PET
Aquisição e processamento de imagem Calibração de câmaras
Métodos de alinhamento de imagens
2. Criação da página web
De maneira a perfazer um dos requisitos do regulamento da disciplina PSTFC (Projecto, Seminário, Trabalho de Fim de Curso) foi implementado um site localizado em http://www.fe.up.pt/~nuclear.
Este site tem como objectivo facultar informação sobre o projecto em desenvolvimento tais como: - objectivos; - descrição; - pessoas envolvidas; - local de trabalho; - orientador; - ocorrências e reuniões; - software desenvolvido; - código fonte; - imagens médicas;
- imagens relativas ao desenvolvimento do projecto; - vídeos;
- relatórios;
- resultados da pesquisa bibliográfica relativa a todos os temas abordados no projecto.
Desta maneira o site foi estruturado da seguinte maneira:
- Home: contém a informação relativa a objectivos, descrição, local de trabalho, orientador e pessoas envolvidas.
- Agenda: contém informação relativa a ocorrências e reuniões.
- Arquivo: contém versões da aplicação desenvolvida (executáveis), imagens usadas para o desenvolvimento da aplicação, imagens resultantes da aplicação, vídeos e relatórios.
- Download: secção com acesso restrito por meio de username e password. Este acesso restrito deve – se ao facto de alguma informação ser confidencial e não transmissível, tal como: imagens médicas e código fonte. Terão acesso a esta secção as pessoas envolvidas no desenvolvimento do projecto e o Professor orientador.
- Links: contém os resultados da pesquisa bibliográfica relativa a todos os temas abordados no projecto.
A página web encontra – se em constante actualização.
3. Estudo dos meios necessários para a implementação do sistema
Foi feita uma análise do equipamento que seria necessário adquirir para satisfazer os propósitos do sistema de aquisição. Foi discutida a possibilidade de usar um sistema com uma ou duas câmaras de aquisição. A decisão recaiu sobre o sistema de duas câmaras, uma vez que este nos possibilita adquirir informação tridimensional de movimento ao contrário do sistema com uma câmara satisfazendo de uma forma qualitativamente superior o propósito de detecção de movimento.
O estudo do equipamento necessário ao projecto resultou na seguinte lista de material:
2 câmaras. Suporte para câmaras
Placa de aquisição de imagem -Frame grabber.
Computador para aquisição e tratamento da informação adquirida pelas câmaras. Alvo para colocar no paciente de modo a detectar um determinado tipo de padrão associado aos movimentos do paciente, bem como alvo de calibração.
Equipamento de alimentação das câmaras e de conexão das câmaras à placa de aquisição.
4.Análise da estrutura a seguir para criação da aplicação de interface
A análise dos fins a que se propõe o projecto levou-nos a decidir que a aplicação de interface a desenvolver será baseada no seguinte esquema modular:
Essa decisão baseou-se no facto da estrutura modular permitir flexibilizar o sistema permitindo que alterações num dos módulos não tenha influência no código relativo aos restantes módulos, tornando-os independentes. A funcionalidade e características de cada módulo foram-lhes associadas de uma forma genérica de modo a possuirmos uma aplicação funcional, robusta, flexível e consistente.
Aquisição das imagens via Frame Grabber
Este módulo realiza a interface entre a aplicação e o frame grabber, possibilitando diferentes esquemas de aquisição de imagens para satisfação de diferentes necessidades e possibilita a configuração de todos os parâmetros associados quer às câmaras quer ao frame grabber.
Calibração das câmaras
Neste módulo são determinados os parâmetros intrínsecos e extrínsecos das câmaras utilizadas de maneira a poder inferir com precisão informação 3D relativamente à localização de um objecto ou alvo. A calibração da câmara fornece, a partir das coordenadas imagem na memória frame, uma solução para a determinação de uma recta de projecção no espaço 3D sobre a qual um ponto do alvo deverá encontrar-se. Com duas imagens distintas, adquiridas de duas imagens a posição do ponto pertencente ao alvo pode ser determinada pela intersecção das duas rectas de projecção projectivas – triangulação estereoscópica. Aquisição das imagens via Frame Grabber Calibração das câmaras Detecção de padrões associados ao alvo Correcção geométrica da sequência de imagens
Aplicação
Detecção de padrões associados ao alvo
Neste módulo são detectados movimentos de padrões de um alvo colocado no paciente. O alvo será colocado rigidamente no paciente (através de um cinto) e será solidário com os seus movimentos. Os movimentos passíveis de detecção serão: translações e rotações.
Correcção geométrica da sequência de imagens
Após a detecção e análise do movimento do alvo num determinado instante (instante este coincidente com o instante de aquisição da imagem médica) é efectuada uma correcção na imagem médica de acordo com o padrão de movimento detectado. É também objecto de estudo deste projecto a possibilidade de correcção da intensidade de brilhos na imagem médica final se o movimento de paciente for na direcção do detector (i.e. quanto mais perto do detector estiver o paciente maior será a intensidade de brilho na imagem e vice-versa).
5. Escolha e familiarização com o ambiente de programação a
utilizar
A escolha da ferramenta de programação para desenvolver a aplicação e as bibliotecas a utilizar foi feita tendo em atenção que esta aplicação correria em ambiente Windows e que faria uso de uma placa de aquisição Matrox Meteor I. Assim foi escolhido como linguagem de programação o C e o Visual C++ com recurso às MFC e a biblioteca Mil Lite para trabalhar com o frame grabber.
6. Desenvolvimento da aplicação seguindo uma estrutura modular
Aquisição
O módulo de aquisição permite obter imagens a partir de uma ou duas câmaras e seguindo diferentes esquemas de aquisição. Assim podemos adquirir uma sequência de imagens seguidas ou espaçadas temporalmente colocando-as num formato individual de imagem ou seqência de imagens. Pode-se ainda efectuar a aquisição de imagens por eventos associados à porta série ou ao teclado, ou seja a aquisição é activada sequencialmente por um evento até perfazer o numero de imagens desejadas. À aquisição encontram-se associadas um determinado número de opções configuráveis pelo utilizador tais como: o canal associado a cada câmara, o modo de visualização, tamanho da imagem a adquirir, tipo de câmara, tipo de sinal de entrada das câmaras, entre outros (todas estas
características serão completamente descritas no relatório final sob a forma de um guia de utilização da aplicação).
Além disso é possível definir as características associadas às imagens adquiridas, pelo frame grabber, adaptando-se assim às condições de utilização do sistema.
Todo este módulo foi implementado de modo a satisfazer as necessidades do projecto e também ser utilizado independentemente para simples aquisições de imagem.
Calibração do sistema.
O método de calibração coplanar concebido e implementado foi baseado no proposto em [Tsai, 1987]; deste modo utiliza o mesmo modelo para a câmara, um setup experimental idêntico e, da mesma forma, um conjunto de pontos de calibração coplanares.
O processo de calibração global é constituído pelas seguintes três etapas: 1- Determinação do factor de incerteza horizontal s ; x
2- Determinação das coordenadas do centro da imagem na memória frame C e x Cy;
3- Determinação dos restantes parâmetros de calibração, nomeadamente da matriz de rotação 3D R, do vector de translação 3D T, da distância focal efectiva f e do factor de distorção radial k . 1
Foi também concebido e implementado um software de simulação, de maneira a ser possível testar o algoritmo de calibração e permitir a análise dos resultados, sem aquisição de qualquer espécie dos pontos de calibração.
Diagrama de blocos do método de calibração coplanar:
O método de calibração não coplanar é baseado no proposto em [Tsai, 1987]; deste modo utiliza o mesmo modelo para a câmara, um setup experimental idêntico e, da mesma forma, um conjunto de pontos de calibração não coplanares. Este método encontra-se em fase de estudo / implementação.
7. Dimensionamento dos alvos.
O dimensionamento do alvo para a calibração das câmaras foi feito tendo em conta que o algoritmo de calibração efectua a detecção de linhas paralelas em duas direcções distintas. Assim chegou-se à conclusão que o alvo deveria ser constituído por um conjunto de quadrados paralelos e com a mesma dimensão. Desta forma o princípio dos pontos calibradores se encontrarem em linhas paralelas de duas direcções diferentes é
Detecção dos pontos coplanares Formatação dos pontos coplanares Determinação dos parâmetros de calibração 3D R; 3D T; f e k1.
respeitado. É também possível dimensionar um alvo com rectângulos com a mesma dimensão, paralelos entre si.
Como se trata de um alvo para o algoritmo de calibração coplanar estes pontos devem estar todos no mesmo plano, isto é, as coordenadas 3D dos pontos devem apenas variar em duas dessas dimensões e constante na outra coordenada.
Assim o alvo dimensionado tem a seguinte forma:
Fig.1 – Alvo dimensionado para calibração coplanar
Este alvo foi assim utilizado para testar as rotinas de calibração não sendo este o que será utilizado para os testes clínicos finais. De qualquer forma, o alvo final respeitará todas as premissas referidas anteriormente e terá uma forma similar ao da fig. 1.
Quanto ao dimensionamento do alvo para a determinação de coordenadas 3D, este foi desenvolvido tendo em conta que o algoritmo de detecção baseia – se na detecção de linhas em quatro direcções diferentes. Assim as figuras geométricas candidatas a pertencer ao alvo seriam: triângulos, quadrados, rectângulos, losângulos e cruzes. Tendo em conta as características de cada uma destas figuras e que o conjunto das figuras fosse identificado de uma forma única e inequívoca sem ambiguidades o alvo dimensionado tem a seguinte forma:
Fig.2 – Alvo dimensionado para a determinação de coordenadas 3D
O alvo na fig. 2 pode vir a ser alterado, tanto no nº de constituintes como na forma dos mesmos, de maneira a produzir melhores resultados.
Trabalho Futuro
As actividades indicadas como por realizar no início do relatório são o trabalho futuro a efectuar. Faz também parte deste trabalho futuro a validação e verificação de tudo o que está feito levando-nos assim a frequentemente optimizar o código e módulos implementados assim como a correcção de erros só detectáveis na implementação em ambiente clínico.
Conclusões
Em termos de trabalho desenvolvido achamos que as primeiras actividades (recolha de informação, escolha e familiarização com o ambiente de trabalho e estudo dos meios necessários para a implementação do projecto) foram, para o planeamento e estruturação do projecto, as mais importantes, dado que nos permitiu uma visão clara e precisa do que tinha de ser feito em cada fase do projecto.
Por outro lado, esta pesquisa absorveu-nos grande parte do tempo que tínhamos disponível, mas é nossa convicção que nos encontramos dentro das previsões temporais para a execução total do projecto.
Os resultados obtidos são os esperados, tendo em conta que, fazem parte de um processo que não se encontra ainda terminado.
