BIRAM: Sistema para Recuperação de Imagens por Conteúdo

(1)

BIRAM: Sistema para

Recupera

ç

_ç

ão de Imagens

_{ão de Imagens}

por Conte

ú

_ú

do

_do

Ram

Ramóón A. Moreno n A. Moreno e S

e Séérgio S. rgio S. FuruieFuruie Instituto do Cora

(2)

Introdu

ç

_ç

ão

_ão

Sistemas de Recupera

Sistemas de Recuperaçção de Imagens Baseado em ão de Imagens Baseado em Conte

Conteúúdo (CBIR) oferecem diversas vantagens:do (CBIR) oferecem diversas vantagens:

Permitem pesquisa e recuperaPermitem pesquisa e recuperaçção de imagens ão de imagens

m

méédicas baseadas em caracterdicas baseadas em caracteríísticas da imagem;sticas da imagem;

Vantagem sobre sistemas PACS (ex: presenVantagem sobre sistemas PACS (ex: presençça de a de

marcapasso

marcapasso na imagem);na imagem);

Pode ser utilizado para educaPode ser utilizado para educaçção, pesquisa e ão, pesquisa e

aux

(3)

Introdu

ç

_ç

ão

_ão

Problema com sistemas CBIR: Problema com sistemas CBIR:

Ainda não existe um algoritmo capaz de Ainda não existe um algoritmo capaz de

identificar imagens gen

identificar imagens genééricas;ricas;

Existem diversos tipos de indexaExistem diversos tipos de indexaçção;ão;

EscalabilidadeEscalabilidade e desempenho são fatores e desempenho são fatores

importantes (estudo com imagens m

importantes (estudo com imagens méédicas dicas ~100MB);

~100MB);

Pouco utilizado na prPouco utilizado na práática (integratica (integraçção com ão com

PACS, associa

(4)

Objetivos

Criar uma arquitetura CBIR que:

Permita a utiliza

ç

ão de diversos algoritmos

para caracteriza

ç

ão da imagem;

Possa suportar diversas t

é

cnicas de indexa

ç

ão;

Suporte a associa

ç

ão de informa

ç

ão textual

para auxiliar a indexa

ç

ão e recupera

ç

ão das

imagens

(5)

Objetivos

(6)

Metodologia

O BIRAM (Base de Imagens Relacional de O BIRAM (Base de Imagens Relacional de

Algoritmos e M

Algoritmos e Méétricas) tem as seguintes tricas) tem as seguintes funcionalidades:

funcionalidades:

Armazenamento de imagens (DICOM Armazenamento de imagens (DICOM -- Digital Digital

Imaging

Imaging andand CommunicationsCommunications in in MedicineMedicine););

Armazenamento de algoritmos (Armazenamento de algoritmos (javajava););

IndexaIndexaçção de imagens usando algoritmos;ão de imagens usando algoritmos;

(7)

Metodologia

Desenvolvimento de protDesenvolvimento de protóótipo in Java usando tipo in Java usando

banco de dados MS Access 97; banco de dados MS Access 97;

ImplementaImplementaçção atual utiliza caracterão atual utiliza caracteríísticas da sticas da

linguagem Java:

linguagem Java: serializaserializaççãoão, instancia, instanciaçção ão dinâmica e invoca

dinâmica e invocaçção de mão de méétodos remotos todos remotos (RMI);

(RMI);

(8)

Modelo de Dados

CONCLUSÃO ALG_X_IMG ALGORITMO ROI_LAUDO SERIES LAUDO ESTUDO DICIONARIO PACIENTE IMAGEM ROI_ALGOR TERMOS

(9)

Metodologia

AbstraAbstraççãoão dos dos AlgoritmosAlgoritmos

java.rmi.Remote <<Int erface>> java.io.Serializable <<Interface>> Server storeDICOMImage() searchImage() listAlgorithms() storeAlgorithm() applyAlgorithm() saveReport() listDictionaries() listDictionaryCodes() <<Int erface>> Descriptor calculat eDistance() <<Interface>> Algorithm getName() getDescription() getAut hor() getVersion() getBodyPart() getModalit y() getNumberOfBit s() process () <<Int erface>> 1 0..* 1 +contains 0..* +produces

(10)

Funcionamento

1) Envio de algoritmos1) Envio de algoritmos

CLIENTE SERVIDOR 1. Arquivo JAR BANCO 2. Instanciação Algoritmo 4. Processamento IMG 5. Armazenamento Descritores 3. Lista imagens

(11)

Funcionamento

2) Envio de imagens2) Envio de imagens

CLIENTE SERVIDOR

1. Imagem DICOM

BANCO

3. Processamento IMG por Algoritmos

4. Armazenamento 2. Algoritmos

(12)

Funcionamento

3) Recupera3) Recuperaçção de imagensão de imagens

CLIENTE SERVIDOR

1. Buscar similares

BANCO

3. Comparação Descritores com Imagem

2. Descritores 4. Lista similares

(13)

Resultados

Um laudo pode Um laudo pode

ser associado com ser associado com

as imagens para as imagens para

indexa

(14)

Resultados

A A conclusãoconclusão utiliza utiliza um um dicion

dicionááriorio mméédicodico (

(atualmenteatualmente CIDCID- -10)

10) facilitandofacilitando a a indexa

(15)

Results

(16)

Resultados

ExemploExemplo de de

resultado

resultado dada buscabusca utilizando

utilizando histograma

(17)

Discussão

O prot

O protóótipo ainda pode ser melhorado com:tipo ainda pode ser melhorado com:

Uso de Regiões de interesse (ROI);Uso de Regiões de interesse (ROI);

IndexaIndexaçção dos vetores de caracterão dos vetores de caracteríísticas (XXL sticas (XXL

library

library) ) –– slimslim treetree, , MM--TreeTree, , etcetc;;

IntegraIntegraçção com sistema PACS aberto ão com sistema PACS aberto

(

(18)

Discussão

O tipo de algoritmo pode ser abstra

í

do,

suportando diferentes implementa

ç

ões;

É

poss

í

vel trabalhar com

-

informa

ç

ão

sobre o algoritmo (ex: auto

-

sele

ç

ão do

melhor algoritmo).

(19)

Conclusão

Neste trabalho foi apresentado um protNeste trabalho foi apresentado um protóótipo tipo

parcial da arquitetura BIRAM, o qual permite a parcial da arquitetura BIRAM, o qual permite a

utiliza

utilizaçção de diversos algoritmos de extraão de diversos algoritmos de extraçção de ão de caracter

caracteríísticas, armazenamento de imagens sticas, armazenamento de imagens DICOM, associa

DICOM, associaçção da imagem com laudo e ão da imagem com laudo e recupera

recuperaçção de imagens por similaridade;ão de imagens por similaridade;

O protO protóótipo demonstrou a viabilidade do tipo demonstrou a viabilidade do

modelo. modelo.

(20)

Agradecimentos

A FAPESP, processos 1997/14206A FAPESP, processos 1997/14206--5, 5,

2001/05987

2001/05987--0 e 2006/045320 e 2006/04532--3;3;

(21)

(22)

Banco

(23)

Store algorithm

Client BIRAM MyAlgorithm Database

1: storeAlgorithm("MyAlgorithm", myJarFile) 2: save 3: new 4: getInfo() 5: insert "MyAlgorithm" 6: OK

(24)

Apply algorithm

BIRAM Dat abase MyAlgorithm MyDescriptor

1: get images for "MyAlgorithm"

2: process( image )

3: new 4: store "MyDescriptor"

(25)

Search using algorithm

Client BIRAM Dat abase

1: searc hIm age(image, " My Algorit hm")

2: list descriptors

3: compare descriptors