S2iImage Biblioteca Computacional para manipulação de imagens digitais, com suporte a Região de Interesse (ROI) Mathias JK Erdtmann

(1)

S2iImage – Biblioteca Computacional para manipula¸c˜ ao de imagens digitais, com suporte a Regi˜ ao de Interesse (ROI)

Mathias JK Erdtmann Mar¸co de 2005

(2)

Cap´ıtulo 1

Introdu¸ c˜ ao

S2iImage é uma biblioteca computacional para manipula¸cão de imagens digitais, com suporte a Região de Interesse (ROI). Isso significa que seu propósito é constituir de um conjunto de estruturas que facilite a manipula¸cão de imagens e, além disso, permitir a manipula¸cão de regiões de interesse.

A partir desta biblioteca, desenvolver-se-´a todos os aplicativos e bibliotecas do grupo S2i que envolvam imagens em qualquer ponto do projeto.

O histórico da biblioteca come¸cou em 2001, com Alexandre Orth, com atualiza¸cões em 2003, realizadas por Fernando Deschamps e, finalmente, sua reformula¸cão em 2004-2005 por Alberto Pavim e Mathias Erdtmann

(3)

Cap´ıtulo 2

Proposta

A proposta inicial (ou concep¸c˜ao original) do projeto S2iImage ´e:

Cria¸cão de uma biblioteca computacional para a manipula¸cão de imagens digitais, com suporte a Região de Interesse (ROI)

No entanto, levando-se em conta as etapas j´a realizadas e a realizar para satisfazer esta proposta, a proposta do projeto atual (2004–2005) ´e:

Alterar e reformular a atual biblioteca S2iimage de forma que satisfa¸ca sua concep¸c˜ao original

A razão da necessidade pela reformula¸cão é, em parte, a não manuten¸cão, que tornou a biblioteca inoperante (por obsolescência) e também a necessidade que o grupo encontrou em atualizar certos conceitos que foram implementados de maneira não congruente com a literatura padrão.

(4)

Cap´ıtulo 3

Requisitos

3.1 Objetivo

Refomular a atual biblioteca S2iImage.

3.2 Requisitos

3.2.1 Classifica¸c˜ao dos Requisitos

Os requisitos deste projeto foram classificados de acordo com a seguinte nomenclatura:

• Alta prioridade: requisitos essenciais ao projeto e ao funcionamento da biblioteca. O objetivo do projeto depende diretamente do cumprimento de todos os requisitos com esta prioridade.

• Média prioridade: requisitos desejáveis ao projeto, mas não essenciais. O não cumprimento destes requisitos não afeta o objetivo do projeto, mas acarreta uma redu¸cão significativa na funcionalidade da biblioteca.

• Baixa prioridade: requisitos desejáveis ao projeto, não essenciais e que estão ligados a aplica¸cões espec´ıficas e especializadas da biblioteca. O não cumprimento destes requisitos não afeta a funcionalidade da biblioteca, uma vez que estes requisitos podem ser implementados no futuro, quando e se necessário.

3.2.2 Listagem de Requisitos (A numera¸cão é para referência apenas)

(5)

No. Prioridade Descri¸c˜ao

1 Alta O c´odigo fonte da biblioteca deve ser compat´ıvel com os padr˜oes ISO C++.

2 Alta A biblioteca deve ser compil´avel em todas as arquiteturas nas quais seja poss´ıvel compilar a biblioteca OpenCV e para as quais exista um compilador de C++ compat´ıvel com os padr˜oes ISO C++.

3 Alta A biblioteca deve suportar completamente imagens de uma e trˆes camadas.

4 M´edia A biblioteca deve suportar imagens de quatro camadas.

5 Alta A biblioteca deve suportar v´arias profundidades de ca- mada.

6 Alta A biblioteca deverá suportar aritmética de imagens 7 Alta A biblioteca deverá suportar aritmética e comparadores

booleanos de imagens

8 Alta A biblioteca dever´a ser capaz de armazenar e restaurar imagens de arquivos

9 M´edia A biblioteca dever´a ser capaz de armazenar e restaurar imagens de arquivos em formato PGN/MNG

10 Alta A biblioteca deverá suportar manipula¸cão de ROIs 11 Alta Deverá ser lan¸cada uma versão que mantenha compati-

bilidade com a vers˜ao anterior.

(6)

Cap´ıtulo 4

An´ alise

Será definido abaixo a biblioteca S2iImage, e esta defini¸cão é crucial, pois é sobre ela que construiu-se toda a análise aqui apresentada.

S2iImage – Biblioteca Computacional para manipula¸c˜ao de Imagens Digitais, com suporte a Regi˜ao de Interesse

Procura-se deixar claro que, com manipula¸cão de imagens refere-se a execu¸cão de opera¸cões atômicas (m´ınimas opera¸cões a se realizar). A execu¸cão de opera¸cões compostas (várias opera¸cões de manipula¸cão) é denominada processamento.

Para satisfazer os requisitos 1 e 2, será realizada a implementa¸cão primeiramente para GNU/linux, a ser compilada com o compilador gcc. Assim, assegura-se a portabilidade do código a todos sistemas operacionais que suportam tal compilador. Em adi¸cão, será realizada um posterior ajuste do código para que o mesmo possa ser utilizado com o compilador proprietário Visual C++ 6.0.

A versão antiga da S2iImage já suportava imagens de 1 e 3 camadas, embora as funcionalidades não para uma ou para outra acabaram se restringindo com o passar do tempo. Serão feitas todas as adapta¸cões necessárias para que o suporte seja total. Sistemas de cores de quatro camadas são também interessantes, mas não são usualmente aplicadas, de forma que, a princ´ıpio, não existe necessidade absoluta de seu uso. De qualquer forma, a biblioteca será implementada de forma estruturada, capaz de oferecer suporte a bibliotecas de um número de canais arbitrário.

Tomando-se o devido cuidado na implementa¸cão, não é muito restritiva a necessidade de suporte a várias profundidades de canal. Isto já vinha sendo feito na S2iImage, e bastará manter a estrutura atual. Quanto às opera¸cões executadas pela biblioteca, julgou-se necessária as opera¸cões aritméticas (+,-,*,/, etc), booleanas (&&, ——, , etc), armazenamento em vários formatos de imagem (SalvarImagem e AbrirImagem), acesso e definicao dos valores dos pixels (Get, Set) e manipula¸cão de ROIs (CriarROI, DestruirROI, etc). Estas opera¸cões foram consideradas opera¸cões minimais, ou seja, aquelas que cumprem a defini¸cão da biblioteca sem excessos. Desta forma, como era o próprio intuito da biblioteca ser minimalista, todas as fun¸cões que não se enquadrarem nestas se¸cões devem ser removidas.

A remo¸cão e/ou altera¸cão muito grande acarretará em falta de compatibilidade e para alertar os usuários das mudan¸cas, as mesmas devem ser expostas claramente no código, na documenta¸cão e, se poss´ıvel, na compila¸cão. Será lan¸cada uma versão chamada de“deprecated version”, que manterá compatibilidade com a versão anterior mas cujo funcionamento não está assegurado. Após isso será lancada a versão da nova S2iImage, que não possuirá as fun¸cões consideradas falhas.

(7)

Cap´ıtulo 5

Modelagem

Optou-se por não alterar em demasia a estrutura original da biblioteca, pois sua concep¸cão original é válida. Em linhas gerais, a biblioteca S2iImage está galgada na biblioteca OpenCV, e sua principal classe, a S2iImage, é derivada daestrutura IplImage, da OpenCV.

No entanto, o uso de IplImages para manipula¸cão é um tanto complexo e incomum, criando a necessidade de facilita¸cão do acesso aos recursos, que é a principal fun¸cão da S2iImage.

Desta forma, caracterizou-se como procedimento de manipula¸c˜ao todo aquele que pode ser implementado por meio de operadores e que ser˜ao, portanto, implementados por operadores.

As classes deverão ter, além dos operadores, fun¸cões “Get/Set” para tomar e alterar (quando aplicável) os atributos da classe.

Ser˜ao feitos ainda sobrecargas para os tipos mais usuais de aplica¸c˜oes.

Na biblioteca atual, existem as classes fast, que dever˜ao ser removidas, uma vez que seu

´

unico propósito é “tornar mais rápido o acesso aos dados da imagem”. Tal fato não foi comprovado (em termos de performance), e sua funcionalidade será incorporada nas classes padrão.

5.1 Projeto Estrutural

Segue o diagrama antes da remo¸c˜ao das classes (figura 5.1) e depois (5.2). Nota-se no diagrama duas novas classes de imagem, a S2iImageBGR24 e a S2iImageCMYK32, que seriam as classes de imagens coloridas com trˆes camadas de cores (azul, verde, vermelho) e quatro camadas de cores (ciano, magenta, amarelo e preto), respectivamente.

Figura 5.1: Antigo diagrama de classes da S2iImage

(8)

Figura 5.2: Novo diagrama de classes da S2iImage

5.2 Projeto Executivo

Ainda na figura 5.2, percebe-se que as classes filhas da classe S2iImage possuem seus parâmetros templates definidos. Isto é feito para facilitar o trabalho do desenvolvedor que utilizar a biblioteca e para diferenciar as classes, uma vez que os parâmetros template são a principal caracter´ıstica das classes filho (profundidade, número de canais).

(9)

Cap´ıtulo 6

Implementa¸ c˜ ao

A documenta¸c˜ao do c´odigo foi realizada utilizando a ferramenta Doxygen.

A mesma podem ser encontrada no diretóriodocda pasta ra´ız do módulo, em formatohtml e LÂTEX. Constam na documenta¸cão todas as fun¸cões consideradas obsoletas e a descri¸cão das novas fun¸cões, devidamente separadas em categorias, para fácil compreensão.

Programa-se futuras modifica¸cões na biblioteca, caso as novas versões da biblioteca OpenCV o fa¸cam necessário.

A seguir encontra-se a lista de fun¸cões e estruturas consideradas obsoletas (mais in- forma¸cões na documenta¸cão do código):

• int AddROI (S2iRect const &a oROIRect, S2iImage< TDataType, TColorLayers, TI- mageDepth>*a poROI)

• S2iImageStatus ShiftROI (float const &a fShiftX, float const &a fShiftY=0)

• S2iImageStatus ResizeROI (S2iRect const &a oROIRect)

• int const OffsetX () const

• int const OffsetY () const

• virtual TDataType const & GetIntensity (int const a nX, int const a nY, int const a nLayer=0) const

• TDataType * GetDataPtr ()

• TDataType const * GetDataPtr () const

• TDataType * GetLinePtr (int const a nY)

• TDataType const * GetLinePtr (int const a nY) const

• vector<TDataType>GetCol (int const a nNr, int const a nLayer=0) const

• unsigned int GetChannelsNumber () const

• int const Width () const

• int const Height () const

• int const Size () const

(10)

• virtual S2iImageStatus SetPixel (S2iPixel< TDataType, TColorLayers, TImageDepth

>const a oValue, int const a nX, int const a nY)

• S2iImageStatus SetDataPtr (void *a pData)

• S2iImageStatus SetAllEntries (TDataType const &a oValue)

• S2iImageStatus SetAllEntries (S2iPixel< TDataType, TColorLayers, TImageDepth >

const &a oValue)

• S2iImageStatus SetRowEntries (TDataType const &a oValue, int const aRowNr)

• S2iImageStatus SetRowEntries (S2iPixel<TDataType, TColorLayers, TImageDepth>

const &a oValue, int const aRowNr)

• S2iImageStatus SetColEntries (TDataType const &a oValue, int const aColNr)

• S2iImageStatus SetColEntries (S2iPixel< TDataType, TColorLayers, TImageDepth >

const &a oValue, int const aColNr)

• int IsLegalPixel (int const a nX, int const a nY) const

• bool IsOK () const

• bool IsPrimaryROI () const

• S2iImageStatus Copy (S2iImage< TDataType, TColorLayers, TImageDepth > const

&a oSourceImage)

• S2iBinaryImage * operator && (TDataType const &a oValue) const

• S2iBinaryImage * operator && (S2iPixel<TDataType, TColorLayers, TImageDepth>

const &a oPixel) const

• S2iBinaryImage * operator && (S2iImage< TDataType, TColorLayers, TImageDepth

>const &a oSourceImage) const

• S2iBinaryImage * operator—— (TDataType const &a oValue) const

• S2iBinaryImage * operator—— (S2iPixel< TDataType, TColorLayers, TImageDepth

>const &a oPixel) const

• S2iBinaryImage * operator—— (S2iImage< TDataType, TColorLayers, TImageDepth

>const &a oSourceImage) const

• S2iBinaryImage * operator! () const

• S2iImage<TDataType, TColorLayers,TImageDepth>const & operator<<= (unsigned int const &a nValue)

• S2iImage<TDataType, TColorLayers,TImageDepth>const & operator>>= (unsigned int const &a nValue)

• S2iImageStatus CalcMinMax (S2iPixel< TDataType, TColorLayers, TImageDepth >

&a oMinPixel, S2iPixel< TDataType, TColorLayers, TImageDepth > &a oMaxPixel,

(11)

• double SumPixels (int a nPlan=ALL LAYERS) const

• double Mean (int a nPlan=ALL LAYERS) const

• S2iImageStatus Mean (double &a fMean, double &a fStdDev, int a nPlan=ALL LAYERS) const

• double Norm (int a nNormType=CV C, int a nPlan=ALL LAYERS) const

• double Norm (S2iImage<TDataType, TColorLayers, TImageDepth>const &m oSecondImage, int a nNormType=CV C, int a nPlan=ALL LAYERS) const

• S2iImageStatus CompareImage (S2iImage< TDataType, TColorLayers, TImageDepth

>const &a oSourceImage)

• S2iImageStatus ImageNormalize (double const &a fModelImageMean, int a nPlan=ALL LAYERS)

• S2iImageStatus NormalizeInRange ()

• S2iImageStatus Zoom (int a nSrcWidth, int a nDestWidth, int a nSrcHeight, int a nDestHeight,

S2iImage<TDataType, TColorLayers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus Move (double const &a fShiftX, double const &a fShiftY, double const

&a fAngle=0, S2iImage<TDataType, TColorLayers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus Shift (double const &a fShiftX, double const &a fShiftY, S2iImage<

TDataType, TColorLayers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus Rotate (double const &a fAngle, double const &a fCenterX=0, double

const &a fCenterY=0, S2iImage<TDataType, TColorLayers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus Mirror (S2iMirrorFlipAxis a nFlipAxis, S2iImage< TDataType, TCo- lorLayers, TImageDepth>*a pDestImage=NULL)

• S2iImageStatus LinearTransform (double const &a fShearX, double const &a fShearY, double const &a fShiftX, double const &a fShiftY, S2iImage< TDataType, TColor- Layers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus LinearTransform (double const a fCoeffs[2][3], S2iImage< TDataType,

TColorLayers, TImageDepth>*a pDestImage=NULL, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus BilinearTransform (double const a fCoeffs[2][4], S2iImage<TDataType,

TColorLayers, TImageDepth>*a pDestImage=NULL, int t nFlag=0, int a nInterpolationTyp=IPL INTER NN)

• S2iImageStatus PerspectiveTransform (double const a fCoeffs[3][3], S2iImage< TDa-

taType, TColorLayers, TImageDepth>*a pDestImage=NULL, int t nFlag=0, int a nInterpolationTyp=IPL INTER NN)

• S2iImage<TDataType, TColorLayers, TImageDepth>const & MultiplyScale (S2iPixel<

TDataType, TColorLayers, TImageDepth >const &a oPixel)

• S2iImage<TDataType, TColorLayers, TImageDepth>const & MultiplyScale (S2iImage<

TDataType, TColorLayers, TImageDepth >const &a oSourceImage)

(12)

• S2iImageStatus PixelLinearTransform (double const &a oAlfa, double const &a oBeta, int a nPlan=ALL LAYERS)

• S2iImage<TDataType, TColorLayers,TImageDepth> const & Invert ()

• S2iImage< TDataType, TColorLayers,TImageDepth > const & MultiplyScale (TDa- taType const &a oValue)

• S2iImageStatus SetROIDataPtr (void *a pData)

• S2iImageStatus SetRowsPtr ()

• S2iLib::S2iPixelFast<TDataType, TColorLayers >

• S2iLib::S2iImageFast<T, C>

Muitas fun¸cões e, principalmente, operadores foram criados para executar as opera¸cões antes executadas pelas fun¸cões tidas como obsoletas. Algumas vezes as fun¸cões obsoletas foram simplesmente removidas do código, por não satisfazer a defini¸cão da biblioteca original.

(13)

Cap´ıtulo 7

Testes

Para fins de testes da biblioteca, gerou-se um programa exemplo, situado na pasta chamada examplesda pasta ra´ız do m´odulo.

O programa exemplo servem ainda para que o programador se acostume com a utiliza¸c˜ao da biblioteca, encontrando nele exemplos para o uso das fun¸c˜oes.

Desta forma, assim puderam ser testadas as principais fun¸cões implementadas, e verificar se havia uso de fun¸cões obsoletas internamente. Após os testes, foram verificados alguns erros, que foram eliminados até que fosse satisfeito os requisitos necessários.

Testou-se as fun¸cões para imagens preto e branco, BGR e genéricas (profundidade definidas pelo usuário). Após o testes, garante-se cerca de 90% de bom funcionamento da biblioteca, sendo que testes mais apurados serão realizados com a utiliza¸cão da biblioteca para constru¸cão de módulos posteriores.

(14)

Cap´ıtulo 8

Apˆ endices

8.1 Cronograma

Tarefa Data Limite

Verificar diferen¸cas nas diferentes vers˜oes da biblioteca (S2i, WZL) 2004-09-24

Documenta¸c˜ao preliminar 2004-10-08

Elaborar documentos de requisitos e an´alise de novo! 2004-10-15

Remodelagem da biblioteca 2004-10-22

Reimplementa¸c˜ao e redocumenta¸c˜ao da biblioteca 2004-11-05

Testes da bilbioteca 2004-11-19

Incluir funcionalidades PNG e MNG a classe S2iImage 2004-11-30

Elabora¸c˜ao de Aplicativos 2004-12-03

Documenta¸c˜ao final atualizada na p´agina do S2i 2005-03-31

8.2 Equipe

Pariciparam da cria¸cão da versão anterior da bilbioteca (em ordem cronológica):

• Alexandre Orth

• Fernando Deschamps

A corrente reformula¸c˜ao, por sua vez, foi realizada por:

• Alberto Xavier Pavim

• Mathias JK Erdtmann

Pretende-se utilizar esta biblioteca em todos os projetos sunseqüentes do laboratório Sis- temas Industriais Inteligentes que envolvam manipula¸cão de imagens.

8.3 Hardware & Software

Para o corrente projeto de remodelamento da biblioteca, conta-se com a estrutura f´ısica do laboratório Sistemas Industriais Inteligentes, integrante do Laboratório Integrado do De- partamento de Automa¸cão e Sistemas da Universidade Federal de Santa Catarina.

De forma geral ser´a buscada a utiliza¸c˜ao de ferramentas software livre para o desenvolvi-

(15)

8.4 Problemas

A ferramenta de desenvolvimento proprietária MS-Visual C++6.0 não é capaz de lidar com atributos de obsolescência (DEPRECATED) no código, para o qual não se encontrou solu¸cão retaliativa alguma senão a documenta¸cão das fun¸cões obsoletas da forma mais clara poss´ıvel.

A integra¸cão das funcionalidades PNG e MNG não foram inclu´ıdas ainda na biblioteca por complica¸cões administrativas de pessoal, no entanto permanecem como requisito de grande prioridade.

8.5 Correio

Eletrˆonico: erdtmann@das.ufsc.br(Mathias JK Erdtmann);axpavim@das.ufsc.br(Al- berto Xavier Pavim)

Convencional: Campus Universit´ario Caixa Postal 476 - CEP: 88040-900 - Florian´opolis - SC - Fone: +55 48 331 7598 - Fax: 48 331-9934

8.6 Referˆ encias

[1] Intel Corporation. Open Source Computer Vision Library - Reference Manual 2001. [2] http://www.intel.com/research/mrl/research/opencv/ [3] Documenta¸cao do C´odigo OpenCV [4] Documenta¸cao do C´odigo S2iImage