Estudo comparativo de abordagens para registro de imagens de termografia dinâmica da região da tireoide

(1)

UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ

DAINF - DEPARTAMENTO ACADÊMICO DE INFORMÁTICA

CURSO DE BACHARELADO EM SISTEMAS DE INFORMAÇÃO

JACQUELINE MARQUES LARA DE ALMEIDA

LUCAS BORSATO FOGAÇA

ESTUDO COMPARATIVO DE ABORDAGENS PARA

REGISTRO DE IMAGENS DE TERMOGRAFIA DINÂMICA

DA REGIÃO DA TIREOIDE

TRABALHO DE CONCLUSÃO DE CURSO

CURITIBA

2019

(2)

LUCAS BORSATO FOGAÇA

ESTUDO COMPARATIVO DE ABORDAGENS PARA

REGISTRO DE IMAGENS DE TERMOGRAFIA DINÂMICA

DA REGIÃO DA TIREOIDE

Proposta de Trabalho de Conclusão de Curso apresentado ao Curso de Bacharelado em Sistemas de Informação da Universidade Tecnológica Federal do Paraná, como requisito parcial para a obtenção do título de Bacharel. Orientadora: Leyza Baldo Dorini

DAINF - Departamento Acadêmico de In-formática -UTFPR

Coorientador: Ricardo Dutra da Silva

DAINF - Departamento Acadêmico de In-formática -UTFPR

CURITIBA

2019

(3)

Ministério da Educação

UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ Câmpus Curitiba

Diretoria de Graduação e Educação Profissional

Departamento Acadêmico de Informática

Coordenação do Curso de Bacharelado em Sistemas de Informação

TERMO DE APROVAÇÃO

“ESTUDO COMPARATIVO DE ABORDAGENS PARA REGISTRO DE IMAGENS DE TERMOGRAFIA DINÂMICA DA REGIÃO DA TIREOIDE”

por

“Jacqueline Marques Lara de Almeida” “Lucas Borsato Fogaça”

Este Trabalho de Conclusão de Curso foi apresentado no dia 16 de dezembro de 2019 como requisito parcial à obtenção do grau de Bacharel em Sistemas de Informação na Universidade Tecnológica Federal do Paraná -UTFPR - Câmpus Curitiba. O(a)(s) aluno(a)(s) foi(ram) arguido(a)(s) pelos membros da Banca de Avaliação abaixo assinados. Após deliberação a Banca de Avaliação considerou o trabalho ________________________________________.

________________________________

Profa. Leyza Baldo Dorini

(Presidente - UTFPR/Curitiba)

________________________________

Prof. Bogdan Tomoyuki Nassu

(Avaliador(a) 1 - UTFPR/Curitiba)

________________________________

Bruno Pedro Schmockel

(Avaliador 2(a) - Bradesco)

________________________________

Fabio Antonio Dorini

(Avaliador 3(a) - UTFPR/Curitiba)

________________________________

Profa. Leyza Baldo Dorini

(Professora Responsável pelo TCC – UTFPR/Curitiba)

_____________________________

Prof. Marcelo Mikosz Gonçalves

(Coordenadordo curso de Bacharelado em Sistemas de Informação – UTFPR/Curitiba)

(4)

MARQUES LARA DE ALMEIDA, Jacqueline; BORSATO FOGAÇA, Lucas. ESTUDO COMPARATIVO DE ABORDAGENS PARA REGISTRO DE IMAGENS DE TERMO-GRAFIA DINÂMICA DA REGIÃO DA TIREOIDE. 2019. 53 f. Trabalho de Conclusão de Curso – Curso de Bacharelado em Sistemas de Informação, Universidade Tecnológica Federal do Paraná. Curitiba, 2019.

A termografia dinâmica tem se tornado uma técnica conhecida dentre os médicos por fornecer um exame indolor, rápido e com bons indicativos do problema do paciente. Tal técnica explora o stress térmico, protocolo em que uma área do paciente é resfriada e o comportamento da temperatura é acompanhado por meio da análise de imagens térmicas adquiridas durante um intervalo de tempo. Para automatizar esta análise, é essencial minimizar ou até mesmo eliminar mudanças de localização da região de interesse entre as imagens. Registro é o processo pelo qual é possível alinhar um conjunto de imagens, encontrando a melhor transformação geométrica para sobrepor regiões em comum. Este trabalho realizou um estudo comparativo de diferentes abordagens para o registro de imagens térmicas da região da tireoide. Foram consideradas três diferentes regiões de referência como base para o registro. Os resultados obtidos indicaram que o uso do marcador, inserido no queixo do paciente durante o processo de aquisição, tem desempenho inferior ao uso do contorno do paciente.

(5)

LISTA DE FIGURAS

Figura 1 – Ilustração da região da glândula tireoide. . . 11

Figura 2 – Exemplos de termogramas da base de dados utilizada no trabalho. . . . 11

Figura 3 – Diferentes regiões de interesse usadas como base para o registro. . . 12

Figura 4 – Termogramas. . . 13

Figura 5 – Etapas de um alinhamento entre duas imagens. . . 14

Figura 6 – Tipos de transformações presentes do registro de imagens. . . 15

Figura 7 – Glândula tireoide. . . 17

Figura 8 – Levantamento na base de dados. . . 18

Figura 9 – Fluxo da metodologia. . . 20

Figura 10 – Imagens térmicas coloridas de pacientes da base de dados. . . 21

Figura 11 – Imagens térmicas em escala de cinza de pacientes da base de dados. . . 22

Figura 12 – Ambiente de aquisição das imagens. . . 22

Figura 13 – Diferentes regiões de interesse usadas como base para o registro. . . 23

Figura 14 – Imagem binarizada resultante da aplicação do pré-processamento. . . . 24

Figura 15 – Base para o registro - Técnica 01. . . 25

Figura 16 – Problema de alinhamento causado pelo uso do marcador. . . 25

Figura 19 – Teste de extração do marcador no paciente 1. . . 27

Figura 20 – Resultado da nova versão do extrator de marcador. . . 28

Figura 21 – Exemplo de fluxo de um registro através do ECC. . . 29

Figura 22 – Região observada durante a análise qualitativa. . . 30

Figura 23 – Vigésima imagem do conjunto de registro do Paciente 1 utilizando a Técnica 01. . . 31

Figura 24 – Problema com rotação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 01). . . 33

Figura 25 – Problema com iluminação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 11). . . 34

Figura 26 – Problema com translação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 18). . . 34

Figura 27 – Problema com deformação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 69). . . 35

Figura 28 – Problema com imagem fora do protocolo ao utilizar o marcador (Técnica 01) como base para o registro (paciente 35). . . 35

Figura 29 – Gráfico da quantidade conjuntos de imagens com desempenho limitado para cada um dos critérios qualitativos (Técnica 01). . . 36

(6)

para combinações dos critérios qualitativos. . . 36

Figura 31 – Coeficiente de correlação de Pearson médio para cada paciente - Técnica 01. . . 37

Figura 32 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68. . . 38

Figura 33 – Registro para cada imagem do paciente 68 (Técnica 01). . . 38

Figura 35 – Problema com iluminação para a Técnica 02 (paciente 16). . . 40

Figura 36 – Problema com translação para a Técnica 02 (paciente 78). . . 40

Figura 37 – Problema com deformação ao utilizar a Técnica 02 para o registro (paciente 5). . . 41

Figura 38 – Gráfico da quantidade conjuntos de imagens com desempenho limitado para cada um dos critérios qualitativos (Técnica 02). . . 41

Figura 40 – Imagens 1 e 17 para o Paciente 48: alteração nas condições de iluminação durante a aquisição. . . 42

Figura 41 – Imagem 17 do paciente 68 após o registro e a sobreposição do contorno resultante com aquele da imagem de referência. . . 43

Figura 42 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68 (Técnica 02). . . 44

Figura 44 – Problema com iluminação ao utilizar a Técnica 03 para o registro (paciente 74). . . 45

Figura 45 – Problema com deformação ao utilizar a Técnica 03 para o registro (paciente 38). . . 45

Figura 46 – Gráfico da quantidade de problemas individuais encontrados em cada conjunto (Técnica 03). . . 46

Figura 48 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68 (Técnica 03). . . 47

Figura 51 – Comparativo entre os contornos obtidos para a vigésima imagem do paciente 1 considerando as Técnicas 01, 02 e 03, respectivamente. . . . 49

Figura 52 – Coeficiente de correlação de Pearson médio todas as imagens do paciente 01 (Técnicas 01, 02 e 03). . . 50

(7)

(8)

1 – INTRODUÇÃO . . . . 10

2 – REVISÃO DE LITERATURA . . . . 13

2.1 Termograma (Imagem térmica) . . . 13

2.1.1 Termografia dinâmica . . . 14

2.2 Registro de imagens . . . 14

2.3 Coeficiente de correlação de Pearson . . . 16

2.4 Tireoide . . . 16

2.5 Trabalhos relacionados . . . 17

3 – METODOLOGIA . . . . 20

3.1 Base de dados . . . 21

3.1.1 Protocolo de aquisição das imagens térmicas . . . 21

3.2 Etapa 01: extração da região de interesse . . . 23

3.2.1 Técnica 01: marcador . . . 24

3.2.2 Técnica 02 - contorno do paciente . . . 25

3.2.3 Técnica 03: Imagem completa . . . 26

3.2.4 Técnicas que não obtiveram sucesso . . . 27

3.3 Etapa 02 - Registro . . . 28 3.4 Procedimentos de avaliação . . . 29 3.4.1 Qualitativo . . . 30 3.4.2 Quantitativo . . . 31 3.5 Aspectos computacionais . . . 31 4 – RESULTADOS . . . . 33

4.1 Registro com base nos pontos de interesse da Técnica 01 (marcador) . . . 33

4.1.1 Análise Qualitativa . . . 33

4.1.2 Análise Quantitativa . . . 37

4.2 Registro com base nos pontos de interesse da Técnica 02 (silhueta sem o marcador) . . . 39

4.2.2 Análise Quantitativa . . . 41

4.3 Registro com base nos pontos de interesse da Técnica 03 (toda a imagem, incluindo o marcador) . . . 45

(9)

4.4 Conclusão . . . 49

5 – CONSIDERAÇÕES FINAIS . . . . 51 Referências . . . . 52

(10)

1 INTRODUÇÃO

A primeira documentação a respeito de termologia como ciência aproxima-se de 400.a.c, quando Hipócrates desenvolveu uma teoria que buscava encontrar doenças em pacientes que apresentassem excesso de frio ou calor em alguma parte do corpo (CÔRTE; ARNALDO, 2016). Ele estimava os locais onde a temperatura dos pacientes estava anormal usando um pouco de barro e observava o tempo que ele demorava para secar em contato com a pele. Uma evolução do método de Hipócrates são os sistemas de imagem por infravermelho, originalmente desenvolvidos para uso militar nos anos 1950 em uma primeira tentativa de proporcionar uma visão noturna para movimentação das tropas (ROGALSKI, 2012).

As imagens térmicas são obtidas através de equipamentos com sensores que detectam e medem a quantidade de radiação infravermelha emitida e refletida por objetos ou pessoas. O registro gráfico das temperaturas da superfície da pele, usando uma câmera infravermelha, chama-se termografia (MONTERO, 2017).

Por ser um método indolor e não invasivo, esta técnica vem sendo usada em diversas áreas da medicina. Ao comparar a temperatura de um tecido canceroso em relação um saudável, por exemplo, ocorre uma alteração porque tumores possem uma vascularização acima do normal (MEIRA et al., 2014). Em 1963, um físico canadense chamado Ray Lawson utilizou a técnica para auxiliar no diagnóstico médico quando iniciou os teste de termografia em doenças da mama (RING; VARDASCA, 2009).

A termografia pode ser estática ou dinâmica. Na primeira, a análise considera uma única imagem. A dinâmica é utilizada quando a análise precisa de imagens adquiridas em um intervalo de tempo (por exemplo, caso seja necessário observar variações de temperatura em certa parte do corpo). É relativamente comum que tal análise seja realizada manualmente por especialistas (MACHIN et al., 2017). Entretanto, tal processo manual é subjetivo e sujeito à erros (por estar associado à experiência e conhecimento de cada avaliador), além de consumir um tempo considerável.

Especificamente na termografia dinâmica, é essencial minimizar ou até mesmo eliminar as variações da região de interesse entre as imagens que serão analisadas, devido à necessidade de observação da mesma região de interesse. Portanto, a automatização deste processo demanda uma etapa prévia de alinhamento das imagens.

Registro é o processo pelo qual é possível alinhar um conjunto de imagens, encontrando a melhor transformação geométrica para sobrepor regiões em comum. Em outras palavras, é um processo de transformação do sistema de coordenadas, de modo que objetos em comum tenham as mesmas coordenadas criando, assim, uma correspondência entre os pixels da imagem de referência e aqueles da que se pretende alinhar. Com isso, é possível corrigir variações de posições em imagens obtidas em diferentes intervalos de

(11)

Capítulo 1. INTRODUÇÃO 11

tempo ou sob diferentes condições (OLIVEIRA, 2009).

Este trabalho objetiva realizar um estudo comparativo de diferentes abordagens para o registro de imagens da região da tireoide, uma glândula endócrina localizada abaixo da laringe (veja ilustração na Figura 1). Ela é responsável por secretar hormônios impor-tantes, os quais aumentam intensamente a taxa metabólica do organismo (MONTERO, 2017).

Figura 1 – Ilustração da região da glândula tireoide.

Fonte: (MONTERO, 2017).

Os termogramas utilizados neste trabalho são de pacientes que fizeram parte do projeto Tireoides da Universidade Federal Fluminense (UFF-BASE, 2019). A Figura 2 ilustra exemplos de imagens da base.

Figura 2 – Exemplos de termogramas da base de dados utilizada no trabalho.

Fonte: (UFF-BASE, 2019).

(12)

regiões de referência como base para o registro: um marcador inserido na região do queixo durante a aquisição das imagens (Figura 3(a)), silhueta, ou seja, a região correspondente a todo contorno do paciente (Figura 3(b)) e a combinação do marcador com o contorno (Figura 3(c)). O processo de registro buscou alinhar tais regiões utilizando o Enhanced Correlation Coefficient (ECC) (SIRIL, 2019) como medida de referência.

Figura 3 – Diferentes regiões de interesse usadas como base para o registro.

(a) (b) (c)

Fonte: Autoria Própria.

A avaliação dos resultados foi realizada qualitativa e quantitativamente. No primeiro caso, foram considerados critérios que poderiam interferir no registro, tais como: variação de iluminação local e movimentação do paciente. Eles foram classificados de acordo com o problema gerado no resultado, subdividindo-os em: iluminação, translação, rotação, perspectiva (que causava deformação) e fora do protocolo. Já para a análise quantitativa foi empregado o coeficiente de correlação de Pearson.

Os resultados obtidos mostram que a colocação de um marcador quadrado sobre o queixo do paciente se faz desnecessária quando o objetivo final é o alinhamento da região onde está localizada a tireóide.

O texto está organizado como segue. O Capítulo 2 apresenta os principais conceitos necessários ao entendimento do trabalho. O Capítulo 3 mostra o fluxo do desenvolvimento, assim como discute a metodologia empregada. O Capítulo 4 discute (em termos quanti-tativos e qualiquanti-tativos) os resultados de todas abordagens analisadas. Por fim, o último capítulo apresenta as considerações finais e perspectivas de trabalhos futuros.

(13)

13

2 REVISÃO DE LITERATURA

Este capítulo apresenta os principais conceitos necessários ao entendimento do trabalho, bem como discute os principais trabalhos relacionados.

2.1 Termograma (Imagem térmica)

Uma imagem monocromática pode ser descrita matematicamente por uma função f (x,y) em que seu valor, em qualquer ponto de coordenadas espaciais (x,y), é proporcional ao brilho (ou nível de cinza) da imagem naquele ponto. No caso de uma imagem que possui informações em intervalos ou bandas distintas de frequência, é necessário uma função f (x,y) para cada banda. É o caso de imagens coloridas padrão RGB, que são formadas pela informação de cores primárias aditivas (FILHO; NETO, 1999).

As imagens térmicas, também conhecidas como termogramas, são imagens obtidas através de um termo visor (câmeras ou equipamentos com sensores térmicos). Este método de captura de imagens envolve a detecção de radiação infravermelha emitida pela pele e permite a análise das funções fisiológicas relacionadas com o controle da temperatura da pele de forma não invasiva, sem expor o objeto a qualquer tipo de radiação (NEVES; REIS, 2014). Em outras palavras, a cada um dos pixel é associado com um valor de temperatura, que depende da resolução e tipo da câmera. Este valor pode estar relacionado a diferentes mapas de cores ou a níveis de cinza.

A técnica que usa termogramas para compor diagnósticos médicos é chamada termografia. A Figura 4 ilustra alguns termogramas de pacientes que fizeram parte do projeto Tireoides da Universidade Federal Fluminense, que procurou identificar nódulos na glândula da tireoide através da análise dessas imagens (UFF-BASE, 2019; MONTERO, 2017; FIIRST, 2018).

Figura 4 – Termogramas.

No mapa de cores utilizado no exemplo, quanto mais próximo do vermelho, maior a temperatura. Analogamente, quanto mais próximo do azul, mais fria.

(14)

2.1.1 Termografia dinâmica

A técnica que propõe monitorar o processo de recuperação termal após exposição da área de interesse a um choque térmico é chamada termografia dinâmica. Este choque pode ser alcançado com, por exemplo, resfriamento por ventilador ou imersão em água, e aplicação de objetos frios ou quentes na superfície da pele. O modo como o choque térmico é alcançado, a maneira como o paciente se posiciona, a escolha da configuração da câmera e todos os itens que interferem na captura é chamado de protocolo de captura e depende da região de interesse (MONTERO, 2017; FIIRST, 2018).

Os termogramas capturados de um mesmo paciente podem ser interpretados como uma série temporal de temperatura ou como imagens onde o tom de cinza (ou a cor) se relaciona com a temperatura no ponto. Após sofrer o choque térmico, a taxa e o padrão em que a temperatura da pele recupera em direção ao equilíbrio é registrado por uma câmera infravermelha (WEERD; MERCER; WEUM, 2011).

Neste trabalho, serão utilizadas imagens de termografia dinâmica, mais especi-ficadamente da região tireoidiana, a ser detalhada na Seção 2.3. Durante a aquisição, o paciente paciente precisa se manter imóvel por 15 minutos. Dado que é inevitável a ocorrência de movimentações corporais do paciente devido ao tempo do exame, é preciso fazer um registro dessas imagens buscando minimizar essas variações.

A abordagem deste trabalho depende de métodos que estabeleçam relações geo-métricas e correspondências de pontos, além de evitar a modificação dos valores dos pixels das imagens (para preservar a consistência dos valores de temperaturas obtidos).

2.2 Registro de imagens

Registro de imagens consiste em um método computacional para determinar cor-respondências entre pontos de duas imagens. Para tal, é necessário estimar a transformação geométrica que melhor sobrepõe duas imagens que têm uma região comum. Para tal, a partir de uma série de pontos de controle correspondentes, determina-se uma função de transformação que é posteriormente usada para realizar a correspondência entre todos os pixels (FIIRST, 2018)(OLIVEIRA, 2009). A Figura 5 mostra as bordas de duas imagens que precisam ser alinhadas e o resultado do registro.

Figura 5 – Etapas de um alinhamento entre duas imagens.

(15)

Capítulo 2. REVISÃO DE LITERATURA 15

Durante a aquisição das imagens, podem ocorrer transformações classificadas como rígidas ou não rígidas. As primeiras não modificam a forma do objeto, e consistem em transformações geométricas de rotação e translação. As não-rígidas, por sua vez, modificam a distância entre os pontos do objeto (por exemplo mudança de escala) (GONZÁLEZ et al., 2017). A Figura 6 ilustra as principais transformações presentes do registro de imagens.

Figura 6 – Tipos de transformações presentes do registro de imagens.

Fonte: (GONZÁLEZ et al., 2017)

No escopo deste projeto, estão presentes majoritariamente as seguintes transfor-mações:

1. Translação: quando o paciente move o corpo para o lado, por exemplo. 2. Rotação: por exemplo, quando a cabeça é movimentada.

3. Perspectiva: pode ocorrer com qualquer movimento onde o paciente modifique a distância do paciente com relação à câmera.

(16)

2.3 Coeficiente de correlação de Pearson

Consiste em uma métrica para mensurar o grau de relacionamento entre duas variáveis,

O valor deste coeficiente é dado pela Equação 1 (FILHO; JÚNIOR, 2009).

r = 1 n − 1 Xxi− X sx _y i− Y sy ! , (1)

em que n é a quantidade de pixels das imagens, xi é o valor do pixel (0-255) da imagem

de referência, X é a média simples de todos os pixels da imagem de referência e sx é o

desvio padrão amostral dos pixels da imagem de referência. Analogamente, yi é o valor do

pixel (0-255) da imagem registrada, Y é a média simples de todos os pixels da imagem registrada e sy é o desvio padrão amostral dos pixels da imagem registrada.

O resultado de r varia entre -1 e 1, sendo que quanto mais próximo de 1 maior é a relação entre as variáveis. Contudo, valores extremos são raros na prática. Alguns autores definiram faixas que representam o quão correlacionadas são as variáveis. Para (COHEN, 1988), valores entre 0,10 e 0,29 são considerados pequenos; valores entre 0,50 e 1 podem ser interpretados como grandes. Já Dancey e Reidy (2006) considera que, para a correlação ser forte, o coeficiente de Pearson precisa ser maior que 0,7. ros positivos e verdadeiros negativos (resultados corretos) divido pelo total da amostra.

2.4 Tireoide

A tireoide é uma glândula endócrina localizada abaixo da laringe e secreta hormô-nios importantes, que aumentam intensamente a taxa metabólica do organismo. A ausência completa de secreção tireoidiana geralmente faz com que a taxa metabólica basal caia para até 50% do normal, ocasionando dificuldade em perda de peso. Por outro lado, um excesso de secreção pode aumentá-la em até 100 por cento, dificultando o ganho de peso (GUYTON; HALL, 2006).

A Figura 7 ilustra a localização da tireoide em um ser humano e servirá de guia para a análise qualitativa realizada no Capítulo 4.

Os nódulos de tireoide são agrupamentos de células que crescem de forma anormal na parte interna da glândula. As neoplasias, formações estruturais de células mutantes que passam a se reproduzir descontroladamente e que requerem maior nutrição, podem ser benignas (adenomas) ou malignas (câncer) (MONTERO, 2017).

Um método de identificar problemas relacionados com esta glândula é a observação das imagens da região do pescoço capturadas por câmeras infravermelhas em um processo de termografia dinâmica. Como discutido anteriormente, para análise automática, uma das importantes etapas é o alinhamento (registro) dessas imagens.

(17)

Figura 7 – Glândula tireoide.

2.5 Trabalhos relacionados

Uma pesquisa usando as palavras chaves "alignment", "infrared" e "registration" na base de dados científica Science Direct (SD) retornou 1.222 registros datados de 2007 até 2017. As mesmas palavras chaves obtiveram como retorno 157 registros na plataforma da CAPES usando como filtro o mesmo espaço de tempo. Já na base Scopus o retorno foi de 29 registros ao se filtrar pelas datas escolhidas anteriormente. Foram obtidos 54 registros na plataforma Institute of Electrical and Electronics Engineers Explorer (IEEE) mantendo-se os anos escolhidos. De outras plataformas e bases foram extraídos mais 8 trabalhos para análise. Dos quais quatro foram escolhidos no estado da arte.

A Tabela 1 ilustra os artigos encontrados nas diferentes bases científicas de pesquisa com uma abrangência de 10 anos.

Tabela 1 – Pesquisa nas Bases de Dados por ano.

2007 2008 2009 2010 2011 2012 2013 2014 2015 2016

SD 98 71 84 76 89 116 131 141 137 134

CAPES 6 5 7 9 9 16 18 24 23 20

Scopus 1 2 1 5 1 4 3 2 4 2

IEEE 4 3 6 3 6 1 1 7 7 12

A Figura 8 ilustra a evolução na quantidade de trabalhos afins, demonstrando que existe interesse crescente pelo estudo objeto deste trabalho.

(18)

Figura 8 – Levantamento na base de dados.

A análise de imagens térmicas tem se mostrado muito eficiente na identificação de tumores. Entretanto, este trabalho tem sido feito de forma manual em muitos casos, selecionando a área de interesse para análise.

Montero (2017) propôs uma análise de imagens térmicas no auxílio aos problemas de tireoide. Ao capturar imagens para análise, percebeu que não era possível obter imagens dos pacientes sem que elas sofressem alterações no movimento. Os pacientes não conseguiam se manter na mesma posição por muito tempo, era incômodo e causava ansiedade. De forma a não causar desconforto aos pacientes e também obter um bom material para análise, foi colada uma fita na parte de baixo do queixo dos pacientes, a qual foi usada como base para registrar as imagens. Contudo, o algoritmo utilizado não detectava de forma automática o objeto de referência na imagem, exigindo assim uma marcação manual de pontos. A estratégia de registro foi então baseada na intensidade e utilizou um pacote de funcionalidades de processamento de imagens. Montero (2017) verificou que as temperaturas na região dos nódulos são maiores que nas demais regiões do pescoço.

Jacob, Tavares e Reis (2009) realizaram o alinhamento de imagens médicas 2D a fim de ordenar os pixels que constituem as imagens e, assim, facilitar sua interpretação. Os métodos utilizados foram baseados em transformadas geométricas e na extração em cada imagem de primitivas geométricas, como contornos.

O trabalho de Oliveira e Tavares (2010) explorou diversos métodos de alinhamento de imagens médicas, mais precisamente de pedobarografia, imagens geradas ao se colocar os pés sobre tapetes especiais de pressão ou mesas ópticas. Os métodos abordados para alinhamento dessas imagens foram baseados em:

(19)

1. Contornos: alinhamento baseado na extração de contornos e na correspondência das estruturas representadas.

2. Maximização da correlação cruzada: alinhamento das intensidades dos pixels das imagens por uma função que quantifica a similaridade das intensidades.

3. Um modelo híbrido que reúne ambas as técnicas: inicialmente, realiza-se um alinha-mento com base na extração dos contornos e, em seguida, refina-se o resultado com um alinhamento com referência nas similaridades das intensidades.

O pesquisador concluiu que as técnicas aplicadas foram satisfatórias no alinhamento de imagens estáticas e em sequências.

Amaral et al. (2009) tiveram como objetivo um mapeamento de imagens de faces, capturadas em ambientes controlados e não-controlados, para um sistema que descreva idealmente localidades idênticas em todas as imagens. Para isso, eles exploraram:

1. Rotação: fundamentalmente alinhando a posição das pupilas com relação ao eixo horizontal, utilizando funções trigonométricas.

2. Escala: corrigindo desvios causados durante a captura e aumentando a correspon-dência dos pixels entre as imagens de face processadas.

3. Recorte: eliminando inúmeros artefatos desnecessários para preservação das informa-ções mais relevantes ao estudo.

4. Descoloração: substituindo o sistema RGB (3 canais) por um sistema em escala de cinza (1 canal).

5. Suavização de contorno: eliminando o efeito serrilhado (anti-aliasing) gerado pela etapa de rotação.

6. Equalização de histograma: melhorando o contraste das imagens através da repre-sentação dos níveis de cinza de maneira uniforme e distribuída.

Conclui-se que estes procedimentos são funcionais em termos visuais e quantitativos, especialmente para imagens obtidas em ambientes não-controlados.

Em suma, existem diversas abordagens para realização do registro de imagens mé-dicas de termografia. Marcadores são empregados visando auxiliar no processo. Entretanto os métodos que utilizam primitivas e transformações geométricas obtém bons resultados tanto em imagens com marcadores como em imagens sem marcadores.

(20)

3 METODOLOGIA

Neste capítulo serão descritas as principais etapas do desenvolvimento deste trabalho. A Figura 9 ilustra o fluxo da metodologia empregada. Mais especificamente, o texto está organizado nas seguintes seções:

1. Base de dados: descreve a base utilizada para o desenvolvimento, incluindo o protocolo de aquisição das imagens térmicas e as diferentes apresentações de cada imagem. 2. Etapa 01 - extração da região de interesse: discute as estratégias utilizadas em

três técnicas com regiões de interesses distintas, além de abordagens que foram descartadas e suas justificativas.

3. Etapa 02 - Registro: esta seção apresenta a biblioteca e a abordagem utilizada para determinar a transformação geométrica para registro.

4. Avaliação: trata dos métodos quantitativos e qualitativos utilizados para análise dos resultados, apresentando as definições e critérios adotados para validação do registro.

Figura 9 – Fluxo da metodologia.

(21)

Capítulo 3. METODOLOGIA 21

3.1 Base de dados

Este trabalho utiliza a base de dados de imagens térmicas do Projeto Tireoides do Visual Lab da Universidade Federal Fluminense (UFF-BASE, 2019), a qual contém imagens de pacientes que apresentam nódulos comprovados. O banco de dados também armazena para cada paciente: os dados dos exames clínicos; dados do histórico médico particular e familiar; dados do ultrassom de tireoide mais recente e anterior ao exame de termografia, descrevendo as características observadas para cada nódulo; as imagens originais e a presença ou não de nódulos. Não são disponibilizados dados que possam identificar o paciente a fim de manter seu anonimato.

O conjunto de imagens térmicas contém a região do pescoço e da cabeça e também um artefato que se assemelha a um quadrado, de material isolante, que é colocado sobre o queixo do paciente a fim de servir como um objeto de referência para rastrear os movimentos do paciente e assim auxiliar no registro das imagens.

A base utilizada no desenvolvimento do presente trabalho é composta por termo-gramas de 80 pacientes com resolução de 640x480, sendo que cada conjunto de testes (cada paciente) possui 20 imagens. As imagens são disponibilizadas de duas formas: coloridas e em escala de cinza. As primeiras possuem também informações da câmera (como, por exemplo marca e escala de temperatura), o que acaba atrapalhando seu pré-processamento. A Figura 10 apresenta alguns exemplos.

Figura 10 – Imagens térmicas coloridas de pacientes da base de dados.

Fonte: UFF-Base (2019)

Como as imagens em escala de cinza não possuem estes artefatos (conforme ilustrado na Figura 11), elas foram utilizadas como base para as abordagens propostas. 3.1.1 Protocolo de aquisição das imagens térmicas

O protocolo de aquisição das imagens térmicas (UFF-PROTOCOLO, 2019) é dividido em quatro partes:

1. adequação das condições físicas do ambiente;

2. posicionamento da câmera e configuração dos seus parâmetros; 3. restrições e recomendações ao paciente;

(22)

Figura 11 – Imagens térmicas em escala de cinza de pacientes da base de dados.

Fonte: UFF-Base (2019)

A Figura 12 ilustra a configuração do ambiente de aquisição.

Figura 12 – Ambiente de aquisição das imagens.

Fonte: (UFF-PROTOCOLO, 2019)

O protocolo completo não será abordado e pode ser encontrado em (UFF-PROTOCOLO, 2019). Aqui serão evidenciados os pontos que possuem alguma relação com os critérios escolhidos para a análise qualitativa.

1. Condições físicas do ambiente:

a) Evitar lâmpadas acessas sobre a zona de captura, pois podem acarretar em variação de iluminação na imagem e impactar na extração da região de interesse. b) Não devem existir objetos na cena a ser capturada que gerem alguma

interfe-rência térmica, podendo ocasionar falha na extração da região de interesse. 2. Restrições e recomendações ao paciente:

a) Permanecer 10 minutos na sala climatizada antes da aquisição, em repouso e com a cabeça levantada (para não influenciar na área de captura do marcador). b) Retirar antes da realização do exame: brincos, cordões, colares ou lenços, e

(23)

de segmentar a área de interesse. 3. Procedimento da captura das imagens:

a) Fixar no queixo do paciente um quadrado isolante adesivo de 2,5cm×2,5cm, visando auxiliar em diferentes processamentos (como, por exemplo, determinar uma relação entre pixels e centímetros). Ajustar a distância do(a) paciente à câmera e ter como ponto de referência o queixo do paciente.

Apesar da tentativa de padronização, ao analisar o protocolo, pode-se perceber que não faz sentido esperar que as diferentes imagens adquiridas estejam perfeitamente alinhadas, considerando que é natural que o paciente se movimente. Por exemplo, é natural que ocorram movimentos da cabeça, fazendo com que uma imagem fique transladada ou rotacionada em relação às demais. Portanto, para que métodos automáticos de análise sejam viáveis, fica clara a necessidade da realização do registro (de forma a permitir que a região de interesse fique o mais alinhada possível).

3.2 Etapa 01: extração da região de interesse

Neste trabalho, são propostas três diferentes técnicas (Figura 13) para extrair os pontos de interesse a partir dos quais o registro será realizado:

1. Técnica 01 - marcador: considera-se como base o quadrado isolante colocado no queixo do paciente. Segundo descrito no protocolo de aquisição, o marcador visa auxiliar no mapeamento dos movimentos realizados (Figura 13(a)).

2. Técnica 02 - região correspondente à silhueta do paciente: a partir da análise das transformações geométricas compatíveis com movimentos que o paciente pode realizar, bem como de resultados experimentais limitados com a Técnica 01, foi considerado adequado o uso do contorno da região da cabeça, pescoço e ombro (Figura 13(b)). 3. Técnica 03 - combinação da silhueta com o marcador: esta técnica visa avaliar se a

combinação das duas anteriores conduz a resultados mais consistentes (Figura 13(c)).

Figura 13 – Diferentes regiões de interesse usadas como base para o registro.

(a) (b) (c)

(24)

As três abordagens passam pelo mesmo pré-processamento, o qual é composto pelas etapas abaixo. Como mencionado anteriormente, foram utilizadas as imagens em escala de cinza por não possuírem artefatos (informações da câmera).

1. Ajuste gamma: foi utilizado para corrigir o brilho nas imagens.

2. Filtro Gaussiano: aplicado para desfocar a imagem antes da limiarização. Com isso, o resultado final ficou suave e com poucos ruídos.

3. Binarização utilizando método de Otsu: considerando que as imagens foram pré-processadas para uma maior padronização, foi aplicada uma abordagem simples baseada em limiarização para segmentar a região de interesse.

Após estas etapas de pré-processamento, obteve-se uma imagem binária, conforme ilustra a Figura 14. A partir dela, cada técnica buscou extrair a região de interesse específica para realização do registro.

Figura 14 – Imagem binarizada resultante da aplicação do pré-processamento.

3.2.1 Técnica 01: marcador

Esta técnica utiliza como base para o registro o marcador quadrado já contido nas imagens, o qual foi inserido no paciente justamente para um maior controle de possíveis deslocamentos (MONTERO, 2017).

Como a imagem pré-processada contém outras informações, é preciso garantir que apenas o marcador fique presente. Para isso, em cada imagem foram recortadas as regiões de 0 até largura₂ − 90 e de largura₂ + 90 até largura, correspondentes às laterais das imagens. O valor de 90 pixels foi definido empiricamente com base na análise visual das imagens. O resultado deste recorte é ilustrado na Figura 15.

(25)

Figura 15 – Base para o registro - Técnica 01.

3.2.2 Técnica 02 - contorno do paciente

A Técnica 02 foi desenvolvida após os testes experimentais mostrarem que, embora as imagens registradas pela Técnica 01 tenham ficado alinhadas em relação ao marcador, a real área de interesse (região da tireoide) não ficava sobreposta. A Figura 16 ilustra um exemplo. Dado que o objetivo do registro é justamente a região da tireoide, foi preciso buscar uma alternativa.

Figura 16 – Problema de alinhamento causado pelo uso do marcador.

A Técnica 02 utiliza como base para registro o contorno do paciente como um todo, mas sem a presença do marcador quadrado. Para remover essa área, um recorte foi realizado entre largura₂ − 90 e largura

(26)

3.2.3 Técnica 03: Imagem completa

A Técnica 03 foi desenvolvida após os resultados da Técnica 02 apresentarem um resultado superior aos da Técnica 01. Para descobrir se o quadrado influenciaria de forma negativa no registro, as Técnicas 01 e 02 foram combinadas, ou seja, foi utilizada como fonte para o registro a imagem como um todo.

Portanto, a imagem utilizada como base para o registro é aquela resultante do pré-processamento, conforme ilustrado na Figura 18.

Além das técnicas descritas acima, foram realizados testes com outras abordagens. Entretanto, os testes experimentais não conduziram a bons resultados, conforme descrito a seguir.

(27)

3.2.4 Técnicas que não obtiveram sucesso

Na primeira etapa do trabalho, buscamos obter apenas o contorno do marcador (a partir do qual o registro seria realizado). Para tal, foi utilizado o detector de bordas de Canny, um operador gaussiano de primeira derivada que suaviza os ruídos e identifica as bordas (GONZALEZ; WOODS, 2009).

Os testes mostraram que, apesar de a extração imediata do marcador usando Canny ser possível em alguns conjuntos de imagens, em outros a região de contraste maior não está no marcador, fazendo com que a resposta do algoritmo não seja a desejada.

A Figura 19 ilustra o teste realizado com um extrator do marcador baseado apenas na alteração dos limiares inferiores e superiores na etapa de limiarização por histerese.

Figura 19 – Teste de extração do marcador no paciente 1.

Para minimizar este problema, foi realçado o contraste na região do quadrado, processando uma sub-região da imagem (semelhante à da Técnica 01). Em seguida, foi aplicado o filtro da média no restante da imagem, visando diminuir o contraste. Com isso, foi possível isolar apenas o contorno do quadrado conforme mostra a Figura 20.

Entretanto, testes posteriores mostraram que usar a região do marcador como um todo (e não apenas o contorno) levava a resultados mais consistentes.

(28)

Figura 20 – Resultado da nova versão do extrator de marcador.

3.3 Etapa 02 - Registro

Na segunda etapa do trabalho, foram realizados diferentes experimentos para o registro das imagens de termografia dinâmica, visando determinar as transformações geométricas que alinham da forma mais correta possível as regiões de interesse.

Como medida de similaridade, foi utilizado o ECC (Enhanced Correlation Coeffici-ent), o qual estima a transformação geométrica entre as imagens de entrada e de referência (Figura 21). A transformação é estimada com base na maximização do coeficiente de correlação entre o modelo e a imagem de entrada (EVANGELIDIS; PSARAKIS, 2008).

Uma questão importante consiste na definição da imagem que será utilizada como referência. Os testes consideraram duas possibilidades:

1. Primeira das 20 imagens de cada paciente, ou seja, o registro é realizado entre os pares (1, i), com 1 ≤ i ≤ 20.

2. Imagem imediatamente anterior, ou seja, o registro é realizado entre os pares (i, i + 1), com 0 ≤ i ≤ 19.

Em um trabalho anterior, realizado pelos autores na disciplina de Trabalhos de Integração 2, verificou-se que a segunda opção era inferior. Como o paciente está na posição correta no início, com a tendência de se movimentar no decorrer do processo de aquisição, ao comparar cada imagem com a anterior o erro acaba sendo propagado. Portanto, todos os experimentos descritos nesta seção consideram a primeira imagem de cada paciente como referência.

(29)

Figura 21 – Exemplo de fluxo de um registro através do ECC.

Fonte: (SIRIL, 2019)

Foram realizados experimentos em três cenários, cada um considerando uma das técnicas para extração da região de interesse descritas na seção anterior. Para cada paciente, o seguinte fluxo de operações é aplicado:

1. escolha da primeira imagem do conjunto de testes como referência;

2. pré-processamento (ajuste gamma, filtragem Gaussiana e segmentação por binariza-ção), tanto na imagem de referência quanto na imagem a ser registrada;

3. dependendo da técnica utilizada (01 - marcador, 02 - contorno ou 03 - marcador + contorno), a região de interesse é extraída. Por exemplo, na Técnica 01 é realizado o recorte das bordas laterais para manter apenas o marcador;

4. considerando o ECC como métrica de similaridade, é realizado o registro (usando as imagens processadas na etapa anterior). Se o ECC calculado for maior ou igual ao EPS, menor número que somado a 1 produz um resultado diferente de 1, ou caso o número de iterações alcance 200, a função retorna a matriz de transformação; 5. a matriz de transformação é aplicada, gerando uma nova imagem alinhada.

3.4 Procedimentos de avaliação

Neste trabalho, foram utilizados dois procedimentos distintos de avaliação. No primeiro, foi realizada uma análise qualitativa, com base na análise visual do resultado. No segundo, foi realizada uma análise quantitativa com o coeficiente de correlação de Pearson.

(30)

3.4.1 Qualitativo

A análise qualitativa considerou como base a qualidade do alinhamento na região da curva entre o pescoço e o ombro, conforme ilustrado na a Figura 22. Essa região foi escolhida tendo como base a localização da tireoide.

Figura 22 – Região observada durante a análise qualitativa.

Os resultados do registro para as 20 imagens de cada um dos 80 pacientes da base foram analisados, considerando as três técnicas para extração da região de interesse (marcador, contorno e marcador + contorno).

Quando o alinhamento na região da tireoide estava adequado, era atribuída uma etiqueta positiva. Caso contrário, era identificada a posição da imagem dentro do conjunto e também o motivo associado ao erro, segundo os seguintes critérios:

1. iluminação: se a variação de iluminação entre as imagens de um mesmo conjunto ocasionou uma falha na etapa de pré-processamento;

2. translação: a movimentação brusca do paciente para os lados ou para cima e para baixo ocasionou uma falha no registro;

3. rotação: a movimentação de rotação da cabeça pelo paciente interferiu no resultado do registro;

4. perspectiva: a mudança, afastamento ou aproximação de parte do corpo do paciente ocasionou uma distorção no registro, classificada como deformação;

5. fora do protocolo: imagens com o marcador quadrado parcial ou totalmente fora da imagem, paciente não centralizado, uso de brincos, colares, cabelo solto, objetos obstruindo a captura da imagem.

(31)

3.4.2 Quantitativo

Conforme descrito anteriormente, o registro seria inicialmente realizado conside-rando apenas o marcador (ou seja, o quadrado no queixo do paciente). Neste contexto, ao analisar métricas para validar a qualidade do registro, foi escolhida a Intersection over Union (IoU). Com ela, era possível determinar se a sobreposição dos marcadores estava

correta.

Ao analisar os resultados, verificou-se que o IoU obtido era relativamente alto, ou seja, o registro parecia ser bem sucedido. Ao confrontar os resultados com a análise qualitativa, encontramos evidências de que, apesar de os marcadores estarem muito bem sobrepostos, a região de interesse real (tireóide) estava fora do lugar na maioria dos casos.

A Figura 23 mostra um exemplo, em que é possível comparar as principais bordas da imagem de referência (em azul) com as da imagem resultante do registro (em vermelho). Observe que, apesar de a região do marcador estar perfeitamente alinhada, a região onde está localizada a tireoide está significativamente deslocada.

Figura 23 – Vigésima imagem do conjunto de registro do Paciente 1 utilizando a Técnica 01.

Deste modo, devido ao IoU não se mostrar uma métrica eficiente para a situação, foi utilizado o coeficiente de correlação de Pearson (r). Neste trabalho tomaremos como satisfatório o coeficiente médio de Pearson maior ou igual a 0,9.

3.5 Aspectos computacionais

Para execução deste trabalho foi escolhida a biblioteca OpenCV em Python. O registro utilizou a função cv2.findTransformECC, cujo retorno é a matriz de transformação para o registro da imagem. Esta função possui cinco parâmetros de entrada:

(32)

1. Imagem referência: usada como referência para a extração da matriz de transformação. No contexto deste trabalho, consiste na primeira imagem de cada paciente.

2. Imagem a ser registrada: refere-se à imagem do paciente a ser registrada.

3. Matriz de transformação: é passada uma matriz inicializada com tamanho 3 × 3, visto que aqui trataremos de transformações possíveis na homografia.

4. Tipo de transformação: este argumento define qual será o método de cálculo da matriz de transformação. Neste trabalho, utilizamos o MOTION_HOMOGRAPHY, que consegue definir uma matriz de transformação que pode aplicar: rotação, translação e perspectiva.

5. Critério: é uma variável que possuí o número máximo de iterações para o registro além do erro mínimo aceitável desejado, ou seja, assim que uma dessas condições forem satisfeitas a função retorna o melhor resultado encontrado.

Em cada tentativa de adquirir a matriz de transformação, a função verifica variações de pixel a pixel entre as duas imagens passadas, obtendo um índice. Caso seja menor que o eps da máquina, será retornado. Após obter a melhor matriz de transformação encontrada pela função, ela é aplicada na imagem a ser registrada utilizando a função cv2.warpPerspective, cujo retorno é a imagem registrada. Ela possui quatro parâmetros de entrada:

1. Imagem a ser registrada: imagem em escala de cinza a ser registrada.

2. Matriz de transformação: é passado a matriz de transformação adquirida como retorno da função cv2.findTransformECC;

3. Uma tupla com largura e altura da imagem.;

4. Uma flag: foi setada como cv2.WARP_INVERSE_MAP, pois a matriz de transformação já está sendo passada de maneira inversa, visto que a função warpPerspective utiliza matriz inversa.

(33)

33

4 RESULTADOS

Este capítulo discute, em termos qualitativos e quantitativos, os resultados obtidos para os diferentes experimentos realizados. Na análise qualitativa, os fatores que mais comu-mente impactam na qualidade do registro (relacionados principalcomu-mente às transformações que o objeto de interesse pode sofrer) foram utilizados como critérios de análise: rotação, iluminação, translação, deformação e erros no atendimento do protocolo de aquisição.

A análise quantitativa, por sua vez, mediu o coeficiente de correlação de Pearson entre a imagem de referência (no caso deste trabalho, ela consiste na primeira do conjunto de imagens de cada paciente) e a registrada. Mais detalhes podem ser encontrados no capítulo anterior.

4.1 Registro com base nos pontos de interesse da Técnica 01 (marcador)

Nesta técnica, a região utilizada como base para o registro é o marcador, como discutido no Capítulo 3.

4.1.1 Análise Qualitativa

1. Rotação: quando o paciente realiza movimentos de rotação em que a região do marcador muda mas a região do ombro não, tipicamente ocorrem erros de alinhamento da região de interesse (tireoide). A Figura 24 ilustra um exemplo. Nas imagens, o contorno da imagem registrada é mostrado em vermelho, enquanto que o contorno esperado é mostrado em azul.

Figura 24 – Problema com rotação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 01).

(a) (b) (c)

É possível observar que, embora a região de interesse seja preservada na décima imagem da sequência (Figura 24(b)), na vigésima ela está significativamente deslocada (Figura 24(c)) - apesar de a região do marcador estar perfeitamente alinhada.

(34)

Como a rotação apenas da cabeça acaba fazendo com que toda a imagem seja transformada (para manter os marcadores quadrados sobrepostos), a região que de fato é alvo de análise acaba sendo deslocada de maneira indevida. No total, 11 dos 80 conjuntos de teste (correspondentes a 13,75%) apresentaram resultados limitados/insatisfatórios.

2. Iluminação: a técnica se mostrou sensível à variações de iluminação dentro do mesmo conjunto de imagens. Quando isso ocorre, a segmentação por binarização é afetada e não conduz a bons resultados. A Figura 25 ilustra um exemplo. No total, nove conjuntos de teste (11,25%) apresentaram resultados ruins devido a este critério.

Figura 25 – Problema com iluminação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 11).

3. Translação: a técnica se mostrou sensível à translação da cabeça do paciente. Pode-se observar que, para manter o marcador no devido lugar, desloca-se a área de real interesse. A Figura 26 mostra um exemplo. No total, 8 conjuntos de teste (10,00%) apresentaram problemas por causa deste critério.

Figura 26 – Problema com translação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 18).

(35)

Capítulo 4. RESULTADOS 35

4. Deformação: para conseguir uma sobreposição correta do marcador, algumas imagens sofreram uma deformação significativa, o que comprometeu a área da tireoide. Na Figura 27 pode-se observar um exemplo. No total, 18 conjuntos de teste (22,5%) apresentaram resultados ruins por este motivo.

Figura 27 – Problema com deformação ao utilizar o marcador (Técnica 01) como base para o registro (paciente 69).

5. Fora do protocolo: durante a análise visual, foram detectados alguns conjuntos de imagens que fogem ao protocolo de captura. Na Figura 28, nota-se que o marcador saiu do enquadramento da câmera no momento da captura. No total, 3 conjuntos de teste (3,75%) apresentaram resultados ruins devido a este critério.

Figura 28 – Problema com imagem fora do protocolo ao utilizar o marcador (Técnica 01) como base para o registro (paciente 35).

A Figura 29 ilustra a quantidade de conjuntos afetados por cada um dos critérios individualmente, demonstrando a dificuldade da Técnica 01 para lidar com transformações nas imagens.

(36)

Figura 29 – Gráfico da quantidade conjuntos de imagens com desempenho limitado para cada um dos critérios qualitativos (Técnica 01).

Não é incomum que mais de um destes problemas esteja presente em um mesmo conjunto de imagens. A Figura 30 apresenta o gráfico da quantidade de conjuntos que foram afetados por mais de um critério da análise qualitativa (a combinação de critérios foi determinada empiricamente).

Figura 30 – Gráfico da quantidade conjuntos de imagens com desempenho limitado para combinações dos critérios qualitativos.

(37)

4.1.2 Análise Quantitativa

Na análise quantitativa, para cada paciente, foi calculada a correlação de Pearson entre cada par de imagens (1, i), com 2 ≤ i ≤ 20, ou seja, entre a primeira imagem do conjunto de 20 e as demais.

O gráfico da Figura 31 apresenta o coeficiente médio calculado para cada paciente, ou seja, a média do coeficiente das 20 imagens do conjunto. Ao considerar que a corre-lação média esperada é de 0,9 (valor definido empiricamente a partir da observação dos resultados), observa-se que apenas 29 conjuntos de teste (36,25%) obtiveram um registro satisfatório.

Figura 31 – Coeficiente de correlação de Pearson médio para cada paciente - Técnica 01.

Dado que objetivo da análise quantitativa utilizando o coeficiente de correlação de Pearson foi comprovar que a análise qualitativa está correta, foi gerado o gráfico para cada uma das 20 imagens do conjunto de testes para dois pacientes. Desta forma, foi possível verificar que o coeficiente é coerente com o resultado observado.

O gráfico da Figura 32 mostra a correlação calculada para os Pacientes 1 e 68. Para o Paciente 68, observe que houve uma queda significativa a partir da segunda imagem, indicando que o registro possivelmente não conduziu ao resultado esperado. A Figura 33 permite observar que isso de fato ocorre, dado que o contorno da região registrada (em vermelho) difere significativamente do esperado (linha azul). Nota-se também que a correlação cai nas últimas imagens do conjunto Paciente 1 e já no início do conjunto Paciente 68, informação essa que pode ser corroborada pela análise visual (Figuras 33 e 34).

(38)

Figura 32 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68.

Figura 33 – Registro para cada imagem do paciente 68 (Técnica 01).

(39)

4.2 Registro com base nos pontos de interesse da Técnica 02 (silhueta sem o marcador) Como explicado anteriormente, nesta técnica a região utilizada como base para o registro consiste em toda a região correspondente ao corpo do paciente, ou seja, a sua silhueta. A seguir, os resultados serão analisados qualitativa e quantitativamente.

1. Rotação: não foram detectados problemas relacionados à este critério com o uso dessa abordagem, ou seja, nenhum dos conjuntos de teste apresentou erros de alinhamento causados por rotação do paciente.

2. Iluminação: a técnica se mostrou sensível a variações de iluminação dentro do mesmo conjunto de imagens, dado que esse fator impacta na segmentação por binarização e, portanto, nos contornos (prejudicando a análise visual). A Figura 35 ilustra um exemplo. No total, 10 conjuntos de teste (12,5%) apresentaram resultados limitados por causa deste critério.

3. Translação: a técnica se mostrou eficaz, dado que poucos conjuntos fugiram ao resul-tado esperado. No total, quatro conjuntos de teste (5,0%) apresentaram resulresul-tados medianos (onde o deslocamento da área de interesse foi suave). A Figura 36 apresenta um exemplo.

(40)

Figura 35 – Problema com iluminação para a Técnica 02 (paciente 16).

(41)

4. Deformação: para conseguir uma sobreposição adequada da região de interesse, algumas imagens sofreram uma deformação significativa, o que comprometeu a área de real interesse. Veja um exemplo na Figura 37. No total, três conjuntos de teste (3,75%) apresentaram resultados ruins devido a este critério.

Figura 37 – Problema com deformação ao utilizar a Técnica 02 para o registro (paciente 5).

5. Fora do protocolo: da mesma forma que para a Técnica 01, 3 conjuntos de teste (3,75%) tiveram aquisições que não seguiram o protocolo.

A Figura 38 ilustra a quantidade de conjuntos afetados por cada um dos critérios de análise qualitativa. Para a Técnica 02, a maior dificuldade está em lidar com as variações de iluminação, dado o impacto que tem na segmentação por binarização.

Figura 38 – Gráfico da quantidade conjuntos de imagens com desempenho limitado para cada um dos critérios qualitativos (Técnica 02).

O gráfico da Figura 39 apresenta o coeficiente de correlação de Pearson médio para cada paciente (média do coeficiente das 20 imagens).

(42)

Ao considerar que a correlação média esperada é de 0,9, 67 conjuntos de teste (83,75%) obtiveram um registro satisfatório. Pode-se observar alguns casos de teste que se destacam por terem obtido uma correlação muito abaixo de 0,9: Paciente 38 com correlação 0,45, Paciente 46 com correlação 0,18 e Paciente 48 com correlação 0,09. Isso ocorreu devido a variações de iluminação nas imagens, o que simulou um efeito de expansão da região de interesse (Figura 40).

Figura 40 – Imagens 1 e 17 para o Paciente 48: alteração nas condições de iluminação durante a aquisição.

Fonte: (UFF-BASE, 2019).

A variação de iluminação fez com que fosse obtida uma transformação em perspec-tiva. O alinhamento sobrepôs corretamente a região em que está localizada a tireoide, mas

(43)

ao custo de ter como resultado uma imagem com cantos pretos (veja a Figura 41). Por esta razão, o coeficiente de correlação de Pearson (que mede a similaridade entre ambas as imagens) é baixo.

Figura 41 – Imagem 17 do paciente 68 após o registro e a sobreposição do contorno resultante com aquele da imagem de referência.

(44)

Ao analisar individualmente os Pacientes 01 e 68, na Figura 42, pode-se observar que o coeficiente se mantém estável, indicando que o alinhamento está bom. A Figura 43 permite observar que isso de fato ocorre para o Paciente 01, dado que o contorno da região registrada (em vermelho) coincide com o contorno da região de referência (linha azul).

Figura 42 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68 (Técnica 02).

(45)

4.3 Registro com base nos pontos de interesse da Técnica 03 (toda a imagem, incluindo o marcador)

1. Rotação: nesta abordagem não foram detectados problemas relacionados com rotação. 2. Iluminação: a técnica se mostrou sensível a variações de iluminação dentro do mesmo

conjunto de imagens, como pode ser observado pelos contornos incorretos para o paciente 74 na Figura 44. No total, 13 conjuntos de teste (16,25%) apresentaram resultados ruins devido a este critério.

Figura 44 – Problema com iluminação ao utilizar a Técnica 03 para o registro (paciente 74).

3. Translação: problemas de translação também não foram identificados para esta abordagem.

4. Deformação: no total, 3 conjuntos de teste (3,75%) apresentaram resultados ruins devido a deformações. Um exemplo é mostrado na Figura 45.

Figura 45 – Problema com deformação ao utilizar a Técnica 03 para o registro (paciente 38).

(46)

5. Fora do protocolo: como já mencionado para as técnicas anteriores, 3 conjuntos de teste (3,75%) apresentaram resultados ruins devido a este critério.

A Figura 46 mostra a quantidade de conjuntos afetados por cada um dos critérios de análise qualitativa. Nota-se que, para a Técnica 03, a maior dificuldade está em lidar com as variações de iluminação. Não foram identificados conjuntos afetados por mais de um problema.

Figura 46 – Gráfico da quantidade de problemas individuais encontrados em cada conjunto (Técnica 03).

A média do coeficiente de correlação de Pearson para a Técnica 03 é mostrada na Figura 47. Pode ser observado que uma amostra baixa de conjuntos obteve um registro abaixo da correlação média esperada de 0,9. No total, 19 conjuntos de teste (23,75%) obtiveram um registro considerado insatisfatório (ou seja, 76,25% apresentaram um bom resultado).

O gráfico da Figura 48 mostra a correlação de Pearson calculada para cada imagem dos conjuntos dos Pacientes 1 e 68. Para o Paciente 1, a linha se mantém dentro do esperado, enquanto possui mais oscilações para o Paciente 68. Tais oscilações se devem ao enquadramento diferenciado do marcador ao longo das 20 imagens (o que causa uma de translação que gera um deslocamento na imagem registrada).

As Figuras 49 e 50 ilustram a sequência de registros para os Pacientes 1 e 68, respectivamente.

(47)

Figura 48 – Coeficiente de correlação de Pearson para cada imagem - pacientes 01 e 68 (Técnica 03).

(48)

(49)

4.4 Conclusão

Identificar qual das técnicas é a melhor é uma tarefa difícil. Ao analisar as métricas, para a Técnica 01 temos que 36,25% de conjuntos registrados são considerados satisfatórios, ou seja, com média da correlação de Pearson maior ou igual a 0,9. Já com a Técnica 02 este número subiu consideravelmente para 83,75% e, por fim, com a Técnica 03 atingiu 76,25%, indicando que o marcador sobre o queixo do paciente interfere na qualidade do registro de forma negativa. A Técnica 02, que não considera o marcador, obteve o melhor resultado, tornando o marcador desnecessário caso o objetivo seja obter o registro das imagens.

Após as análises, percebemos que problemas no registro eram comuns nas imagens finais. Possivelmente, o tempo que o paciente ficou imóvel levou a movimentações corporais que interferiram na captura correta das imagens, prejudicando o registro. A Figura 51 mostra o comparativo entre as técnicas considerando a vigésima imagem do paciente 1.

Figura 51 – Comparativo entre os contornos obtidos para a vigésima imagem do paciente 1 considerando as Técnicas 01, 02 e 03, respectivamente.

O gráfico da Figura 52 mostra a correlação média para cada conjunto de testes para todas as Técnicas 01, 02 e 03.

Buscando um entendimento de todo o conjunto foi gerado o gráfico ilustrado pela Figura 53, onde pode-se observar nitidamente que a Técnica 01 não se mostra efetiva perante as outras duas.

(50)

Figura 52 – Coeficiente de correlação de Pearson médio todas as imagens do paciente 01 (Técnicas 01, 02 e 03).

Figura 53 – Gráfico da média da correlação de Pearson para todos os conjuntos.

(51)

51

5 CONSIDERAÇÕES FINAIS

Com este trabalho, compreendemos que protocolos não são garantia de isenção de erros ou problemas nas imagens. Embora sejam diretivas que visam minimizar diferenças entre as imagens adquiridas, são passiveis de imprecisão. Por exemplo, caso a pessoa desloque a câmera um pouco ou substitua a lâmpada local por outra de especificação diferente isso já cria uma enorme diferença entre as imagens. No decorrer do trabalho, observamos que a iluminação local mudou de um conjunto de imagens para outro, o que afetou o desempenho do algoritmo.

Em trabalhos futuros, pode-se explorar a possibilidade de um pré-processamento das imagens que elimine o problema com a iluminação, ou até mesmo uma parceria com hospital que permita capturar as imagens novamente sob condições mais controladas e sem o marcador quadrado sobre o queixo, visto que ficou comprovado que ele interfere negativamente no registro.

Para trabalhos futuros, seria interessante classificar essas imagens para detectar onde estão os possíveis nódulos na tireoide, algo que precisaria ser feito em conjunto com uma parceria médica. Assim, seria possível desenvolver um protótipo de dispositivo infravermelho que utilizasse o algoritmo de classificação e detecção para mostrar se a pessoa que está sendo filmada tem alta probabilidade de ter um tumor, o que consistiria em uma ferramenta indolor para auxiliar em um pré-diagnóstico ágil.

(52)

Referências

AMARAL, V. et al. Normalização espacial de imagens frontais de face em ambientes controlados e não-controlados. FaSCi-Tech, v. 1, n. 1, p. 87–99, 2009. Citado na página 19.

COHEN, J. Statistical power analysis for the behavioral sciences. 2. ed. [S.l.]: Lawrence Erlbaum Associates, 1988. Citado na página 16.

CÔRTE, A. C. R. H.; ARNALDO, J. Termografia médica infravermelha aplicada à medicina do esporte. Revista Brasileira de Medicina do Esporte, SciELO Brasil, v. 22, n. 4, p. 315–319, 2016. Citado na página 10.

DANCEY, C.; REIDY, J. Estatística Sem Matemática para Psicologia: Usando

SPSS para Windows. 3. ed. [S.l.]: Artmed, 2006. Citado na página 16.

EVANGELIDIS, G. D.; PSARAKIS, E. Z. Parametric image alignment using enhanced correlation coefficient maximization. IEEE Transactions on Pattern Analysis and

Machine Intelligence, IEEE, v. 30, n. 10, p. 1858–1865, 2008. Citado na página 28.

FIIRST, W. G. Uma metolodia de pré-processamento de imagens térmicas da

tireoide. Tese (Doutorado) — Universidade Federal Fluminense, 2018. Citado 2 vezes

nas páginas 13 e 14.

FILHO, D. B. F.; JÚNIOR, J. A. d. S. Desvendando os mistérios do coeficiente de correlação de pearson (r). Universidade Federal de Pernambuco, 2009. Citado na página 16.

FILHO, O. M.; NETO, H. V. Processamento digital de imagens. [S.l.]: Brasport, 1999. Citado na página 13.

GONZÁLEZ, J. R. et al. Registro de imagens infravermelhas do pescoço para o estudo de desordens das tireóides. Universidade Federal Fluminense, 2017. Citado 2 vezes nas páginas 14 e 15.

GONZALEZ, R. C.; WOODS, R. C. Processamento digital de imagens . 3. ed. [S.l.]: Pearson Educación, 2009. Citado na página 27.

GUYTON, A. C.; HALL, J. E. Tratado de fisiologia médica. 11. ed. [S.l.]: Elsevier, 2006. Citado na página 16.

JACOB, F. L.; TAVARES, J. M. R.; REIS, A. M. Algoritmos para alinhamento de imagens médicas: princípios e aplicação em imagens de esclerose múltipla. In: Actas do

3o Congresso Nacional de Biomecânica. [S.l.: s.n.], 2009. Citado na página 18.

MACHIN, G. et al. A medical thermal imaging device for the prevention of diabetic foot ulceration. Physiological measurement, IOP Publishing, v. 38, n. 3, p. 420, 2017. Citado na página 10.

MEIRA, L. F. et al. Termografia na área biomédica. Pan American Journal of Medical

(53)

Referências 53

MONTERO, J. R. G. Um estudo sobre a possibilidade do uso de imagens

infra-vermelhas na análise de nódulos de tireóide. Dissertação (Mestrado) — Universidade

Federal Fluminense, 2017. Citado 8 vezes nas páginas 10, 11, 13, 14, 16, 17, 18 e 24. NEVES, E. B.; REIS, V. M. Fundamentos da termografia para o acompanhamento do treinamento desportivo. Revista Uniandrade, v. 15, n. 2, p. 79–86, 2014. Citado na página 13.

OLIVEIRA, F. Emparelhamento e alinhamento de estruturas em visão

com-putacional: aplicações em imagens médicas. Tese (Doutorado) — Faculdade de

Engenharia da Universidade do Porto, 2009. Citado 2 vezes nas páginas 11 e 14.

OLIVEIRA, F.; TAVARES, J. Alinhamento computacional de imagens de pedobarografia estática e dinâmica. FEUP - Faculdade de Engenharia da Universidade do Porto, 2010. Citado na página 18.

RING, E.; VARDASCA, R. The first international symposium of medical thermography new york december 1963: lessons from the past. 13th Congress of the Polish Association

of Thermology, p. 53, 2009. Citado na página 10.

ROGALSKI, A. History of infrared detectors. Opto-Electronics Review, v. 20, n. 3, p. 279–308, 2012. Citado na página 10.

SIRIL. ECC. 2019. Disponível em: <https://free-astro.org/siril_doc-fr/index.html#ecc>. Acesso em: 05 dez. 2019. Citado 2 vezes nas páginas 12 e 29.

UFF-BASE. Base de Dados da Universidade Federal Fluminense. 2019. Disponível em: <http://visual.ic.uff.br/thyroid/>. Acesso em: 04 dez. 2019. Citado 6 vezes nas páginas 11, 13, 21, 22, 42 e 43.

UFF-PROTOCOLO. Protocolo de aquisição das imagens. 2019. Disponível em: <http: //visual.ic.uff.br/thyroid/docs/protocolo.pdf>. Acesso em: 04 dez. 2019. Citado 2 vezes nas páginas 21 e 22.

WEERD, L.; MERCER, J. B.; WEUM, S. Dynamic infrared thermography. Clinics in