Detecção de distorção arquitetural mamária em mamografia digital utilizando rede neural convolucional profunda

Texto

(1)Universidade de São Paulo–USP Escola de Engenharia de São Carlos Departamento de Engenharia Elétrica e de Computação Programa de Pós-Graduação em Engenharia Elétrica. Arthur Chaves Costa. Detecção de Distorção Arquitetural Mamária em Mamografia Digital utilizando Rede Neural Convolucional Profunda. São Carlos 2019.

(2)

(3) Arthur Chaves Costa. Detecção de Distorção Arquitetural Mamária em Mamografia Digital utilizando Rede Neural Convolucional Profunda Dissertação de Mestrado apresentada à Escola de Engenharia de São Carlos da Universidade de São Paulo como parte dos requisitos para a obtenção do título de Mestre em Ciências, Programa de Engenharia Elétrica. Área de concentração: Processamento de Sinais e Instrumentação Orientador: Prof. Dr. Marcelo Andrade da Costa Vieira. São Carlos 2019 Trata-se da versão corrigida da dissertação. A versão original se encontra disponível na EESC/USP que aloja o Programa de Pós-Graduação de Engenharia Elétrica..

(4) AUTORIZO A REPRODUÇÃO TOTAL OU PARCIAL DESTE TRABALHO, POR QUALQUER MEIO CONVENCIONAL OU ELETRÔNICO, PARA FINS DE ESTUDO E PESQUISA, DESDE QUE CITADA A FONTE.. Ficha catalográfica elaborada pela Biblioteca Prof. Dr. Sérgio Rodrigues Fontes da EESC/USP com os dados inseridos pelo(a) autor(a).. C837d. Chaves Costa, Arthur Detecção de Distorção Arquitetural Mamária em Mamografia Digital utilizando Rede Neural Convolucional Profunda / Arthur Chaves Costa; orientador Marcelo Andrade da Costa Vieira. São Carlos, 2019.. Dissertação (Mestrado) - Programa de Pós-Graduação em Engenharia Elétrica e Área de Concentração em Processamento de Sinais e Instrumentação -- Escola de Engenharia de São Carlos da Universidade de São Paulo, 2019.. 1. Mamografia Digital. 2. Distorção Arquitetural. 3. Diagnóstico Auxiliado por Computador. 4. Rede Neural Convolucional Profunda. I. Título.. Eduardo Graziosi Silva - CRB - 8/8907.

(5)

(6)

(7) Este trabalho é dedicado a minha família..

(8)

(9) Agradecimentos Agradeço a Deus por tudo que me possibilitou e por toda a ajuda para seguir em frente. Agradeço a minha família por todo o suporte durante todo esse tempo, pelo incentivo, pela vida, pelo cuidado e por sua presença a cada instante, é realmente um privilégio. Em especial, obrigado pai por todo o apoio para que esse mestrado pudesse seguir em frente. Obrigado mãe por todo o cuidado e carinho mesmo de longe. Obrigado minha irmã, que mesmo distante estava sempre presente. Agradeço ao professor Marcelo Vieira por ter me dado essa oportunidade, pela orientação, pela compreensão em momentos mais complicados e por todas as conversas e esclarecimentos durante este tempo. À CAPES pelo auxílio financeiro que foi de suma importância para a continuidade deste trabalho. Agradeço a todos os meus amigos, que desde a infância estiveram comigo e com certeza são a extensão da família que tenho. Que possamos sempre nos preocupar uns com os outros, pois isso é sinal de que ainda somos irmãos. Agradeço também aos novos amigos que ganhei durante esse tempo. A todo o pessoal da república, da cidade de São Carlos e sobretudo aos colegas de laboratório, pela ajuda, paciência no dia-a-dia, conversas, bandecos e cafezinhos. Agradeço ao professor Michael Biehl por ter me recebido na Universidade de Groningen durante período de mobilidade. Obrigado pela simpatia e tantos conhecimentos que passou. Agradeço igualmente a todos os colegas que pude encontrar por lá..

(10)

(11) “O segredo da mudança é concentrar toda a sua energia, não na luta contra o velho, mas na construção do novo.” (Dan Millman).

(12)

(13) Resumo Costa, Arthur C. Detecção de Distorção Arquitetural Mamária em Mamografia Digital utilizando Rede Neural Convolucional Profunda. 94 p. Dissertação de Mestrado – Escola de Engenharia de São Carlos, Universidade de São Paulo, 2019.. A proposta deste trabalho foi analisar diferentes metodologias de treinamento de uma rede neural convolucional profunda (CNN) para a detecção de distorção arquitetural mamária (DA) em imagens de mamografia digital. A DA é uma contração sutil do tecido mamário que pode representar o sinal mais precoce de um câncer de mama em formação. Os sistemas computacionais de auxílio ao diagnóstico (CAD) existentes ainda apresentam desempenho insatisfatório para a detecção da DA. Sistemas baseados em CNN têm atraído a atenção da comunidade científica, inclusive na área médica para a otimização dos sistemas CAD. No entanto, as CNNs necessitam de um grande volume de dados para serem treinadas adequadamente, o que é particularmente difícil na área médica. Dessa forma, foi realizada neste trabalho, uma comparação de diferentes abordagens de treinamento para uma arquitetura CNN avaliando-se o efeito de técnicas de geração de novas amostras (data augmentation) sobre o desempenho da rede. Para isso, foram utilizadas 240 mamografias digitais clínicas. Uma das redes (CNN-SW) foi treinada com recortes extraídos por varredura em janela sobre a área interna da mama (aprox. 21600 em média) e a outra rede (CNN-SW+) contou com o mesmo conjunto ampliado por data augmentation (aprox. 345000 em média). Para avaliar o método, foi utilizada validação cruzada por k-fold, gerando-se em rodízio, 10 modelos de cada rede. Os testes analisaram todas as ROIs extraídas da mama, sendo testados 14 mamogramas por fold, e obtendo-se uma diferença estatisticamente significativa entre os resultados (AUC de 0,81 para a CNN-SW e 0,83 para a CNN-SW+). Mapas de calor ilustraram as predições da rede, permitindo uma análise visual e quantitativa do comportamento de ambos os modelos.. Palavras-chave: Distorção Arquitetural Mamária. Diagnóstico Auxiliado por Computador. Mamografia Digital. Rede Neural Convolucional Profunda..

(14)

(15) Abstract Costa, Arthur C. Detection of Architectural Distortion in Digital Mammography using Deep Convolutional Neural Network. 94 p. Master Thesis – São Carlos School of Engineering, University of São Paulo, 2019.. The purpose of this work was to analyze different training methodologies of a deep convolutional neural network (CNN) to detect breast architectural distortion (AD) in digital mammography images. AD is a subtle contraction of the breast tissue that may represent the earliest sign of a breast cancer in formation. Current Computer-Aided Detection (CAD) systems still have an unsatisfactory performance on AD detection. CNN-based systems have attracted the attention of the scientific community, including in the medical field for CAD optimization. However, CNNs require a large amount of data to be properly trained, which is particularly difficult in the medical field. Thus, in this work, different training approaches for a CNN architecture are compared evaluating the effect of data augmentation techniques on the data set. For this, 240 clinical digital mammography were used. One of the networks (CNN-SW) was trained with regions of interest (ROI) extracted by a sliding window over the inner breast area (approx 21600 on average) and the other network (CNN-SW+) had the same set enlarged by data augmentation (about 345000 on average). To evaluate the method, k-fold cross-validation was used, generating 10 instances of each model. The tests looked at all the ROIs extracted from the breast (14 mammograms per fold), and results showed a statistically significant difference between both networks (AUC of 0.81 for CNN-SW and 0.83 for CNN-SW+). Heat maps illustrated the predictions of the networks, allowing a visual and quantitative analysis of the behavior of both models.. Keywords: Architectural Distortion of the Breast. Computer-Aided Detection. Digital Mammography. Deep Convolutional Neural Network..

(16)

(17) Lista de ilustrações. Figura 1. Marcações realizadas por sistema CAD (triângulos) em regiões suspeitas de conter nódulo em duas vistas de exame radiográfico de pulmão. A região com nódulo foi indicada por círculo pontilhado. . . . . . . . . 33. Figura 2. Etapas tradicionais de treinamento para elaboração de um sistema CAD. 34. Figura 3. Imagens de exemplos de lesões mamárias encontradas em exames: (a) Nódulo; (b) Microcalcificação; (c) Distorção arquitetural. . . . . . . . . 35. Figura 4. Exemplos de regiões com distorção arquitetural mamária em exames: (a) Mamografia MLO com indicação de região com DA; (b) DA com linhas radiais e ausência de densidade central. . . . . . . . . . . . . . . 36. Figura 5. (a) e (b): exemplos de recorte de imagem de mamografia de tecido normal e em (c) e (d): recortes com presença de DA. Percebe-se nesses casos uma diferença sútil entre o tecido com ausência e com presença da anomalia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37. Figura 6. Exemplos de funções de ativação: (a) função tangente hiperbólica e (b) função logística. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42. Figura 7. Diagrama de uma rede Perceptron multicamadas. . . . . . . . . . . . . 43. Figura 8. Fluxograma simplificado de uma rede CNN. . . . . . . . . . . . . . . . 43. Figura 9. Diagrama da arquitetura de uma rede CNN utilizada para classificação de dígitos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44. Figura 10. Representação de uma máscara 3x3. . . . . . . . . . . . . . . . . . . . 45. Figura 11. Esquema de geração de vários mapas de característica por convolução com diferentes filtros. Durante o processo, as informações da região de entrada são utilizadas como entrada para o filtro produzir como resultado o valor de um pixel no mapa de saída. . . . . . . . . . . . . . 46.

(18) Figura 12. Representação de filtros aprendidos para a representação de um rosto de gato. O objeto é formado visualmente por meio de composições de módulos hierárquicos: as bordas se combinam em outras parte como olhos e orelhas, e essas por sua vez em conceitos de maior nível como "gato". . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47. Figura 13. Exemplos de resposta dos filtros (direita) após convoluções com as máscaras da primeira camada da CNN (centro) sobre região de lesão óssea esclerótica em tomografia computadorizada. . . . . . . . . . . . . . . . 48. Figura 14. Função de ativação Rectified Linear Unit (ReLU). . . . . . . . . . . . . 49. Figura 15. Realização de operação de maxpooling com janela 2x2 e passo 2 em uma matriz 4x4. Os valores numéricos representam as intensidades de cada pixel. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49. Figura 16. Três mecanismos importantes da CNN: Aplicação local do filtro em cada do mapa de característica; compartilhamento de pesos e subamostragem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50. Figura 17. Saídas de cada camada (horizontal) de uma arquitetura de rede convolucional típica aplicada a três canais de uma imagem. . . . . . . . . . . 50. Figura 18. Ilustração da transição entre uma camada de convolução e uma camada totalmente conectada: os mapas de característica são redimensionados e concatenados formando um vetor 𝑥 cujos valores estarão conectados a todos os neurônios da próxima camada que realizarão uma multiplicação de vetor seguida pela adição do limiar de ativação e pela função de ativação. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51. Figura 19. Exemplo de resultados fornecidos pela função softmax sobre os valores entregues na última camada da rede. . . . . . . . . . . . . . . . . . . . 51. Figura 20. Exemplo de rótulos com codificação one-hot(direita), apresentando a qual classe a amostra realmente pertence. . . . . . . . . . . . . . . . . 52. Figura 21. Imagem de exemplos de mamograma de mama direita com corte: (a) CC e (b) corte MLO. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54. Figura 22. (a): Exemplo de mamograma marcado; (b): região de interesse com DA e em (c): recorte de tecido normal do exame. . . . . . . . . . . . . 55. Figura 23. Exemplo de regiões de interesse com DA obtidas por varredura por janela. A estrela vermelha marca a coordenada central da distorção. . . 56. Figura 24. Diagrama simplificado do método proposto para treinamento, validação e visualização dos resultados da CNN. . . . . . . . . . . . . . . . . . . 57. Figura 25. Diagrama simplificado da primeira etapa do método elaborada para com as extrações de recortes em 100 imagens FFDM e 200 DDSM. . . 58.

(19) Figura 26. Exemplo de amostras geradas pelas respectivas técnicas de data augmentation a partir de um recorte original para a pprimeira etapa do método. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58. Figura 27. Diagrama simplificado do método com 10-fold cross-validation utilizado para a segunda etapa com a CNN. Em cada rodízio de subconjuntos do k-fold, 8 eram utilizados para treinamento da rede, e dois modelos foram gerados, um com a adição de mais técnicas de data augmentation e outro apenas com as ROIs com aumento por translação. 59. Figura 28. Exemplo de imagens geradas pelas respectivas técnicas de data augmentation a partir de um recorte original para o segundo método. . . . 60. Figura 29. Arquitetura de rede CNN utilizada para treinamento. . . . . . . . . . . 61. Figura 30. Curva ROC de avaliação no conjunto de teste para CNN-O(vermelho) e CNN-AUG(verde). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66. Figura 31. Comparação da AUC obtida nas amostras por varredura em janela em cada um dos 9 exames pela CNN-O(vermelho) e pela CNN-AUG(verde). 66. Figura 32. Curvas ROC para cada modelo gerado pelo k-fold, com média dos valores em curva mais espessa e desvio padrão representado em margem de mesma cor para: (a) CNN-SW em laranja e (b) CNN-SW+ em azul. 69. Figura 33. Curvas ROC média de avaliação no conjunto de teste para CNN-SW(laranja) e CNN-SW+(azul). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69. Figura 34. Exemplos de ROIs classificadas erroneamente por ambas as redes: (a),(b) e (c) falsos negativos e (d),(e) e (f) falsos positivos. . . . . . . . . . . . 70. Figura 35. AUC média e desvio padrão (barra de erro vermelha) para a CNNSW(laranja) e CNN-SW+(azul) no teste em varredura de imagens para as k folds. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71. Figura 36. Exemplos de mapas de calor propostos para visualizar predições das ROIs em cada imagem. Em (a) tem-se a imagem original com marcação em vermelho da região com DA. Em (b) tem-se o mapa de calor gerado por interpolação entre os centros das regiões. E em (c), mapa formado com pontos nas regiões centrais de cada ROI. . . . . . . . . . . . . . . 72. Figura 37. Caso em que a CNN-SW obteve AUC superior a CNN-SW+ (0,95 e 0,81 respectivamente). Em (a) tem-se a imagem original com marcação em vermelho da região com DA. Em (b), mapa de calor com predições da CNN-SW. E em (c), mapa de calor das predições da CNN-SW+. . . 73. Figura 38. Caso em que a CNN-SW obteve AUC inferior a CNN-SW+ (0,50 e 0,85 respectivamente). Em (a) tem-se a imagem original com marcação em vermelho da região com DA. Em (b), mapa de calor com predições da CNN-SW. E em (c), mapa de calor das predições da CNN-SW+. . . . 73.

(20) Figura 39. Figura 40. Figura 41. Figura 42. Figura 43. Casos em que a CNN-SW e a CNN-SW+ obtiveram AUC inferior a 0,5. Em (a) tem-se a imagem original do primeiro caso com marcação em vermelho da região com DA. Em (b), mapa de calor com predições da CNN-SW (AUC = 0,41). Em (c), mapa de calor das predições da CNN-SW+ (AUC = 0,23) para o primeiro caso (a). Em (d) tem-se a imagem original do segundo caso com marcação da região com DA. Em (e), mapa de calor com predições da CNN-SW (AUC = 0,36) para a imagem em (d). E em (f), mapa de calor das predições da CNN-SW+ (AUC = 0,36) para (d). . . . . . . . . . . . . . . . . . . . . . . . . . Mapas de calor da predição da rede CNN-SW para a imagem em (a), com escala de cor centrada em 0,5 (b), 0,6 (c), 0,7 (d), 0,8 (e) e 0,9 (f). Os círculos brancos marcam verdadeiros positivos. . . . . . . . . . . . Mapas de calor da predição da rede CNN-SW+ para a imagem em (a), com escala de cor centrada em 0,5 (b), 0,6 (c), 0,7 (d), 0,8 (e) e 0,9 (f). Os círculos brancos marcam verdadeiros positivos. . . . . . . . . . . . Comparação das redes CNN-SW e CNN-SW+ quanto ao limiar máximo de classificação para a visualização da DA no mapa de calor. Para cada valor de limiar de classificação apresenta-se a quantidade de ocorrências de mamogramas que tiveram aquele limiar como limiar máximo em que algum verdadeiro positivo ainda foi verificado. . . . . . . . . . . . . . Mapas de calor com variação do limiar de classificação de dois casos para a rede CNN-SW ((a) e (e) com mapas nas colunas subsequentes) e de outros dois para a rede CNN-SW+ ((i) e (m) com mapas nas colunas subsequentes). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . 74. . 75. . 76. . 77. . 78.

(21) Lista de tabelas Tabela 1. Trabalhos relevantes em detecção de distorção arquitetural mamária. Resultados são resumidos em termos de falsos positivos (por imagem (FPpI) ou por paciente (FPpP)), sensibilidade e área abaixo da curva ROC (AUC), quando disponível. DDSM refere-se à Digital Database for Screening Mammography; MIAS refere-se ao banco de imagens da Mammographic Image Analysis Society. . . . . . . . . . . . . . . . . . 38. Tabela 2. Classificação das amostras de acordo com sua classe genuína e a classificada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63. Tabela 3. Tabela confusão dos resultados de classificação no conjunto de teste para a rede CNN-O e CNN-AUG. . . . . . . . . . . . . . . . . . . . . Acurácia e AUC da curva ROC de teste para cada uma das k-folds para as redes CNN-SW e CNN-SW+. . . . . . . . . . . . . . . . . . Tabela confusão dos resultados de teste somados sobre os 10 folds para a rede CNN-SW e CNN-SW+. . . . . . . . . . . . . . . . . . . . . . AUC média da curva ROC das redes CNN-SW e CNN-SW+ para os mamogramas com DA de cada um dos 10 folds. . . . . . . . . . . . . Valores de precisão para diversos limiares de classificação da classe DA para dois casos de cada rede (CNN-SW e CNN-SW+). . . . . . . . .. Tabela 4 Tabela 5 Tabela 6 Tabela 7. . 65 . 68 . 68 . 71 . 77.

(22)

(23) Lista de siglas AUC Area Under the Curve BI-RADS Breast Imaging Reporting and Data System CAD Computer Aided Detection CNN Convolutional Neural Network CC Crânio-Caudal CUDA (Compute Unified Device Architecture) DA Distorção Arquitetural DDSM Digital Database for Screening Mammography FFDM Full Field Digital Mammography FDA Food and Drug Administration FP Falsos Positivos FN Falsos Negativos FPpI Falsos Positivos por Imagem FPpP Falsos Positivos por Paciente GPU Graphics Processing Unit HCFMUSP Hospital das Clínicas da Faculdade de Medicina da Universidade de São Paulo HOG Histogram of Oriented Gradients INCA Instituto Nacional de Câncer MLO Médio-Lateral-Oblíquo.

(24) RNA Redes Neurais Artificiais ReLU Rectified Linear Unit RGB Red Blue and Green ROC Receiver Operating Characteristic ROI Region of Interest RSNA Radiological Society of North America SIFT Scale-Invariant Feature Transform SVM Support Vector Machines TC Totalmente Conectada VP Verdadeiros Positivos VN Verdadeiros Negativos.

(25) Sumário. 1. 2. Introdução 1.1. Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27. 1.2. Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28. 1.3. Organização do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . 29. Diagnóstico Assistido por Computador (CAD) 2.1. 5. 39. Deep Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.1.1. 4. Distorção Arquitetural Mamária . . . . . . . . . . . . . . . . . . . 35. Ferramentas de Aprendizagem de Máquinas 3.1. 31. CAD em Exames de Mamografia . . . . . . . . . . . . . . . . . . . . . . . 33 2.1.1. 3. 25. Redes Neurais Convolucionais . . . . . . . . . . . . . . . . . . . . 41. Materiais e Métodos. 53. 4.1. Banco de Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53. 4.2. Método Proposto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 4.2.1. Primeira Etapa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56. 4.2.2. Segunda Etapa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57. 4.2.3. Terceira Etapa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60. 4.2.4. Configuração da CNN . . . . . . . . . . . . . . . . . . . . . . . . . 61. 4.2.5. Métricas de Avaliação . . . . . . . . . . . . . . . . . . . . . . . . . 63. Resultados e Discussões. 65. 5.1. Resultados da Primeira Etapa . . . . . . . . . . . . . . . . . . . . . . . . 65. 5.2. Resultados da Segunda Etapa . . . . . . . . . . . . . . . . . . . . . . . . 67 5.2.1. Resultados da Terceira Etapa . . . . . . . . . . . . . . . . . . . . . 70. 6. Conclusões. 79. 7. Trabalhos Futuros. 81.

(26) 8. Publicações 83 8.1 Congresso Brasileiro de Engenharia Biomédica (CBEB) . . . . . . . . . . 83. Referências. 85. Apêndices. 91. APÊNDICE A. AUCs da CNN-SW e CNN-SW+ para os testes em imagens por varredura em janela. 94.

(27) Capítulo. 1. Introdução. Em pesquisa realizada pela Organização Mundial de Saúde, no ano de 2015, o câncer de mama foi responsável, em média, pela morte de 569 mil mulheres em todo o mundo(WHO, 2016). É o tipo de câncer mais comum em mulheres e também o maior responsável por mortes aos redor do mundo, tanto em países desenvolvidos como em desenvolvimento (WHO et al., 2014). No Brasil, dados do INCA (Instituto Nacional de Câncer) indicam que este é o segundo tipo de câncer mais incidente e o responsável pelo maior número de mortes entre a população feminina. Em 2018, estimou-se o aparecimento de aproximadamente 60 mil novos casos no Brasil (INCA, 2017). Na maior parte das regiões do mundo a tendência da incidência tem aumentado. Em contra partida, em países altamente desenvolvidos, essa tendência atingiu uma estabilidade na última década e começou a decrescer. Com relação à taxa de mortalidade nos mesmos países, ela tem apresentado declínio desde o começo dos anos 90, o que se traduz pela melhoria da detecção precoce, com a realização de rastreamento populacional, ou seja, exames de rotina que visam a detecção dos primeiros sinais, e também a melhoria dos tratamentos (STEWART; WILD et al., 2017). Atualmente não existe maneira efetiva de prevenir o câncer de mama, pois suas causas ainda permanecem desconhecidas. Entretanto, um diagnóstico eficiente do câncer de mama em seus estágios iniciais dá ao paciente uma melhor chance de recuperação completa. Para tanto, o diagnóstico precoce tem um papel muito importante na redução das taxas de morbidade e mortalidade que lhe são associadas (TANG et al., 2009). Há diversas técnicas de imageamento para exame da mama, incluindo a ressonância magnética, ultrassom, e a imagem por raios X. A mamografia é um tipo específico de imagem que utiliza um sistema de raios X de baixa dose para exame da mama, e é atualmente o método mais eficaz para a detecção do câncer antes que ele se torne clinicamente palpável (NG; MUTTARAK, 2003). O fato ainda de fornecer imagens de alta qualidade com baixa radiação torna a mamografia o método utilizado para os exames clínicos de rastreio (TANG et al., 2009). Devido aos exames mamográficos de rastreio, o câncer de mama tem sido encontrado em seus estágios iniciais de formação e em um tamanho menor dos que aqueles encontrados.

(28) 26. Capítulo 1. Introdução. apenas por exames como o toque. Tal fato permite aos pacientes terem uma maior taxa de êxito em seu tratamento, devido ao controle em estágios menos avançados ser mais eficaz (MAIDMENT, 2003). Existem dois tipos de mamografia: a mamografia por tela-filme, que já está sendo praticamente substituída, e a mamografia digital. Na mamografia por tela-filme, a imagem é criada diretamente no filme radiográfico, enquanto que a digital captura uma imagem eletrônica da mama e a armazena diretamente em computador. Embora ambos os tipos tenham suas vantagens e desvantagens, a mamografia digital tem um potencial muito maior frente a sua versão por filme que possui limitações como: o alcance limitado de exposição aos raios X; a impossibilidade de aumento de contraste após a obtenção da imagem; o filme atua como detector, tela e como modo de armazenamento e o processamento do filme é lento e introduz artefatos na imagem. Todas essas limitações incentivaram os pesquisadores a se empenharem em desenvolver técnicas avançadas para a mamografia digital (TANG et al., 2009). O avanço da tecnologia, com melhores detectores e emissão de raios-x por feixe, permitiram a implementação da mamografia digital de campo total (FFDM – Full Field Digital Mammography), que trouxe várias vantagens para os exames de mamografia, vencendo as limitações das versões por filme, dentre as vantagens há o arquivamento eletrônico, a magnificação digital, maior contraste, redução da dose de radiação, menor ruído e telerradiologia, permitindo o envio e compartilhamento dos exames com mais facilidade (GLYNN et al., 2011; HALL, 2012). Na mamografia de rastreio, realizada periodicamente na população assintomática, são adquiridas normalmente quatro imagens, sendo duas visualizações de cada mama: uma é a crânio-caudal (CC) e a outra é a médio-lateral oblíqua (MLO). Além do exame de rastreio, existe a modalidade de mamografia diagnóstica que é utilizada para examinar pacientes que já demonstraram achados clínicos suspeitos, e é normalmente realizada em acompanhamento ao exame de rastreio, de maneira a determinar se a área atingida deve ser submetida a mais exames, como a biópsia. De modo similar, também são geradas imagens nos dois cortes, CC e MLO (TANG et al., 2009). Embora a maioria dos cânceres de mama sejam identificados na mamografia de rastreio como nódulos e microcalcificações agrupadas, a terceira aparição mais comum de câncer não-palpável é a distorção arquitetural mamária (DA) (BANIK; RANGAYYAN; DESAUTELS, 2011). Como a DA pode imitar a aparência normal de tecidos da mama sobrepostos, esse achado é sútil e de difícil identificação. Esse desafio, aliado a sua potencial malignidade associada ao câncer, tem atraído maiores estudos em ferramentas para a sua detecção (OLIVEIRA et al., 2019; GUO; SHAO; RUIZ, 2005; NEMOTO et al., 2009; BANIK; RANGAYYAN; DESAUTELS, 2011; TANG et al., 2009; KOOI et al., 2017; LIU et al., 2016; KAMRA et al., 2016; ALSHAFEIY et al., 2018; CASTI et al., 2016; MURALI; DINESH et al., 2011; BAHL; LAMB; LEHMAN, 2017; PALMA; BLOCH; MULLER, 2014; RANGAYYAN et al., 2013; JASIONOWSKA et al., 2010)..

(29) 1.1. Motivação. 1.1. 27. Motivação. Uma das dificuldades do processo de leitura de mamogramas se encontra muitas vezes no baixo contraste de informações que levam a incertezas na avaliação. Uma avaliação errônea ainda pode acarretar na indicação de falsos negativos e falsos positivos, o que leva o paciente a ser sujeito à procedimentos desnecessários ou a perder a oportunidade de descobrir um problema na fase inicial e seguir um tratamento com maior probabilidade de eficácia (TANG et al., 2009). Soluções foram propostas para aumentar a sensitividade e especificidade ao se analisar os exames mamográficos. A dupla leitura de mamografias foi uma das técnicas apresentadas para reduzir a proporção de falhas. A ideia básica é fazer com que dois radiologistas analisem o mesmo exame, o que contribuiu para a melhoria das taxas segundo alguns estudos (DINNES et al., 2001). Contudo, a carga de trabalho e o custo associado com a dupla leitura são altos. Em lugar de realizar a leitura com dois radiologistas, os sistemas de auxílio a diagnóstico por computador (CAD), que são referidos como uma segunda opinião, são uma ferramenta em uso para auxiliar o médico na interpretação do exame. Com o CAD, apenas um radiologista é necessário, reduzindo a carga de trabalho. Pesquisas realizadas apresentaram que essa associação proporcionou bons resultados no aumento da taxa de detecção do câncer, o que em contrapartida provocou um aumento pequeno, em muitos casos, da taxa de reteste, mas que foram em sua maioria irrelevantes frente às vantagens alcançadas (AZEVEDO-MARQUES et al., 2017; MORTON et al., 2006). Vários trabalhos foram realizados com sistemas clássicos de visão computacional para se obter um sistema CAD ótimo para a detecção da distorção arquitetural, porém em sua maioria, o banco de dados utilizado é de imagens digitalizadas e a quantidade de amostras da lesão muitas vezes não chega a 50 exemplos (GUO; SHAO; RUIZ, 2005; NEMOTO et al., 2009; BANIK; RANGAYYAN; DESAUTELS, 2011; TANG et al., 2009; JASIONOWSKA et al., 2010; MURALI; DINESH et al., 2011). Comparações de sistemas CAD comerciais foram realizadas na tarefa da detecção da DA, apresentando resultados insatisfatórios (BAKER et al., 2003). Nos últimos anos, novos sistemas baseados em aprendizado de máquina em profundidade, mais conhecido como deep learning, têm atraído a atenção da comunidade científica em diversas áreas. Em geral, as técnicas convencionais de aprendizado de máquina são limitadas em sua habilidade de processar dados em sua forma mais bruta. A grande vantagem dos métodos com deep learning é simplificar todo o processo clássico de caracterização e classificação de padrões, o substituindo por um procedimento de aprendizagem geral que fornece informações em vários níveis de abstração (LECUN; BENGIO; HINTON, 2015). Em consequência, atualmente alguns sistemas CAD já estão se utilizando de arquiteturas em deep learning para melhorar a precisão no diagnóstico, o que tem gerado resultados superiores aos obtidos com os sistemas clássicos (GREENSPAN; GINNEKEN; SUMMERS, 2016; SETIO et al., 2016; ROTH et al., 2016; DOU et al., 2016; SIRINUKUNWATTANA.

(30) 28. Capítulo 1. Introdução. et al.,. 2016; ANTHIMOPOULOS et al., 2016), inclusive para imagens mamográficas digitais (ABDEL-ZAHER; ELDEIB, 2016; SHIN et al., 2016; LITJENS et al., 2017). Com as redes neurais convolucionais profundas (CNN, do inglês Convolutional Neural Network), o avanço das tecnologias de unidades de processamento gráfico aliado aos algoritmos altamente paralelizáveis da rede garantiram sua praticidade de aplicação, o que levou a se popularizar e ser a arquitetura de deep learning mais utilizada atualmente para desenvolvimentos com CAD. Resultados recentes também indicam que os descritores genéricos extraídos das CNN’s são extremamente efetivos em reconhecimento de objetos e localização em imagens (GREENSPAN; GINNEKEN; SUMMERS, 2016). Apesar dos métodos com deep learning apresentarem resultados promissores, é necessária a utilização de um vasto conjunto de dados para se evitar um sobreajuste na rede e também para que o modelo realmente consiga convergir para representações significativas (HALEVY; NORVIG; PEREIRA, 2009). Esse requerimento é desafiador sobretudo nas aplicações com imagens médicas, onde o acesso aos dados de pacientes é altamente protegido por questões de sigilo, e muitos bancos de dados clínicos são restritos (GREENSPAN; GINNEKEN; SUMMERS, 2016; CHOUGRAD; ZOUAKI; ALHEYANE, 2018). Em sistemas CAD que utilizam deep learning, esse tem sido um ponto cada vez mais crítico em seu desenvolvimento (CHOUGRAD; ZOUAKI; ALHEYANE, 2018; KOOI et al., 2017). Além disso, são necessários casos tanto positivos quanto negativos para o treinamento da rede, e em mamografia digital, a maioria das imagens são obtidas em programas de rastreamento de câncer de mama, onde a porcentagem de imagens com alguma lesão é muito baixa (BORDÁS et al., 2004). Uma maneira de lidar com a limitação de um conjunto de dados pequeno é o uso de transfer learning, uma técnica de transferência de aprendizado interredes (YOSINSKI et al., 2014). Os pesos já aprendidos por uma rede, muitas vezes em um banco de dados sem semelhança com o trabalhado, são passados totalmente ou parcialmente para a nova rede, servindo de ponto de partida para o seu treinamento (RAZAVIAN et al., 2014). Uma outra alternativa é a utilização de técnicas para aumento de dados (data augmentation). Novas amostras são geradas por meio da aplicação de diversas técnicas, como transformações geométricas e inserção de ruído (CHATFIELD et al., 2014). A inserção de ruído para o presente estudo apresenta-se como a técnica mais plausível, pois imagens clínicas são bastante propícias a serem afetadas por diferentes fontes de ruído (BORGES et al., 2018; HAUS; YAFFE, 2000).. 1.2. Objetivos. O presente trabalho tem como objetivo geral analisar diferentes metodologias de treinamento de uma rede neural convolucional profunda para detecção de distorção arquitetural mamária em imagens mamográficas digitais, visando verificar a eficiência da rede para esta tarefa. Como resultado, espera-se obter uma avaliação da imagem que seja útil.

(31) 1.3. Organização do trabalho. 29. para tarefa de auxílio ao diagnóstico. Como objetivo específico, lidar com a quantidade limitada de dados de entrada por meio de técnicas de aumento de dados (data augmentation) e avaliar a metodologia desenvolvida com a rede CNN em um conjunto de exames de mamografia digital laudados, onde é especificada a presença ou ausência da distorção arquitetural. Com isso pode-se validar a ferramenta de detecção em um cenário real de aplicação clínica.. 1.3. Organização do trabalho. Este trabalho está dividido nos seguintes capítulos: O Capítulo 2 aborda os sistemas de auxílio a diagnóstico médico. São apresentadas informações mais detalhadas sobre a distorção arquitetural e sua relação com o câncer de mama, e visualização em mamografia digital; Ferramentas de aprendizado de máquina, incluindo as redes neurais convolucionais são discutidas no Capítulo 3, com direcionamento para a abordagem proposta; Os métodos e materiais empregados neste trabalho são apresentados no Capítulo 4; No Capítulo 5 tem-se a apresentação e discussão dos resultados; As conclusões são apresentadas no Capítulo 6; No Capítulo 7 são levantados os possíveis pontos a serem trabalhados posteriormente; E por fim, são listadas no Capítulo 8 as publicações oriundas deste trabalho..

(32) 30. Capítulo 1. Introdução.

(33) Capítulo. 2. Diagnóstico Assistido por Computador (CAD) A evolução dos sistemas de imagem médica, assim como a expansão do seu uso em trabalhos clínicos de rotina, levaram a um aumento natural no âmbito e na complexidade dos problemas a eles associados, requerendo desta forma, técnicas mais avançadas para a sua solução. Essa mudança abriu campo para novas pesquisas e desenvolvimento na área conhecida como análise de imagens médicas, informática para imagens médicas e diagnóstico assistido por computador, mais conhecido pelos termos em inglês Computer-aided detection e Computer-aided diagnosis e referenciado pela sigla CAD (AZEVEDO-MARQUES et al., 2017). Ele tem exercido um papel cada vez mais notável na ajuda a radiologistas para melhorar a acurácia na detecção e no diagnóstico de várias doenças, em particular, o câncer (LI; NISHIKAWA, 2015). Nos últimos anos, a técnica se desenvolveu bastante em número e qualidade em várias modalidades, incluindo imagens ópticas, projeções de raio-x, tomografia computadorizada, ressonância magnética, ultrassom, entre outras (LI; NISHIKAWA, 2015). A Food and Drug Administration 1 (FDA), que realiza regulamentações, aprovou em 1998, pela primeira vez, um sistema CAD comercial nos Estados Unidos para a detecção de câncer de mama, o que abriu as portas para muitos outros sistemas serem instalados ao redor do mundo. Tal regulamentação já possui novos documentos de orientação, como o divulgado em 2012 (FDA, 2018). Desde então, CAD se tornou um procedimento clínico de rotina, principalmente na detecção do câncer de mama, em diversas clínicas e centros médicos nos Estados Unidos (AZEVEDO-MARQUES et al., 2017). O CAD é definido como um diagnóstico feito por um médico utilizando a saída de um sistema computadorizado de análise de imagens como um suporte diagnóstico. As duas variações do sistema utilizadas na literatura são: a focada em detecção, que localiza as regiões de interesse com anormalidades; e a de diagnóstico que associa uma resposta 1. https://www.fda.gov/default.htm.

(34) 32. Capítulo 2. Diagnóstico Assistido por Computador (CAD). as regiões encontradas em termos da presença ou ausência da doença que se procura. Tipicamente, um radiologista utiliza a resposta de um sistema CAD como uma segunda opinião, que normalmente seria obtida por um segundo radiologista e pode ou não ser levada em consideração na sua decisão final (SHIRAISHI et al., 2006). As pesquisas e desenvolvimento desses sistemas para a detecção de lesões em imagens médicas é baseada no entendimento dos processos envolvidos na leitura de imagens médicas por radiologistas. Mesmo com o nível de conhecimento e experiência de um médico especialista, o processo de leitura de um exame está sujeito a alguns tipos de erro, como a realização de análise subjetiva, inconsistência no conhecimento e treinamento, preferências pessoais, efeitos do ambiente de trabalho, distração, fadiga, entre outras limitações que são superadas por técnicas computacionais. Como esses processos de leitura são complexos para a realização do diagnóstico, o sistema de computador deve ser desenvolvido com a capacidade de detectar lesões específicas, entender porque alguns médicos podem falhar em detectar algumas anormalidades, e como os radiologistas distinguem entre lesões malignas e benignas. Além disso, deve possuir uma alta sensitividade e alta especificidade, pois como realizam o papel de uma segunda opinião, suas habilidades de observação devem equipararem-se ou superar as capacidades humanas (AZEVEDO-MARQUES et al., 2017). Por tais fatores levados em conta em seu desenvolvimento, os sistema CAD garantem vantagens quando se trata da análise visual das imagens médicas. Em termos mais técnicos, CAD são sistemas computadorizados que incorporam habilidades de reconhecimento de padrões e análise de dados (combinação de valores, medidas, características extraídas dos dados radiológicos do paciente, etc) direcionadas para marcar, identificar, destacar, ou de alguma outra forma atrair a atenção para certas porções de uma imagem, ou aspectos dos dados fornecidos pelo equipamento radiológico, que de alguma forma revelem anormalidades durante a interpretação dos exames do paciente (FDA, 2018). Um exemplo da execução do sistema CAD com marcações feitas em um exame radiográfico para detecção de nódulo em pulmão é visualizado na Figura 1. Segundo Azevedo-Marques et al. (2017), as etapas típicas de um treinamento de um sistema CAD seguem o diagrama da Figura 2. A maioria é baseado em algum tipo de extrator de característica de imagem computado na região de interesse, extraindo estatísticas de intensidade, histograma de gradientes orientados (HOG), transformada de características invariantes à escala (SIFT), e descritores de formato baseados em matriz de Hessian. Tais características são passadas para classificadores binários ou discretos, normalmente SVM, para diferenciar anatomia normal e anormal (ROTH et al., 2016). Apesar de toda a vantagem de utilização do sistema CAD para aplicações clínicas, o seu correto desenvolvimento precisa atentar para as dificuldades de sua elaboração, tais como: dificuldade em traduzir os métodos de análise visual em procedimentos computacionais, traduzir as observações clínicas em atributos numéricos, problemas com a dimensão das informações de características, requerimento intensivo de tempo e recursos.

(35) 2.1. CAD em Exames de Mamografia. 33. Figura 1: Marcações realizadas por sistema CAD (triângulos) em regiões suspeitas de conter nódulo em duas vistas de exame radiográfico de pulmão. A região com nódulo foi indicada por círculo pontilhado.. Fonte: Adaptado de Doi (2007).. computacionais, necessidade de um grande conjunto de exemplos classificados de exames médicos para treinar e testar o sistema, a grande taxa de falsos positivos e a dificuldade de integrar os sistemas CAD nos protocolos e no espaço de trabalho já estabelecido de clínicas médicas (AZEVEDO-MARQUES et al., 2017). Com o avanço do acesso à maiores bases de imagens e a acessibilidade a recursos de computação paralela por meio de unidades gráficas de processamento (GPU), se tornou possível a utilização de ferramentas de deep learning, com a realização do treinamento de arquiteturas de classificação mais complexas como as redes neurais convolucionais profundas, por exemplo (ROTH et al., 2016). Tais ferramentas já estão sendo utilizadas na área biomédica e trabalhos recentes têm mostrado que a sua aplicação tem garantido uma melhoria substancial no desempenho de sistemas CAD (LI et al., 2014; GREENSPAN; GINNEKEN; SUMMERS, 2016; SETIO et al., 2016; ROTH et al., 2016; DOU et al., 2016; SIRINUKUNWATTANA et al., 2016; ANTHIMOPOULOS et al., 2016).. 2.1. CAD em Exames de Mamografia. A maioria dos artigos de pesquisa em CAD apresentados em conferências como a Radiological Society of North America (RSNA), American Association of Physicists in Medicine, SPIE e a Computer Assisted Radiology and Surgery de 1986 até 2015 eram focados em tórax, mama e cólon, especialmente para sua detecção em exames de rastreio (AZEVEDO-MARQUES et al., 2017). A detecção de apenas um número restrito de lesões é considerada pelos radiologistas como difícil e de muita exigência de tempo, desse modo, é.

(36) 34. Capítulo 2. Diagnóstico Assistido por Computador (CAD). Figura 2: Etapas tradicionais de treinamento para elaboração de um sistema CAD.. Fonte: do autor, 2019.. de certa forma plausível que a primeira fase de CAD em casos clínicos tenha começado para os exames de rastreio. Para os exames de mamografia, estudiosos revelaram resultados de estudos em uma grande quantidade de pacientes visando o efeito da utilização do CAD na taxa de detecção do câncer de mama, e embora tenham sido apresentados resultados muito variáveis, é importante perceber que em todos os estudos foi indicado um aumento da taxa de detecção (AZEVEDO-MARQUES et al., 2017). Tanto o sistema CAD de detecção como o de diagnóstico, que utilizam de ferramentas computacionais para detectar anormalidade em mamografias como a microcalcificação, massas e distorção arquitetural, e o uso desses resultados por radiologistas, pode assumir um papel chave para a detecção do câncer de mama e assim diminuir a taxa de morte entre as mulheres, principalmente por ajudar na detecção precoce de lesões (ABDELZAHER; ELDEIB, 2016). Por isso, nos últimos anos, esses sistemas e técnicas relacionadas têm atraído a atenção de pesquisadores e de radiologistas. Para os pesquisadores, o foco de interesse está na alta eficiência, algoritmos de alta precisão de detecção, inclusive a detecção de assimetria bilateral, quando a diferença entre ambas as mamas indica suspeita (TANG et al., 2009). A Figura 3 apresenta um exemplo de imagem para cada uma das lesões mamárias citadas. Existem dois tipos de sistemas CAD baseados em tecnologias da mamografia, o que é baseado em mamografia por tela-filme e o digital. O segundo tipo utiliza a tecnolo-.

(37) 2.1. CAD em Exames de Mamografia. 35. Figura 3: Imagens de exemplos de lesões mamárias encontradas em exames: (a) Nódulo; (b) Microcalcificação; (c) Distorção arquitetural. (a). (b). (c). Fonte: do autor, 2019.. gia FFDM, que proporciona uma melhor relação sinal-ruído, uma melhor sensitividade a contraste e uma maior eficiência na detecção dos fótons. Mesmo com os requintes tecnológicos, os sistemas convencionais de CAD tiveram suas dificuldades em estabelecer uma credibilidade quanto as suas avaliações (TANG et al., 2009). Entretanto, pesquisas mais recentes compararam a performance de um sistema CAD e a observação de profissionais radiologistas na área e os resultados apresentaram uma semelhança significativa para um cenário de alta especificidade, apontando um potencial promissor para as ferramentas em questão (HUPSE et al., 2013). Os mais modernos avanços em tecnologia pordeep learning também alcançaram os sistemas computadorizados para diagnóstico da mama, e trabalhos já têm mostrado bons resultados no aprimoramento das ferramentas convencionais (ABDEL-ZAHER; ELDEIB, 2016; SHIN et al., 2016). Trabalhos recentes focaram em sua maioria, na aplicação da CNN para detecção de nódulos, diferenciação de lesão entre benigna e maligna e estimativa de risco (LITJENS et al., 2017). Um dos trabalhos que incluiu a detecção da DA classificou recortes de imagens de mammografia entre lesão maligna e tecido normal ou lesão sem indício de malignidade. Seus resultados foram equiparáveis a um teste realizado com vários radiologistas (KOOI et al., 2017).. 2.1.1. Distorção Arquitetural Mamária. Embora a maioria dos cânceres de mama sejam identificados na mamografia de rastreio como um nódulo ou um foco de microcalcificações, a terceira aparição mais comum de câncer não-palpável é a distorção arquitetural (DA). Segundo o Breast Imaging Reporting and Data System (BI-RADS), criado pela American College of Radiology para padronizar o léxico em laudos de mamografia, a tradução do conceito de DA é: "A arquitetura.

(38) 36. Capítulo 2. Diagnóstico Assistido por Computador (CAD). normal (da mama) é distorcida com nenhum nódulo definido visível. Isso inclui espículas que irradiam de um ponto e retração focal ou distorção na borda do parênquima. A distorção arquitetural também pode ser uma descoberta associada"(COMMITTEE, 1998; LIBERMAN; MENELL, 2002). Sendo parênquima o tecido interno ao qual está associada a funcionalidade do órgão (BERNARDES, 2011). A DA é comumente caracterizada pela presença de linhas finas ou espiculadas, ou seja, que se irradiam a partir de um determinado ponto. Elas podem incluir retração ou distorção focal do tecido mamário (KOPANS, 2007), ou seja, a orientação das fibras do tecido que geralmente se encaminham para a região do mamilo são desviadas, convergindo para outro foco, ou divergindo deste. Na Figura 4 observa-se dois exemplos de região com DA em mamografias. Figura 4: Exemplos de regiões com distorção arquitetural mamária em exames: (a) Mamografia MLO com indicação de região com DA; (b) DA com linhas radiais e ausência de densidade central. (a). (b). Fonte: (BAKER et al., 2003).. Como a DA pode imitar a aparência normal de tecidos da mama sobrepostos, esse achado pode ser sútil e de alta dificuldade de detecção. Na Figura 5 é possível visualizar recortes de tecido normal e com DA que se assemelham bastante. Diferentemente dos nódulos e microcalcificações, a presença da DA não é normalmente acompanhada de um foco de aumento na densidade. Sua ocorrência pode se dar em estágios iniciais da formação de um câncer (BANIK; RANGAYYAN; DESAUTELS, 2011). Ela é um achado preocupante que chega a representar malignidade em metade a dois terços dos casos em que foi reportada (MATSUBARA et al., 2004). Também pode ter causas benignas, como sendo proveniente de traumas no tecido e cicatrizes. Com seu caráter sútil e potencial malígno, a DA tem sido.

(39) 2.1. CAD em Exames de Mamografia. 37. causa comum de falsos negativos em exames de rastreio (BAKER et al., 2003). Em alguns casos sua presença é despercebida tanto por radiologistas como por sistemas de auxílio diagnóstico (BANIK; RANGAYYAN; DESAUTELS, 2011). Figura 5: (a) e (b): exemplos de recorte de imagem de mamografia de tecido normal e em (c) e (d): recortes com presença de DA. Percebe-se nesses casos uma diferença sútil entre o tecido com ausência e com presença da anomalia. (a). (b). (c). (d). Fonte: do autor, 2019.. 2.1.1.1. Trabalhos Correlatos. A Tabela 1 lista trabalhos relevantes na detecção da DA em mamografias. São apresentados os resultados em taxa de falsos positivos (FP), sensibilidade e AUC (Area Under the Curve), métricas explicadas em detalhes no Capítulo 4. Com exceção de Oliveira et al. (2017) e Kooi et al. (2017), os demais trabalhos utilizaram mamogramas digitalizados, grande parte proveniente da base de dados pública DDSM (Digital Database for Screening Mammography) (HEATH et al., 2000), e também foi utilizada o banco de imagens da Mammographic Image Analysis Society (SUCKLING et al., 1994). Jasionowska et al. (2010), Murali, Dinesh et al. (2011), Kamra et al. (2016), Liu et al. (2017) realizaram o treinamento do classificador para distinguir regiões de interesse (Region of Interest (ROI)) entre presença de DA ou ausência da lesão. Tais regiões eram extraídas manualmente baseadas em avaliação por um radiologista. Em vista a contornar a etapa de seleção das ROIs com intervenção humana, Nemoto et al. (2009), Rangayyan et al. (2013), Nemoto et al. (2009) e Oliveira et al. (2017) investiram na tarefa de localização das regiões com suspeita. O resultado apresentado por Oliveira et al. (2017) foi obtido com ROIs do banco de imagens também utilizado no presente trabalho. Em seu trabalho foi desenvolvido um sistema padrão de classificação, com etapas de descrição e classificador Perceptron multicamadas. Diversos descritores de textura foram avaliados. Na tarefa de classificação binária entre tecido normal e com DA fora utilizadas 200 imagens, das quais 70% foram utilizadas para treino da rede..

(40) 38. Capítulo 2. Diagnóstico Assistido por Computador (CAD). Tabela 1: Trabalhos relevantes em detecção de distorção arquitetural mamária. Resultados são resumidos em termos de falsos positivos (por imagem (FPpI) ou por paciente (FPpP)), sensibilidade e área abaixo da curva ROC (AUC), quando disponível. DDSM refere-se à Digital Database for Screening Mammography; MIAS refere-se ao banco de imagens da Mammographic Image Analysis Society. Autor. Ano. Nemoto et al.. 2009. Jasionowska et al.. 2010. Murali et al.. 2011. Rangayyan et al.. 2013. Kamra et al.. 2015. Casti et al.. 2016. Liu et al.. 2017. Oliveira et al.. 2017. Kooi et al.. 2017. Base de Dados 25 mamogramas digitalizados c/ DA 292 ROIs do DDSM (34 com DA) 291 ROIs do DDSM e do MIAS (165 com DA) 158 mamogramas digitalizados (106 pré-câncer) 348 ROIs do DDSM e do MIAS (165 com DA) 116 mamogramas do DDSM (69 c/ DA malígna) 138 ROIs do DDSM (69 com DA) 400 ROIs FFDM (200 com DA) 44090 FFDM para treino e 18182 FFDM para teste. FP. Sensibilidade. AUC. 0,8 FPpI. 80%. NA. 0,86 FPpI. 68%. NA. NA. 94%. 0,90. 3,4 FPpP. 80%. NA. NA. 93%. 0,95. 5,41 FPpI. 81%. NA. NA. 92%. NA. NA. NA. 0,97. NA. NA. NA. Fonte: Adaptado de Oliveira et al. (2019). Em Kooi et al. (2017) utilizou-se CNN para classificação de lesões mamárias em FFDM e obteve uma taxa de êxito superior ao sistema CAD "estado da arte"na mesma tarefa(HUPSE et al., 2013). Embora tenha-se incluído a identificação da DA, a taxa específica de detecção a ela associada não foi avaliada pois o sistema apenas classificou entre lesão maligna, tecido normal ou lesão benigna. Além disso, outras características foram associadas ao vetor final para a camada de classificação(KOOI et al., 2017)..

(41) Capítulo. 3. Ferramentas de Aprendizagem de Máquinas 3.1. Deep Learning. Em 2006, o aprendizado de máquina em profundidade, mais conhecido como deep learning, emergiu como uma área promissora para a pesquisa em aprendizado de máquina. Durante os últimos anos, as técnicas desenvolvidas com essa pesquisa geraram um impacto em um vasto campo de processamento de sinais e informações, tanto no âmbito do que já se conhecia como em novos métodos em aprendizagem de máquina e inteligência artificial. Atualmente, tem emergido como a ferramenta de aprendizado de máquina líder nos domínios de visão computacional e imagens (GREENSPAN; GINNEKEN; SUMMERS, 2016). Uma série de eventos e tutoriais tem se focado no estudo e aplicação desse método nos últimos anos, dentre eles o Neural Information Processing Systems Foundation Inc. Workshop e o International Conference on Machine Learning Workshop (DENG; YU et al., 2014). Esse método tem atraído a atenção da comunidade científica e industrial. Empresas como Google, Microsoft, Apple, IBM, entre outras, têm investido em métodos de aprendizado multicamadas. O primeiro grande mercado atingido foi o de sistemas para reconhecimento de voz (BENGIO, 2013). As técnicas convencionais de aprendizado de máquina são limitadas em sua habilidade de processar dados em sua forma mais bruta. Por décadas, construir um sistema de reconhecimento de padrões ou de aprendizado de máquinas necessitava uma engenharia meticulosa e um domínio considerável das técnicas para implementar um extrator de características que transformasse essas informações brutas em representações aceitáveis ou vetores de característica que fossem compreendidas pelo subsistema de aprendizagem, como o classificador. Além disso, cada situação responderá melhor com um determinado extrator. Uma das vantagens dos métodos com deep learning é simplificar todo o processo clássico de detecção, extração e classificação para padrões, o substituindo por um pro-.

(42) 40. Capítulo 3. Ferramentas de Aprendizagem de Máquinas. cedimento de aprendizagem geral que permite mais níveis de abstração das informações, substituindo inclusive várias etapas na realização de um sistema CAD (LECUN; BENGIO; HINTON, 2015). O aprendizado de representações é um conjunto de métodos que permite as máquinas serem alimentadas com informação bruta e a partir delas descobrir representações necessárias para a caracterização desejada. Os métodos de deep learning são redes neurais artificiais aperfeiçoadas com mais camadas que permitem aprendizado de representação em múltiplos níveis, obtidas com estruturas não-lineares que transformam as representações de nível mais baixo em representações mais abstratas (GREENSPAN; GINNEKEN; SUMMERS, 2016). Uma das implicações do uso dessas arquiteturas é a necessidade de se alimentar a rede com uma grande quantidade de informações para se obter um aprendizado satisfatório. Uma alternativa é o uso de transfer learning, ou seja, passar o conhecimento aprendido por uma rede em um determinado banco de dados, para outra rede onde as características serão refinadas para aquele conjunto de dados ou tarefa(YOSINSKI et al., 2014). Existem duas abordagens para a realização dessa transferência, a primeira consiste em passar as respostas das camadas superiores da rede para outro classificador, geralmente de outro tipo. E a segunda maneira consiste em re-treinar as últimas camadas, sem interferir nas outras, ou seja, conservar as primeiras camadas de abstração da outra rede que serviu para realizar as primeiras abstrações. Neste último caso, pode-se escolher por realizar a retropropagação do erro da nova aplicação até as características das camadas base que foram copiadas, de maneira a ajustá-las e afiná-las para a nova aplicação. Tal procedimento é mais conhecido pelo termo em inglês fine-tune (RAZAVIAN et al., 2014). Essas técnicas são utilizadas para evitar que o sistema seja mal ajustado quando há uma quantidade insuficiente de dados para treiná-lo desde o início, e também evitar um treinamento exaustivo já que não serão todos os pesos das camadas que terão de ser aprendidos (YOSINSKI et al., 2014). Uma outra maneira de lidar com a pequena quantidade de exemplos para o treinamento é o aumento da base de dados por meio de algumas estratégias de variação das entradas conhecidas como data augmentation. Tal procedimento consiste na aplicação de transformações na imagem base que produzam variações, garantindo-se ao mesmo tempo que a classe continue inalterada (CHATFIELD et al., 2014). Algumas das possíveis transformações são: espelhamento da imagem em ambos os eixos, rotação, deformação elástica, adição de ruído, realização de cortes da imagem original de maior resolução (se disponível), translação, entre outras técnicas (PONTI et al., 2017). Diversos trabalhos apresentaram as operações utilizadas para o aumento da quantidade de dados e obtiveram resultados satisfatórios, mesmo com conjuntos iniciais pequenos (PEREZ et al., 2018; NAZARÉ et al., 2017; CHATFIELD et al., 2014). Além do procedimento lidar com a restrição da quantidade de amostras, também aumenta a capacidade de generalização do modelo, tornando-o mais.

(43) 3.1. Deep Learning. 41. resiliente a mudanças na qualidade e variações em dados futuros (NAZARÉ et al., 2017). A utilização do data augmentation nos conjuntos de validação e teste é controversa, pois gera amostras ambíguas na avaliação do modelo, e com isso, pode gerar resultados superestimados. Por outro lado, há quem o realize nos demais conjuntos para se obter uma estimativa do quanto a adição dos novos dados complicaria a tarefa de classificação, e assim, se obteria uma taxa de acerto que traduziria esse cenário (NAZARÉ et al., 2017; PEREZ et al., 2018).. 3.1.1. Redes Neurais Convolucionais. Uma das arquiteturas profundas mais conhecidas é a Rede Neural Convolucional (CNN: Convolutional Neural Networks) (LECUN; BENGIO; HINTON, 2015). Ela é uma rede discriminativa formada basicamente por módulos sobrepostos com camadas de convolução e agrupamento (DENG, 2014). A utilização desse conceito foi utilizada em processamento de imagens médicas de mamografia em 1996 para a análise de regiões de interesse descriminando entre a presença de nódulos ou tecido normal (SAHINER et al., 1996). O treinamento porém, era computacionalmente intensivo na época onde não se tinha um avanço de GPU’s. Com as novas tecnologias e tendo a CNN um algoritmo bastante paralelizável, se tornou cada vez mais prático implementá-la, com uma performance 40 vezes mais rápida hoje em dia (GREENSPAN; GINNEKEN; SUMMERS, 2016). Com o objetivo de entender seu funcionamento, é importante recordar alguns dos conceitos das Redes Neurais Artificiais (RNA) em geral. Segundo Silva, Spatti e Flauzino (2010), as RNA’s são modelos computacionais inspirados no sistema nervoso de seres vivos. Elas possuem a capacidade de aquisição e manutenção do conhecimento (baseado em informações) e podem ser definidas como um conjunto de unidades de processamento, caracterizadas por neurônios artificiais, que são interligados por um grande número de interconexões, representadas por vetores ou matrizes de pesos sinápticos. Dentre suas características principais, a RNA possui adaptação por experiência, ou seja, a atualização de seus parâmetros é realizada por apresentação sucessiva de exemplos relacionados ao comportamento do processo, possibilitando a aquisição do conhecimento por experimentação. Após o seu treinamento, a rede é capaz de generalizar o conhecimento adquirido, possibilitando estimar soluções que eram até então desconhecidas. O processo de treinamento utiliza o valor do erro encontrado na saída para corrigir os pesos da rede, repassando esse valor para todas as camadas por meio de sua derivada parcial relativa a cada parâmetro. Esse processo é conhecido como retropropagação do erro ou descida de gradiente. Outro termo utilizado no processo de treinamento é a época. Cada época equivale a atualização dos parâmetros da rede após a aplicação de todas as amostras de treino em sua entrada. Várias épocas podem ser necessárias para a convergência da rede (SILVA; SPATTI; FLAUZINO, 2010)..

(44) 42. Capítulo 3. Ferramentas de Aprendizagem de Máquinas. Como estrutura mais básica, a RNA é formada por estruturas chamadas de neurônios. Cada neurônio possui um conjunto de entradas que são ponderadas por fatores conhecidos por pesos sinápticos. As entradas são agregadas por combinação linear e produzem um valor de potencial de ativação, que para ser relevante, necessita atingir um patamar apropriado conhecido como limiar de ativação. Caso o limiar não seja atingido, significa que as entradas não atingiram um nível de relevância e consequentemente não produzem resposta no neurônio. Em seguida, a diferença entre a saída da combinação linear e o limiar de ativação é passada por uma função de ativação que tem por objetivo limitar a saída do neurônio dentro de um intervalo de valores razoáveis ou desejados. Há várias funções que são utilizadas neste caso, dentre elas, a função degrau, rampa, logística, tangente hiperbólica e gaussiana (SILVA; SPATTI; FLAUZINO, 2010). Dois exemplos muito comuns de função de ativação são visualizadas na Figura 6. Figura 6: Exemplos de funções de ativação: (a) função tangente hiperbólica e (b) função logística. (b). (a). Fonte: (PONTI et al., 2017).. A arquitetura e a topologia de uma rede neural são fatores determinantes para se obter um comportamento e desempenho desejado. A arquitetura de uma RNA define a forma como os seus neurônios constituintes estão arranjados. Esses arranjos são essencialmente estruturados por meio do direcionamento das conexões sinápticas. A topologia, dada uma determinada arquitetura, pode ser definida como sendo as diferentes formas de composições estruturais que ela pode assumir, como número de neurônios e funções relacionadas a eles. De maneira básica, a rede neural pode ser dividida em três partes, a camada de entrada, onde se recebem os dados de entrada, as camadas intermediárias ou escondidas, que são responsáveis por extrair as características associadas ao processo, e a camada de saída, que produz e apresenta os resultados finais da rede (SILVA; SPATTI; FLAUZINO, 2010). A Figura 7 apresenta um exemplo de diagrama de RNA do tipo Perceptron multicamadas com as camadas citadas..

(45) 3.1. Deep Learning. 43. Figura 7: Diagrama de uma rede Perceptron multicamadas.. Fonte: Adaptado de Shen, Wu e Suk (2017).. Ao se analisar a arquitetura da CNN, ela é basicamente composta por camadas de convolução e agrupamento (ou do inglês pooling) alternadas e camadas de neurônios totalmente conectados, das quais se obtêm a saída da rede com probabilidades de se pertencer a cada classe envolvida. Um fluxograma simplificado das etapas da CNN é apresentado na Figura 8, onde as etapas intermediárias são repetidas para cada nível de abstração que se deseja realizar. Um esquema geral de exemplo de rede convolucional para reconhecimento de dígitos é apresentado na Figura 9. Sua etapa de agrupamento foi referenciada como subamostragem. Figura 8: Fluxograma simplificado de uma rede CNN.. Fonte: do autor, 2019.. As entradas da rede são imagens de mesmo tamanho (para que a dimensão dos códigos gerados seja igual ao longo da rede) que não necessitam necessariamente serem de largura e altura iguais. Seus valores devem ser normalizados para que as saídas dos neurônios não.

(46) 44. Capítulo 3. Ferramentas de Aprendizagem de Máquinas. Figura 9: Diagrama da arquitetura de uma rede CNN utilizada para classificação de dígitos.. Fonte: Adaptado de Peemen, Mesman e Corporaal (2011).. saturem e que a informação possa fluir ao longo da rede (SILVA; SPATTI; FLAUZINO, 2010). Além disso, podem ser aplicados múltiplos canais de entrada, ou seja, diferentes mapas de característica referentes a uma mesma imagem, como por exemplo, os três canais de cores RGB de uma imagem (PONTI et al., 2017). A convolução, segundo Gonzalez e Woods (2010), é definida como um processo de mover uma máscara rotacionada de 180o pela imagem e calcular a soma dos produtos em cada posição. De maneira a exemplificar, tomemos o filtro representado pela máscara da Figura 10. A resposta característica 𝑅 da máscara para a convolução é representada pela Equação 1, onde os valores de 𝑤 são os coeficientes do filtro e os valores de 𝑧 são as intensidades correspondentes da imagem que estão cobertas pelo filtro. Como o processo atinge uma limitação nas bordas da imagem pela falta de informação completa da vizinhança, é possível realizar o preenchimento das bordas para se obter uma imagem de saída de mesma dimensão, esse preenchimento pode ser com valor 0, utilizando simetria, copiando-se os valores das bordas, entre outros métodos (GONZALEZ; WOODS, 2010).. 𝑅 = 𝑤1 𝑧1 + 𝑤2 𝑧2 + ... + 𝑤9 𝑧9 𝑅=. 9 ∑︁. (1) 𝑤𝑘 𝑧𝑘. 𝑘=1. Na camada de convolução da rede, o mapa de característica de entrada (termo mais geral, visto que existem diversas camadas) é convolucionado por um banco de filtros que possui o mesmo tamanho entre eles, onde cada valor do filtro é um peso, e assim, um parâmetro da rede a ser aprendido. O processo de convolução pode ser ajustado quanto ao passo do filtro sobre a imagem, o seu tamanho e o tipo de preenchimento de.