XXII Seminário Nacional de Distribuição de Energia Elétrica SENDI 2016 - 07 a 10 de novembro
Curitiba - PR - Brasil
Francisco Fambrini
Unicamp - Universidade Estadual de Campinas
ffambrini@gmail.com
Segmentação Automática de Imagens Térmicas Fotográficas da Rede de Distribuição de Energia Elétrica Baseada no Algoritmo JSEG
Palavras-chave Diagnóstico Automático Infravermelho Manutenção Preventiva Processamento de Imagens Segmentação JSEG Termografia Resumo
Um sistema automático de segmentação para imagens térmicas, obtidas a partir de câmeras de termovisão, é proposto neste artigo. A termografia infravermelha é usada habitualmente para fazer inspeções em linhas de distribuição de energia elétrica, com auxílio de um operador humano, que normalmente é responsável por operar todo o equipamento, selecionar os pontos com maior aquecimento na imagem (correspondentes aos locais que necessitam de manutenção), fazer os relatórios e acionar a equipe técnica que efetuará os reparos. Um sistema automático de diagnóstico é proposto com a finalidade de substituir a operação manual, utilizando-se recursos de Processamento de Imagens, cuja primeira etapa é a utilizando-segmentação. Um método de utilizando-segmentação para imagens térmicas conhecido como JSEG é implementado e testado como primeira etapa deste sistema, baseado em métodos estatísticos e técnicas de processamento morfológico de imagens.
A termografia é uma técnica de inspeção não destrutiva e não invasiva que tem como base a detecção da radiação infravermelha, emitida naturalmente pelos corpos com intensidade proporcional à sua temperatura. Através dessa técnica é possível identificar regiões, ou pontos (chamados de hotspots, em inglês), onde a temperatura está alterada com relação a um padrão pré-estabelecido. É baseada na medida da radiação eletromagnética emitida por um corpo a uma temperatura acima do zero absoluto(1)(2).
Com a finalidade de automatizar o processo de inspeção das redes de energia por meio de termografia, é proposto neste trabalho um algoritmo para segmentação de imagens térmicas, utilizando as propriedades de cores distintas e de texturas distintas presentes nas imagens de formato ".jpg radiométrico" fornecidas pelas câmeras de termovisão, servindo também para quaisquer outros formatos de imagem.
2. Desenvolvimento
O Algoritmo implementado, testado e descrito neste trabalho é conhecido na literatura especializada em processamento de imagens como JSEG. Foi desenvolvido e apresentado inicialmente por Yining, Manjunath et al. (3) em 2001. A idéia principal do JSEG é separar o processo de segmentação em duas fases, processadas ??de modo independente: quantização de cores e segmentação espacial.
2.1. Quantização de cores
Nesta primeira fase, as cores da imagem são quantizadas para diversas classes representativas,que podem ser usadas ??para diferenciar as regiões da imagem. Essa quantificação é realizada apenas no espaço de cor, sem considerar as distribuições espaciais.
Depois disso, as cores dos pixels da imagem são substituídas pelos chamados rótulos de classe, de acordo com a cor correspondente, formando, assim, um mapa de classe da imagem.
2.2. Segmentação Espacial
O foco principal deste trabalho é a segmentação espacial, onde é proposto um critério de "boa segmentação" usando o mapa de classes (Class_Map) da etapa anterior.
Aplicando o critério de janelas locais no mapa de classe, obtemos a "imagem-J", em que valores altos e baixos
correspondem aos possíveis limites e interiores das regiões de cor (separadas por texturas diferentes). Um método de crescimento de região é então utilizado para segmentar a imagem com base nas imagens multi-J-escala.
As Imagens-J correspondem às medidas de homogeneidade local em diferentes escalas, as quais podem indicar potenciais localizações de contornos.
Uma região é uma parte da imagem composta de um conjunto de pixels que tem certo grau de similaridade. Nos métodos de segmentação baseados em regiões, assume-se que os pixels vizinhos de uma região tem um valor similar. O procedimento comum é comparar um pixel com seus vizinhos e então agrupá-los de acordo com um critério de similaridade.
A segmentação não supervisionada de cor e textura consiste em considerar a disposição espacial dos pixels usando uma técnica de crescimento de regiões baseada em operadores morfológicos mediante a qual um modo de
homogeneidade é definido com pixels agrupados na região segmentada. Por outro lado, deve-se considerar diferentes escalas de imagens.
O algoritmo JSEG segmenta imagens em pseudo-cor produzidas pelas câmeras de termovisão do fabricante FLIR de forma apropriada, sem ajuste de parâmetros manuais para cada imagem e simplifica a textura e cor. A segmentação com esse algoritmo passa por três sub-etapas, chamadas de quantificação do espaço de cor, taxa de acertos em regiões e mistura de regiões com cores similares (3).
Para esse enfoque assume-se que cada região na imagem possui uma distribuição uniforme de padrões de cor e textura. A informação de cor de cada imagem pode ser representada por contagem das cores. Em geral, para a maioria de imagens coloridas de cenas naturais, as cores entre regiões vizinhas podem ser diferenciadas.
Na primeira etapa, o espaço de cores é quantizado com pouca degradação usando o algoritmo perceptivo de quantização (4). O objetivo dessa etapa é definir as regiões da imagem utilizando um mínimo de cores.
Cada cor é associada a uma classe. Na imagem original temos pixels substituídos pelas classes, o que dá origem ao mapa de classes que será usado na próxima etapa.
Antes de realizar o crescimento de regiões (usando operadores morfológicos), a J-imagem deve ser criada. Os valores dos pixels da J-imagem serão usados como critério de similaridade pelo algoritmo de crescimento de região. Os valores dos pixels da J-imagem são chamados de valores J e são calculados a partir de uma janela posicionada sobre a imagem quantizada, em que o valor J a ser calculado é o do pixel no centro da janela. Para calcular o valor J, primeiro define-se Z como o conjunto de todos os pontos da imagem quantizada, então faz-se z = (x, y), com z ? Z e m sendo a média de todos os elementos em Z. C é o número de classes obtido na quantização. Então, Z é classificado em C classes. Os Zi são os elementos de Z que pertencem à classe i, em que i = 1,..., C; mi são as médias dos elementos em Zi. O valor J é dado pelas equações (1), (2) e (3) como se segue:
onde: St representa a soma dos pontos de imagem quantizados considerando-se o desvio padrão em todos Z elementos. Desse modo, a relação entre Sb e Sw, denota a medidas de distâncias desta relação de classe para distribuições de classe não-lineares arbitrárias. Sw é um estimador que calcula o desvio padrão em todos os elementos da imagem. A distância e, consequentemente, o valor de J, diminui para imagens que possuem classes de cor mais uniformes. Maiores informações podem ser obtidas no livro citado em (9). O trecho de código na Figura 1 mostra como o valor do estimador J foi calculado, utilizando-se o software MATLAB.
São usados diversos tamanhos de janelas: as maiores detectam as fronteiras de regiões com texturas, as menores detectam mudanças de cores e de intensidade da luz.
Cada tamanho de janela está associado a uma escala de análise da imagem. O conceito de J-imagem, juntamente com as diversas escalas, viabiliza a segmentação de regiões com texturas.
As regiões da J-imagem com os menores valores são chamadas de vales. Os menores valores são encontrados com uma heurística proposta pelos autores do trabalho (4).
Assim, é possível determinar os pontos iniciais do crescimento de forma eficiente. Então, o algoritmo agrega as regiões que são mais semelhantes aos vales. O fim do algoritmo ocorre quando não há mais pixels para serem agregados às regiões.
A J-imagem é recalculada para cada uma das novas regiões com uma janela menor que a usada anteriormente.
Após o uso da menor janela o algoritmo agrupa as regiões com cores semelhantes. Este algoritmo necessita de apenas três parâmetros para funcionar. O primeiro, o limiar do algoritmo de quantização das cores, está relacionado ao número de conjuntos em que as cores são agrupadas. O segundo, número de escalas, influencia como o JSEG trata os detalhes das imagens. O último parâmetro é o limiar usado pelo algoritmo que agrupa as regiões com cores semelhantes.
Além desses parâmetros é necessário definir a resolução espacial das imagens. Como uma das classes corresponde aos pontos de temperatura mais alta na imagem, faz-se necessário escolher uma resolução que possibilite ao algoritmo JSEG separar os pontos mais quentes ("hotspots") das demais regiões segmentadas.
Como a segmentação da imagem é um processo subjetivo, escolher os parâmetros ótimos é tarefa difícil, por isso, os parâmetros e a resolução da imagem neste trabalho são escolhidos manualmente com o auxílio da inspeção visual das imagens segmentadas e previamente ajustados no software.
imagens térmicas a serem analisadas.
2.4. Vantagens e características do JSEG a) É um algoritmo Multiescalas;
b) Trabalha diretamente com imagens coloridas, de dimensões (m x n x D) onde D=3 (Red, Green, Blue); c) Não faz transformações para níveis de cinza; Utiliza texturas de cores, fazendo agrupamentos em regiões de texturas similares. O agrupamento é feito usando-se Classificação Não-Supervisionada (K-Means
modificado, que é Algoritmo LBG de Lloyd, ref . (5) ). d) Utiliza janelas circulares para calcular os valores de J;
e) J é um parâmetro que mede a similaridade de texturas coloridas dentro de uma região.
3. Metodologia e implementação
Neste projeto, foi utilizada uma câmera de termovisão modelo A-615 do fabricante FLIR. Para a implementação inicial, totalmente baseada no artigo (3) citado nas referências bibliográficas, foi utilizado o software MATLAB por questões de facilidade, mesmo sacrificando-se a velocidade de processamento. O método consta de dois passos independentes, conforme já foi explicado: (a) Quantização de cores e (b) Segmentação espacial.
Na etapa (a), as cores da imagem são quantizadas para diversas classes representativas que podem ser usadas para diferenciar as regiões na imagem.
Os pixels da imagem são substituídos por labels correspondendo à classes de cores, formando um mapa de classe da imagem (“class-maps”).
Nesta implementação, é proposto um critério para boa segmentação espacial usando o mapa de classes, através do cálculo do valor de J. A “Imagem-J “ é obtida aplicando-se este critério para janelas locais no mapa de classes. A Figura 2 ilustra um trecho do código utilizado para calcular o Mapa de Classes, que utiliza uma variante do algoritmo K-means.
4. Resultados Experimentais
Alguns resultados da aplicação do algoritmo JSEG em imagens de termovisão são mostrados a seguir. A possibilidade de se ajustar no software janelas de diferentes tamanhos para cálculo dos valores de J, permite que diferentes escalas de segmentação sejam efetuadas. Nos testes, foram utilizadas 4 escalas distintas, utilizando-se janelas circulares de tamanhos 9x9, 17x17, 33x33 e 65x65 pixels por raio. A Figura 3 mostra os resultados da segmentação da imagem térmica nas 4 escalas.
Pode-se observar que a região onde a temperatura é maior aparece na cor branca (mais clara) e é segmentada corretamente na escala 3 (Figura 3-C). A Figura 4 mostra outra imagem térmica: cabos com o conector de emenda (Ampact©), onde ocorre um aquecimento anormal, provavelmente devido a problemas de aplicação no terminal ou oxidação devido ao tempo. A imagem térmica denuncia o hotspot e o algoritmo se mostrou eficiente ao realizar a segmentação da região de maior temperatura.
A fotografia mostrada na Figura 4 foi feita com câmera de termovisão da marca FLIR, modelo A-615, equipada com lentes de 7 graus. Novamente, as regiões em branco (cores mais claras) correspondem as de mais alta temperatura na imagem. O resultado da aplicação do algoritmo de segmentação é mostrado na Figura 5, onde os objetos de interesse estão em destaque e com os contornos bem definidos.
Os próximos passos no desenvolvimento deste trabalho incluem estabelecer um nível de threshold mínimo para
segmentação, de modo a segmentar somente as regiões da imagem que possuem temperatura acima de um limiar pré-estabelecido no software, bem como desenvolver um algoritmo para reconhecimento de padrões, capaz de diferenciar os diferentes objetos elétricos mostrados nas imagens, de modo automático. O objetivo final é desenvolver um sistema totalmente automatizado para detecção e identificação de hotspots em imagens termográficas de redes de distribuição de energia elétrica, de modo a automatizar o trabalho de inspeção preventiva.
3. Conclusões
O Algoritmo JSEG descrito neste documento é robusto, complexo e bem elaborado. Faz uso de diversas técnicas tais como: classificação não-supervisionada logo na primeira etapa e análise de cores e texturas de imagens de 24 bits RGB, sem converter as imagens para escalas de cinza; classificação utilizando uma variante do algoritmo K-means,
morfologia matemática para o crescimento de regiões e introduz um novo conceito de transformação, chamada pelos autores de "transformação J", levando a imagem originalmente definida no domínio espacial para o espaço das texturas e cores. Não envolve histograma e não utiliza derivadas para detectar bordas;
O método é excelente para imagens de cenas naturais (natureza) envolvendo diferentes texturas e diferentes cores, mostrando-se também adequada para segmentar imagens em pseudo-cores fornecidas pelas câmeras de termovisão fabricadas pela FLIR; O método não é adequado para imagens originalmente em escala de cinza ou para imagens preto-e-branco ou binárias;
No espaço das J-Images (Transformação J ) pode-se identificar visualmente os Vales e as Colinas, que servirão para se fazer o crescimento de regiões e a posterior segmentação usando-se Morfologia Matemática.
A implementação foi feita em MATLAB e é de execução bastante lenta (devido à técnica empregada, que envolve a colocação de uma semente no interior da região e seu progressivo crescimento, através de operadores morfológicos), o que inviabiliza o uso deste software para a versão definitiva deste projeto: uma outra implementação, escrita em
linguagem C está sendo desenvolvida, e mostra execução bastante mais rápida.
Um possível aperfeiçoamento seria implementar este mesmo método por hardware, programando-se um dispositivo tal como um FPGA para executar a segmentação da imagem, acelerando em muito a velocidade de processamento.
4. Referências bibliográficas
[1] Maldague, X. P. V. “Nondestructive Evaluation of Materials by Infraren Thermography”, Srping – Verlag, Alemanha, 1993, 207p.
[2] Dereniak, E. L. eBoreman, G. D., “Infrared Detectors and Systems”, A Wiley Interscience Publication, EUA, 1996, 553p.
[3] Yining D.,Manjunath B.S., "Unsupervised Segmentation of Color-Texture Regions in Images and Video", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 8, AUGUST 2001.
[4] B. S. Manjunath and H. Shin, “Color image segmentation,” Proceedings. 1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Cat. No PR00149), pp. 446–451.
[5] Y. Deng, C. Kenney, M.S. Moore, and B.S. Manjunath, “Peer Group Filtering and Perceptual Color Image Quantization”.
[6] Nikos Vlassis & Sjaak Verbeek, 2001, http://www.science.uva.nl/~jverbeek, acesso disponivel em Setembro de 2014 na internet.
[7] Neves, S. R.; Silva E. A. B. e Vieira G. V., “Wavelet-Watershed Automatic Infrared Image Segmentation Method”, Electronic Letters, Vol. 39, Issue 12, pp. 903-904, June 2003.
[8] Neves, S. R.; Silva E. A. B. e Vieira G. V., “Método Automático de Segmentação de Alvos em Infravermelho, utilizando Wavelets e Watersheds”, Pesquisa Naval, Vol. 17, 2004.
[9] Luciano C. L., Tronco M. L. and Porto A. J. V. " JSEG Algorithm and Statistical ANN Image Segmentation Techniques for Natural Scenes", chapter 18, Engineering School of Sao Carlos, University of Sao Paulo (EESC/USP), Sao Carlos, Sao Paulo, Brazil.
