Faculdade de Engenharia Elétrica e de Computação
ABEL ALEJANDRO DUEÑAS RODRIGUEZ
PROPOSTA DE UM MÉTODO DE PÓS-PROCESSAMENTO E DESCARTE DE IMAGENS PARA UM SISTEMA DE MANUTENÇÃO TERMOGRÁFICA DE REDES
DE DISTRIBUIÇÃO ELÉTRICA.
CAMPINAS
ABEL ALEJANDRO DUEÑAS RODRIGUEZ
Proposta de um método de pós-processamento e descarte de imagens para um sistema de manutenção termográfica de redes de distribuição elétrica.
Tese apresentada à Faculdade de Engenharia Elétrica e de Computação da Universidade Es-tadual de Campinas como parte dos requisitos exigidos para a obtenção do título Doutor em Engenharia Elétrica, na Área de Telecomunica-ções e Telemática.
Orientador: Prof. Dr. Yuzo Iano
Este trabalho corresponde à versão final da tese defendida pelo aluno Abel Alejandro Dueñas Rodriguez orientada pelo(a) Prof. Dr. Yuzo Iano
Assinatura do Orientador
CAMPINAS 2020
COMISSÃO JULGADORA – TESE DE DOUTORADO
Candidato: Abel Alejandro Dueñas Rodriguez, RA 151561
Data da Defesa: 24 de abril de 2020
Título da Tese: “Proposta de um método de pós-processamento e descarte de imagens para um sistema de manutenção termográfica de redes de distribuição elétrica”.
Prof. Dr. Yuzo Iano (Presidente) Dr. Euclides Lourenço Chuma Prof. Dr. Ricardo Barroso Leite
Prof. Dr. Vicente Idalberto Becerra Sablón Prof. Dr. Carlos Eduardo Câmara
A ata de defesa, com as respectivas assinaturas dos membros da Comissão Julgadora, encon-tra-se no SIGA (Sistema de Fluxo de Dissertação/Tese) e na Secretaria de Pós-Graduação da Faculdade de Engenharia Elétrica e de Computação.
AGRADECIMENTOS
Agradeço aos meus pais Abel e Martha, que me deram sua dedicação, amor e apoio, essenciais para conseguir realizar todas as minhas realizações.
A minha família, pela ajuda, compressão e suporte em todas as etapas da minha vida. Ao Prof. Yuzo Iano cuja paciência, orientação e sabedoria me permitiram realizar este trabalho.
Aos meus amigos e colegas do Laboratório de Comunicações Visuais (LCV) e da pós-graduação, pela amizade e sugestões na pesquisa.
À equipe da Kasco P&D, cuja parceria e amizade foi componente fundamental nos anos do Doutorado.
À ANEEL (Agência Nacional de Energia Elétrica) e a CPFL (Companhia Paulista de For-ça e Luz), cujo convênio permitiu acesso a dados fundamentais para o desenvolvimento deste trabalho.
O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001.
RESUMO
Atualmente, a ANEEL (Agência Nacional de Energia Elétrica), na procura de minimi-zar a possibilidade de problemas no serviço de fornecimento de energia, exige uma série de procedimentos de inspeção física das redes às empresas responsáveis pela distribuição. As-sim, segundo os procedimentos estabelecidos, as empresas têm como exigência realizar mi-nimamente a cada três anos a manutenção preventiva na totalidade da rede primária na cidade pelas quais são responsáveis.
Sendo que o método padrão de manutenção preventiva em componentes elétricos é feito mediante inspeção termográfica, no ano 2016 iniciou-se um projeto na procura de auto-matizar o procedimento de verificação e análises termográfica da rede elétrica nas cidades. O projeto, de código PD-0063-3014/2016, resultado de um convenio de pesquisa e desenvolvi-mento entre a UNICAMP (Universidade Estadual de Campinas) e a CPFL (Companhia Pau-lista de Força e Luz), com financiamento da ANEEL, realiza análises automáticas dos ele-mentos da rede de maneira rápida e confiável mediante processamento de imagens e inteli-gência artificial.
No presente trabalho, propõe-se uma etapa de pôs-processamento e descarte para o sis-tema, a qual é responsável por analisar todos os dados colhidos na inspeção, e determinar quais deles podem ser dispensados sem reduzir a qualidade de informação fornecida, além de organizá-los e compactá-los antes de subi-los no dashboard do projeto. Para isto, fazendo uso de métodos de aprendizado de máquina e processamento de imagens, o algoritmo proposto atinge uma taxa de redução de 87 % dos dados colhidos na inspeção, o que melhora direta-mente na usabilidade desses dados para os funcionários, os quais vêm facilitada sua tarefa na hora de tomar decisões em relação â manutenção da rede.
Palavras-chave: Aprendizado de máquina; Termografia infravermelha; Aprendizado profun-do; Distribuição de energia elétrica.
ABSTRACT
Currently, the ANEEL (National Electric Energy Agency by its initialism in Portu-guese), in order to minimize the possibility of problems in the energy supply service, requires a series of physical inspection procedures for the networks in charge of the distribution com-panies. Thus, according to established procedures, companies are required to carry out pre-ventive maintenance at least every three years in the entire primary network in the city for which they are responsible.
Since the standard method of preventive maintenance in electrical components is through thermographic inspection, in 2016 a project began to automate the procedure of veri-fication and thermographic analysis of the electrical network in cities. The project, code PD-0063-3014 / 2016, result of a research and development agreement between UNICAMP (Uni-versity of Campinas) and CPFL (Companhia Paulista de Força e Luz), with funding from ANEEL, performs an automatic analysis of the network elements quickly and reliably through image processing and artificial intelligence
In the present work, a step of post-processing and discarding information for the sys-tem is proposed, responsible for analyzing all the data collected in the inspection step of an automatic verification system based on a thermographic-optical vision. Thus, and with the data resulting from the collection, determine which of these data can be dispensed without reducing the quality of information provided, in addition to organizing and compacting them before uploading them on the project dashboard. For this, using machine learning and image processing methods, the proposed algorithm achieves a reduction rate of 87% of the data collected in the inspection, which directly improves the usability of this data for employees. In this sense, and with the resumed data, the people responsible for making decisions in the net-work maintenance process, who see task easier.
Keywords: Machine learning; Infrared thermography; Deep learning; Electric Power
LISTA DE ILUSTRAÇÕES
Figura 2.1 - Datas importantes na história da termografia ... 17
Figura 2.2 - Experimento do Sir Frederick William Herschel(VANDENBROUCKE, 2015) . 18 Figura 2.3 - Cumprimentos de onda visível e infravermelho(AKHLOUFI; 2013) ... 19
Figura 2.4 - Aplicações da termografia (FLIR, 2011) ... 19
Figura 2.5 - Imagem visível - térmica ... 20
Figura 2.6 – Emissividade, refletividade e transmissividade(FLIR, 2011) ... 23
Figura 2.7 - Processo de digitalização da imagem ... 25
Figura 2.8 - Imagem em três forma de representação. ... 25
Figura 2.9 - Exemplo de detecção de bordas. ... 27
Figura 2.10 - Melhora de contraste. ... 28
Figura 2.11 - Exemplo de classificação, detecção e segmentação.(OUAKNINE, 2018) ... 29
Figura 2.12 - Detecção de pontos de interesse. ... 30
Figura 2.13 - Método SIFT. ... 31
Figura 2.14 - Descritores calculados usando método SURF ... 32
Figura 2.15 - Descritores calculados usando método FAST ... 32
Figura 2.16 - Descritores calculados usando método BRIEF ... 33
Figura 2.17 - Descritores calculados usando método ORB ... 33
Figura 2.18 - Comparativo de métodos de matching... 34
Figura 2.19 - Rede neural convolucional (SHAHID, 2019) ... 35
Figura 2.20 - Rede convolucional AlexNet (KRIZHEVSKY, 2017) ... 36
Figura 2.21 - Rede convolucional VGG-16 (HASSAN, 2018) ... 37
Figura 2.22 - Rede convolucional YOLO(REDMON et al., 2016) ... 37
Figura 3.1 - Cenário proposto no sistema MVTS ... 40
Figura 3.2 - Arquitetura do sistema usado no MVTS ... 41
Figura 3.3 – Base mecânica de veículo MVTS. ... 42
Figura 3.4 – Aquisição de imagens no veículo MVTS... 43
Figura 3.5 - Calculadora de medidas da FLIR(FLIR, 2013) ... 44
Figura 3.6 - Calculadora de lente RGB(1STVISION, 2018) ... 45
Figura 3.7 - Extração de caraterísticas ... 46
Figura 3.8 – Curva Acurácia por época usando VGG16 ... 48
Figura 3.10 - Benchmark de teste da rede YOLO em relação de outras redes de aprendizado
profundo... 50
Figura 3.11 - Exemplo de postes registrados para o funcionamento da rede. ... 50
Figura 3.12 - Detecção de objetos usando YOLO. ... 51
Figura 4.1 - Exemplo da organização da data fornecida ... 53
Figura 4.2 - Informação contida na pasta 'Imagem' ... 53
Figura 4.3 – Formatos JSON usados no armazenamento de dados. ... 54
Figura 4.4 - Método de descarte proposto ... 55
Figura 4.5 - Verificação na cidade de Campinas ... 57
Figura 4.6 - Resultado de agrupamento geográfico ... 58
Figura 4.7 - Exemplo de registro agrupados geograficamente ... 59
Figura 4.8 – Registros parecidos dentro do cluster. ... 59
Figura 4.9 - Ordem de comparação de registros consecutivos dentro de cada cluster ... 61
Figura 4.10 – Tabelas de controle. ... 62
Figura 4.11 - Registros consecutivos de postes detectados ... 64
Figura 4.12 – Verificação de semelhança em pares de imagens. ... 64
Figura 4.13 – Arquitetura de pastas. ... 65
Figura 4.14 - Comparação de semelhança SIFT ... 66
Figura 4.15 - Processo de calibração ... 68
Figura 4.16 – Comparação de imagens Térmico-Óticas. ... 70
Figura 4.17 - Amostras de postes usada para gerar o segundo o Dataset de elementos ... 72
Figura 4.18 – Dataset de imagens para treinamento. ... 73
Figura 4.19 - Acurácia da rede VGG16 ... 74
Figura 4.20 - Acurácia da rede AlexNet ... 74
Figura 4.21 - Acurácia da rede YOLO para elementos. ... 76
Figura 4.22 - IOU da rede YOLO para detecção de elementos. ... 76
Figura 4.23 - Detecção de elementos em registros consecutivos ... 78
Figura 4.24 – Procura de detecções repetidas. ... 80
Figura 4.25 -Resumo do processo de inspeção ... 81
Figura 5.1 – Primeira amostra de descarte de registros desnecessários. ... 83
Figura 5.2 – Segunda amostra de descarte de registros desnecessários. ... 83
LISTA DE TABELAS
Tabela 3.1 - Resultados dos algoritmos baseados em descrição de caraterísticas ... 47
Tabela 3.2 - Tempo meio de processamento de cada imagem ... 47
Tabela 4.1 - Dataset gerado para detecção de elementos elétricos ... 73
Tabela 4.2 - Tempo de processamento da rede YOLO ... 77
Tabela 5.1 - Resumo de testes realizados em condições reais ... 82
Tabela 5.2 - Questionário preenchido por pessoa responsável do teste ... 84
LISTA DE ABREVIATURAS E SIGLAS
ANEEL Agencia Nacional de Energía Elétrica CPFL Companhia Paulista de Força e Luz GED Gestão de Normas
MVTS Multivision Thermal Scan
IR Infrared
RGB Red, Green, e Blue OPENCV Open Computer Vision NIW Near Infrared
SWIR Short-Wave Infrared MWIR Mid-Wave Infrared LWIR Long-Wave Infrared FOV Field of View
CLAHE Contrast Limited Adaptive Histogram Equalization SIFT Scale Invariant Feature Transform
SURF Speed Up Robust Features DoG Difference of Gaussians LoG Laplacian of Gaussian
FAST Features from Accelerated Segment Test
BRIEF Binary Robust Independent Elementary Features ORB Oriented FAST and Rotated BRIEF
OPENCV Open Computer Vision
FLANN Fast Library of Approximation Nearest Neighbors CNN Convolutional Neural Network
VGGNet Visual Geometry Group Network YOLO You Only Look at Once
LIDAR Light Detection and Ranging GPS Global Positioning System
ISO International Organization of Standardization MSCOCO Microsoft Common Objects in Context IOU Intersection over Union
DBSCAN Density-based Spatial Clustering of Applications with Noise ECC Enhanced Correlation Coefficient
SUMÁRIO
1 INTRODUÇÃO ... 14
1.1 INSPEÇÃO TÉRMICA DE REDES ELÉTRICAS ... 14
1.2 OBJETIVOS E CONTRIBUIÇÕES ... 15
1.3 ESTRUTURA DA TESE ... 16
2 FUNDAMENTO TEÓRICO ... 17
2.1 TERMOGRAFIA E DEFINICÕES ... 17
2.1.1 Imagens térmicas e suas aplicações ... 19
2.1.2 Cálculo da temperatura ... 21
2.1.3 Medição da temperatura ... 22
2.2 VISÃO COMPUTACIONAL E DEFINICÕES ... 24
2.2.1 Registro e representação de imagens ... 24
2.2.2 Processamento da imagem ... 26
2.2.3 Aprendizagem de máquina ... 28
3 REVISÃO DA LITERATURA E TRABALHO PRÉVIO ... 38
3.1 DESCRIÇÃO DE FUNCIONAMENTO DO SISTEMA BASE MVTS ... 39
3.1.1 Metodologia proposta no Sistema MVTS ... 40
4 PROPOSTA DE MÉTODO DE DESCARTE ... 52
4.1 DESCRIÇÃO DO ALGORITMO DE DESCARTE PROPOSTO ... 52
4.1.1 Clusterização geográfica de registros ... 56
4.1.2 Procura de registros parecidos dentro do cluster ... 59
4.1.3 Refinamento de separação de postes por semelhança ... 65
4.1.4 Correção de coordenadas em imagem térmica ... 68
4.1.5 Detecção de Elementos no poste ... 72
4.1.6 Fusão de objetos reconhecidos mediante mapa de gaussianas ... 77
4.1.7 Geração de relatórios ... 81
5 ANÁLISES DE DADOS ... 82
6 RESULTADOS ... 85
7 CONCLUSÕES E TRABALHOS FUTUROS ... 87
7.1 CONCLUSÕES ... 87
7.2 TRABALHOS FUTUROS ... 88
APÊNDICE A – ALGORITMO DBSCAN ... 96 APÊNDICE B – MODELO DE RELATÓRIO DO SISTEMA DE VERIFICAÇÃO ... 100 APÊNDICE C – EXEMPLOS DE DESCARTE EM CONDIÇÕES REAIS ... 101
1 INTRODUÇÃO
Desde o início da humanidade a capacidade de percepção visual foi um dos sentidos de maior importância para nossa sobrevivência. Quando observamos, automaticamente o cé-rebro realiza tarefas complexas como deduções e inferências, procurando padrões em cores, formas e texturas. Conforme os anos passaram-se, e a tecnologia foi melhorando, essa capaci-dade foi aplicada na automação de tarefas que, embora possam ser feitas por seres humanos, também podem ser executadas eficazmente por computadores, com bom desempenho destas em tarefas repetitivas.
Assim, nos últimos anos, os custos do uso de sistemas de digitalização de imagens como as câmeras foram democratizados, onde cada vez é mais fácil e barato, instalar sistemas de visão como redes de segurança nas cidades e estabelecimentos ou sistemas de processos ou controle de qualidade na indústria. Como consequência, devido a existência de tantos disposi-tivos de aquisição, cada dia são gerados milhões de bytes prontos para serem analisados por sistemas automáticos, os quais precisam algum tipo de expertise para lidar com a tarefa.
Neste contexto, iniciou-se o desafio de aplicar teoria de processamento de imagens nas análises de imagens ótico-térmicas em um processo de manutenção preventiva da rede de dis-tribuição, produto de um convênio de pesquisa e desenvolvimento entre a UNICAMP (Uni-versidade Estadual de Campinas) e a CPFL (Companhias Paulista de Força e Luz), com fi-nanciamento da ANEEL (Agência Nacional de Energia Elétrica). O presente trabalho, propõe uma importante camada pós-processamento do sistema automático de verificação termográfi-ca desenvolvido, tornando viável a posterior apresentação dos dados resumidos e geração de relatórios para o controle humano. Desta maneira, e como será explicado no seguinte capítulo, cumpriu-se com o objetivo de fornecer ao sistema caraterísticas de usabilidade em condições reais nos processos da empresa.
1.1 INSPEÇÃO TÉRMICA DE REDES ELÉTRICAS
As empresas de distribuição de energia têm como exigência fornecer um serviço de ótima qualidade, o que significa garantir disponibilidade de energia contínua para o consumi-dor sem importar a hora do dia. Por esse motivo, a Agência Nacional de Energia Elétrica (ANEEL), que é o órgão responsável de regulamentar os padrões de fornecimento de energia elétrica no Brasil, estabelece algumas exigências para as empresas.
Assim, procurando exigir a qualidade no serviço, a agência parametrizou três índices de medição:
• Duração de Interrupção por Unidade Consumidora. • Frequência de Interrupção por Unidade Consumidora.
• Duração Máxima de Interrupção Continua por Unidade Consumidora.
Sendo, que se a empresa distribuidora excede os limiares estabelecidos, é obrigada a pagar uma série de multas aos consumidores e ao órgão regulador.
Para isso, a ANEEL recomendou um conjunto de normas de medição chamada Gestão de Normas 3584 ou GED 3584 (CPFL, 2014), definindo o procedimento correto de inspeção termográfica assim como os valores aceitáveis na temperatura dos elementos da rede de dis-tribuição.
Uma outra exigência apresentada pela ANEEL, segundo a normativa GED 3584, é que as empresas são obrigadas a realizar pelo menos uma vez a cada três anos uma inspeção visu-al-termográfica de toda a rede principal na área urbana, o que significa uma contínua análise de centenas de quilômetros mensais por parte da empresa para conseguir cumprir com a nor-ma.
Assim, a inspeção termográfica virou o método adotado como padrão de avalição de possíveis falhas nos elementos da rede. Umas das caraterísticas mais destacáveis dessa tecno-logia é, que por ser uma medição remota, garante segurança para o operador por não precisar estar perto das linhas na hora da medição, oferecendo resultados confiáveis (se são respeita-dos os procedimentos de medição), rápirespeita-dos e em pleno funcionamento da linha.
De tal modo, seguindo as normas do GED 3584, iniciou-se o projeto MultiVision Thermal Scan (MVTS), que é um sistema de verificação automática para previsão de falhas na rede elétrica por meio do processamento de imagens ótico-térmicas obtidas por um arranjo de câmeras instaladas em uma unidade móvel.
1.2 OBJETIVOS E CONTRIBUIÇÕES
Quando o sistema foi desenhado, teve-se plena consciência da importância em atingir a totalidade dos postes da rede em um só percurso, devido aos custos e tempo que implicam para a empresa fazer o percurso de novo na procura de registrar os postes faltantes no primei-ro percurso.
Considerando isto, o sistema de verificação foi configurado para registrar a maior quantidade de imagens possíveis. Assim, com essa única responsabilidade, a taxa de registros,
no pior dos casos, foi configurada em 8 fotos por segundo por cada módulo, o que significa 32 registros térmicos e 32 registros óticos por segundo, considerando que o veículo contém 4 módulos de aquisição.
Nestas condições, veremos no desenvolvimento desta tese, como isso implica em uma alta repetitividade de dados, os quais tornam inviável o uso do sistema pela quantidade de informação apresentada para o funcionário no dashboard.
Por esse motivo, propõe-se um algoritmo de descarte de imagens inúteis ou repetidas, fazendo uso de diferentes áreas de pesquisa através do processamento de imagens, termogra-fia, machine learning, ou geolocalização, como o intuito de escolher a melhor foto para o re-latório, e assim descartar as outras, mas não sem antes inspecioná-las e caso precise, fusionar medições com anomalias de diferentes relatórios em um relatório só.
1.3 ESTRUTURA DA TESE
Todas as informações desenvolvidas neste projeto de pesquisa estão descritas nos se-guintes capítulos
• Capítulo 2: Definições e fundamento teórico, desde conceitos de termografia até conceitos de visão computacional, necessários para o posterior entendimen-to dos processos feientendimen-tos no sistema.
• Capítulo 3: Revisão da literatura e descrição de funcionamento do sistema base Multivision Thermal Scan, desde a calibração, aquisição de dados e geração de pacotes não processados.
• Capítulo 4: Descrição do algoritmo de descarte de imagens proposto no siste-ma MVTS.
• Capítulo 5: Análises dos dados nos testes utilizando o método proposto no ca-pítulo anterior.
• Capítulo 6: Análises de resultados.
• Capítulo 7: Conclusões e Trabalhos Futuros • Capítulo 8: Publicações referentes à tese
2 FUNDAMENTO TEÓRICO
2.1 TERMOGRAFIA E DEFINICÕES
Termografia é um método de medição passivo (sem necessidade de contato físico), que permite calcular a radiação infravermelha do objeto analisado dentro de uma determinada faixa eletromagnética.(FLIR, 2011) Assim, conhecendo alguns dados como distância do obje-to, humidade, temperatura do ambiente, emissividade e temperatura da lente; é possível calcu-lar a temperatura aproximada do objeto.
Embora nos últimos anos a tecnologia permitiu miniaturizar os equipamentos de me-dição e melhorar a confiabilidade na meme-dição, como pode-se observar na Figura 2.1, a termo-grafia começou há muitos anos através do trabalho de muitos pesquisadores na área física, astronômica, entre outras. (GROMICKO; MCKENNA, 2020)
Figura 2.1 - Datas importantes na história da termografia
A radiação infravermelha foi descoberta nos anos 1800s (FLIR, 2011) pelo astrônomo e músico alemão Friedrich Wilhelm Hershel. Em um dos seus experimentos (Figura 2.2), foi descomposto um raio de luz solar com ajuda de um prisma. Passando o prisma, Wilhelm des-cobriu que cada faixa de cores incrementava a temperatura, começando desde a cor violeta
com a temperatura mais baixa até a mais quente na cor vermelha. Além disso, também desco-briu que após a cor vermelha, a temperatura continuava aumentando, embora a cor já não fos-se percebida visualmente
Figura 2.2 - Experimento do Sir Frederick William Herschel(VANDENBROUCKE, 2015)
Conforme a Figura 2.1, após descobrir a radiação infravermelha, em 1880 Samuel Pi-erpoint Langley, inventa o Bolômetro, instrumento que que permite medir a radiação eletro-magnética de um objeto em todos os cumprimentos de onda. O bolômetro consistiu em duas fitas de platina que formavam uma ponte de Wheatstone, uma delas protegida por uma lâmina de carvão. Conforme a radiação incidia sobre as fitas, a resistência dela mudava permitindo achar uma relação de Radiação – Resistência.
Na atualidade, para calcular imagens térmicas, são frequentemente utilizadas câmeras infravermelhas, que com o mesmo princípio de funcionamento que as câmeras de espectro visível (Câmeras RGB), são capazes de medir a radiação de cumprimento de ondas específi-cos, como estão especificados na Figura 2.3.
• Câmeras Near Infrared (NIW): de 0.75 µm até 1 µm • Câmeras Short-Wave Infrared (SWIR): de 1 µm até 2,5 µm • Câmeras Mid-Wave Infrared (MWIR): de 3 µm até 5 µm • Câmeras Long-Wave Infrared (LWIR): de 8 µm até 12 µm
Figura 2.3 - Cumprimentos de onda visível e infravermelho(AKHLOUFI; 2013)
2.1.1 Imagens térmicas e suas aplicações
Como foi mencionado no capítulo anterior, com o avanço da tecnologia, os dispositi-vos de aquisição termográfica como por exemplo as câmeras, chegaram em muitas áreas da indústria oferecendo caraterísticas operacionais que poucos sistemas de sensoriamento conse-guem. Assim, por meio da representação de temperatura mediante pixels, os dispositivos ga-rantem, além da informação de padrões térmicos confiáveis, a localização destes na imagem (Figura 2.4).
Estas importantes informações podem ser usadas em diferentes áreas como segurança, inspeção de instalações, diagnóstico de falhas, medicina, controle de qualidade, manutenção preventiva, arqueologia etc.(IANO et al., 2018)
No entanto, no presente trabalho, se focará a aplicação da termografia na inspeção preventiva de equipamento elétrico das redes de distribuição como: transformadores, chaves e bornes. Devido a que, como se verificara nos seguintes capítulos, nestes equipamentos, tem-peraturas anômalas indicam alta probabilidade de falha no futuro.
2.1.1.1 Sobreaquecimento em componentes elétricos de média e baixa tensão
Com o uso contínuo, os equipamentos elétricos naturalmente mudam sua resistência produto de casos como: eletroerosão, induções, sobrecargas, harmônicas, e mau contato. Em consequência, aumentos de temperatura se apresentam como primeiros sinais de problemas, sendo que se não detectados oportunamente, podem acontecer problemas maiores como ex-plosões, incêndios, e como consequência quedas de energia.
Como mencionado em (FLIR, 2011), anomalias térmicas provocadas pelo efeito Joule, podem ser detectadas usando equipamento de termografia infravermelha, sendo que Joule é um fenômeno físico produzido pela interação da corrente elétrica e os materiais resistivos. Por esse motivo, muitas empresas definiram dentro dos seus processos o uso de câmeras térmicas nas inspeções das redes de distribuição das quais são responsáveis. (Figura 2.5)
2.1.2 Cálculo da temperatura
Como mencionado, a termografia consiste na medição de radiação infravermelha que produz qualquer objeto se estiver acima do zero absoluto (-273°C). Embora esse dado seja muito importante, para fins reais é conveniente trabalhar com uma medida calculada baseada radiação, a temperatura. Isso acontece porque as pessoas têm a capacidade de discernir o que significa um corpo mais quente que outro, por ouro lado não tem a capacidade de enxergar a faixa eletromagnética da radiação infravermelha
Assim, com a Lei de Planck para corpos negros na Equação (2.1), pode-se calcular a densidade de energia espectral 𝐼𝜖𝜆, onde as unidades são (𝑊 𝑐𝑚⁄ 2× 𝜇𝑚)
𝐼𝜖𝜆 = 2𝜋𝑐2ℎ 𝜆5 × ( 1 𝑒(𝜆ΚΤℎ𝑐)− 1 ) (2.1) Onde 𝑘 = 1,3806803 × 10−23 𝐽
Κ é a constante de Boltzmann, ℎ é a constante de Planck, 𝑐 é a velocidade da luz, Τ é a temperatura absoluta, e 𝜆 é o comprimento de onda da energia emitida.
A comprimento de onda que produz máxima emissão 𝜆𝑚, é dada na Equação (2.2), pe-la Lei de Wien
𝜆𝑚Τ = 2,898 × 10−3𝑚Κ =
ℎ𝑐
4,965𝑘 (2.2)
Assim, a radiação emitida pela superfície em todas os comprimentos de onda, por uni-dade de área é dada pela Lei de Stefan-Boltzmann na Equação (2.3) (MORANTES; OCHOA; HERNÁNDEZ, 2008)
𝑃(𝑇) = 5,67 × 10−8𝑇4 𝑊
𝑚2𝐾4 (2.3)
Onde, se os dispositivos têm a capacidade de calcular a radiação, indiretamente a Temperatura 𝑇 pode ser calculada.
2.1.3 Medição da temperatura
Como foi mencionado, as câmeras termográficas têm a capacidade de medir a radiação infravermelha recebida no campo da visão FOV (Field of View), a partir da qual a temperatura é calculada. O cálculo considera a emissividade da superfície do objeto assim como a com-pensação de temperatura refletida, variáveis que dependem do cenário da medição.
2.1.3.1 Emissividade, refletividade e transmissividade
Nas câmeras termográficas, como aparece na Figura 2.6, a radiação registrada consiste na radiação emitida 𝜀 , refletida 𝜌 e transmitida 𝜏 pelos objetos presentes no campo de visão(AUER, 2008). Sendo que 𝜀, 𝜌 e 𝜏 são coeficientes adimensionais.
• Emissividade
Medida da capacidade de um material de emitir radiação infravermelha, de-pendendo das propriedades da superfície do material e, em alguns casos, a temperatura na hora da medição. Em casos ideais, como um corpo negro, tem valor 1; por outro lado, em casos reais, é inferior de 1.
• Refletividade
Medida da capacidade de um objeto em refletir radiação infravermelha de ou-tros objetos na cena de medição. Depende das propriedades da superfície e sua temperatura. Geralmente, superfícies lisas têm maior capacidade de refletir que superfícies irregulares.
• Transmissividade
Medida da capacidade de um material de transmitir radiação infravermelha. Depende do tipo e dimensões do corpo.
Sendo assim, segundo a lei de radiação de Kirchoff’s na Equação (2.4), os resultados dos fatores é sempre 1.
Por outro lado, considerando que na realidade, a transmissão tem uma relevância ina-preciável, a variável 𝜏 é omitida, dando a Equação (2.5)
𝜀 + 𝜌 = 1 (2.5)
Isso significa que, quanto menor o valor da emissividade no material, maior proporção de radiação infravermelha refletida é captada, maior dificuldade nas medições, e maior impor-tância na calibração nas compensações do dispositivo usado.
Figura 2.6 – Emissividade, refletividade e transmissividade(FLIR, 2011)
2.1.3.2 Medição da temperatura conforme a normativa GED-3584
Como foi mencionado, para padronizar os procedimentos de inspeção preventiva na rede de distribuição, foram geradas uma série de procedimentos recompilados na norma GED-3584 (CPFL, 2014), especificamente utilizada na CPFL para garantir um ótimo proces-so. Alguns aspectos importantes da norma, determinam que:
• As inspeções termográficas devem ser realizadas com um intervalo máximo de 3 anos. Considerando redes primárias urbanas e transformadores nesse interva-lo. Sendo que para o caso de redes secundárias urbanas e redes rurais, só se re-comenda uma inspeção periódica se julgar conveniente.
• A pessoa que realiza a inspeção deve possuir curso de termografia, com o mí-nimo de 40 horas.
• A inspeção deve ser feita em companhia de um técnico de eletricidade que de-verá dirigir o veículo de inspeção, e servir de apoio para o termografista. • A rede de distribuição deve estar com um carregamento de sua capacidade
no-minal de 50% ou mais.
• Para as análises dos elementos da rede (chaves, conexões e transformadores), a corrente mínima necessária será a corrente mínima do cabo
• A inspeção termográfica não deve ser feita em condições de chuva (até pelo menos duas horas antes) ou com ventos acima de 25 km/h
• As temperaturas medidas terão que ser corrigidas conforme os valores de con-versão da norma, considerando porcentagem de carregamento do equipamento, velocidade do vento e temperatura ambiente.
2.2 VISÃO COMPUTACIONAL E DEFINICÕES
No nível fisiológico, o olho humano é o responsável por capturar e transformar a luz em estímulos nervosos que são interpretados pelo cérebro para entender a realidade e gerar reações. Paralelamente, a visão por computador é uma área da inteligência artificial que per-mite, mediante o uso de dispositivos de sensoriamento como câmeras, extrair informação do entorno através de imagens ou matrizes de dados fornecidas, para serem analisadas e proces-sadas por algoritmos específicos, obtendo dessa forma a capacidade de inferir ou tomar algum tipo de decisão.
Neste capítulo, se apresentarão conceitos importantes da teoria, auxiliando dessa for-ma a compreensão nos próximos capítulos onde se descrevem os métodos usados nesta tese.
2.2.1 Registro e representação de imagens
Quando se analisam as invenções tecnológicas, muitas vezes pode-se perceber que os dispositivos estão baseados na natureza ou até mesmo no corpo humano. Isso não é diferente na fotografia, onde, baseando-se nos olhos humanos, as câmeras são responsáveis por
captu-rar a informação do entorno, e mediante um processo de digitalização, representar este entor-no através de uma matriz bidimensional de valores de intensidade.
O processo de digitalização, como pode se observar na Figura 2.7, consiste na conver-são da sinal em sua forma analógica ou contínua em um sinal discreto de duas dimensões me-diante dois subprocessos: Amostragem, que consiste na medição do sinal em relação ao espa-ço; e Quantificação, que radica na discretização dos valores infinitamente contínuos em valo-res equivalentes segundo o intervalo de escala.(VÉLEZ SERRANO et al., 2001)
Figura 2.7 - Processo de digitalização da imagem
Assim, após o processo de digitalização, e já com uma cena discreta conforme apre-sentado na Figura 2.8, o resultado pode ser uma imagem em binário, com um canal de valores de 0 ou 255; ou uma em escala de cinzas, com um canal de valores desde 0 até 255; ou uma RGB (Red, Green e Blue), com três canais de cor com valores desde 0 até 255.
(a) (b) (c)
2.2.2 Processamento da imagem
Um detalhe importante na aplicação de visão computacional na solução de um pro-blema da realidade, é a necessidade de pré-processar a imagem na procura de maximizar acer-tos na tomada de decisões. Isto porque na realidade, as condições de funcionamento não são sempre as melhores ou apresentam muitas variáveis, produto das condições externas do en-torno.
Embora existam muitos métodos e algoritmos de processamento e melhora de imagem para diferentes finalidades, nesta seção só serão mencionados alguns métodos usados no sis-tema de verificação MVTS, o qual é sis-tema central da presente tese.
2.2.2.1 Detecção de bordas
Detecção de bordas, em processamento de imagens, é um conjunto de métodos muito usados devido à importância e riqueza de informação que contém, podendo ser usadas para calcular tamanhos, segmentar objetos ou até reconhecer formas. Considerando que a borda é uma região onde existe uma alta mudança de intensidades na imagem, geralmente faz-se uso de filtros predefinidos para sua extração, sendo os mais conhecidos kernel do Canny(XU; BAOJIE; GUOXIN, 2017) e o kernel do Sobel(KANOPOULOS; VASANTHAVADA; BAKER, 1988) .
Assim, no caso do sistema de verificação MVTS, a detecção de bordas foi uma ferra-menta útil devido à natureza das imagens. Como será explicado no capítulo posterior, um de-safio do sistema foi a necessidade de comparar, em alguns casos, imagens térmicas com ima-gens RGB. Considerando na termografia, as imaima-gens radiométricas apresentam valores que não necessariamente acompanham às mudanças de cor num objeto, foi observado que as bor-das são elementos os quais podem ser utilizados para comparação e diferenciação de objetos. Na Figura 2.9, pode ser observar como as bordas conseguem descrever perfeitamente a cena.
(a) (b)
Figura 2.9 - Exemplo de detecção de bordas. (a) Imagem original, (b) Bordas detectadas
2.2.2.2 Melhora de contraste
Como mencionado, no processo de digitalização de imagem, a informação da cena passa por um processo de Amostragem e Quantificação. Naturalmente, por causa do processo, muita informação é perdida na hora de trabalhar a informação com valores discretos. Porém, existem alguns métodos de recuperação de imagem que permitem ressaltar certos detalhes que podem beneficiar à aplicação final. Por exemplo, no caso das imagens térmicas, um desafio foi lidar com a perda de informação na hora de passar as imagens de 16 bits para 8 bits. Na Figura 2.10a, pode-se observar que com métodos de melhora de contraste, os detalhes do pos-te reaparecem na cena. Por outro lado, no caso das imagens RGB da Figura 2.10b, a melhora da imagem equalizando o contraste com o método CLAHE(PIZER et al., 1990) , também permitiu recuperar sombras que originalmente estavam ocultas na cena.
(b)
Figura 2.10 - Melhora de contraste. (a) Caso de imagem térmica, (b) Caso de imagem RGB
2.2.3 Aprendizagem de máquina
Na atualidade, a aprendizagem de máquina está presente em muitas áreas nas quais os usuários possivelmente nem sabem da sua existência. Desde os métodos de plataformas como a Netflix recomenda conteúdo baseando-se em nossas preferências (EKANADHAM, 2018), ou como as redes sociais categorizam as notícias sabendo quais são os tipos que provavelmen-te preferimos. Também é usada em áreas bem mais complexas como a medicina, onde algo-ritmos fornecem suporte aos médicos analisando imagens e segmentando elas para facilitar o diagnóstico do especialista.(ALI, 2017)
Mas, o que é aprendizagem de máquina ou aprendizagem automática? Segundo Arthur Samuel, é uma área da inteligência artificial com o objetivo de desenvolver técnicas que per-mitam que as máquinas aprendam. Em 1997, o especialista da Carnegie Mellon University apresentou uma outra definição mais moderna acerca da tarefa de aprendizagem. Um progra-ma de computador tem a capacidade de aprender com a experiência E em relação a alguprogra-ma classe de tarefa T e medida pelo desempenho P, se o seu desempenho em tarefas R, medida pelo P, melhora com a experiência E, então tem-se o processo de aprendizado.
Desde o início da inteligência artificial, os algoritmos foram evoluindo com o objetivo de analisar e obter melhoras nos resultados. Algumas das técnicas mais conhecidas foram: Árvores de decisão, programação em lógica indutiva, redes Bayesianas, e nos últimos anos, o aprendizado profundo. Assim, aprendizado de máquina, no seu uso mais básico, é a prática de usar algoritmos para organizar dados, aprender com eles, e depois ser capaz de fazer alguma predição. Com isso, os cientistas de dados, cada dia aperfeiçoam algoritmos esperando obter predições cada vez mais precisas.
2.2.3.1 Detecção e classificação de objetos
Uma das áreas que mais estão sendo influenciadas pelos grandes avanços tanto pelo desenvolvimento de algoritmos, quanto pelo poder computacional disponível é a análise de imagens. Neste caso, essa coleção de experiências, mencionada por Arthur Samuel anterior-mente, pode ser representada por um conjunto de imagens contendo diferentes objetos corre-tamente definidos e tabelados. Com isso, pode-se solucionar diferentes problemas como Clas-sificação, Localização ou Detecção de objetos.
Classificação de objetos, como se pode ver na Figura 2.11, consiste em classificar o objeto de maior saliência na cena em diferentes categorias. Se a tarefa, além de classificar, consiste em predizer as coordenadas do objeto, trata-se de uma tarefa de localização. Por úl-timo a tarefa principal deste trabalho, se a cena considera “muitos” objetos, e precisasse além de classificar localizar cada um deles, trata-se de Detecção.(OUAKNINE, 2018)
Figura 2.11 - Exemplo de classificação, detecção e segmentação.(OUAKNINE, 2018)
2.2.3.1.1 Classificação de objetos mediante uso de descritores
Para poder identificar uma imagem (ou objeto) dentro de uma outra imagem, conside-rando transformações como rotação, translação, escala ou mudança de perspectiva, uma das técnicas mais usadas nos últimos anos foi mediante o uso de descritores, o qual está dividido em duas grandes etapas; detecção e descrição de características ou pontos de interesse, usual-mente feito identificando pontos de interesse e, mediante operações matemáticas, definindo
cada um dos pontos detectados na imagem em forma de caraterísticas; e por último o mat-ching de características, onde com informação de duas imagens já identificadas e descritas, é possível a comparação delas.
Assim, existem vários métodos de detecção de características na literatura. Os mais básicos consideram apenas detecção de cantos sem suporte para rotação ou escalamento da imagem. Por exemplo, o Harris Corner Detector não suporta escalamento pela forma como é feita a busca. Sendo que geralmente os cantos são as fontes de informação mais úteis para diferenciar as imagens porque devido ao alto conteúdo de informação local.(GANDHI, 2018)
O software OpenCV oferece implementações do detector Harris e Shi-Tomasi, que é uma versão melhorada do Harris. (cv2.cornerHarris() e cv2.goodFeaturesToTrack()) (SUAREZ et al., 2014). A Figura 2.12 mostra uma imagem térmica capturada sem modifi-cações e os pontos detectados pelo detector Harris.
(a) (b)
(c)
Figura 2.12 - Detecção de pontos de interesse. (a) Imagem original, (b) Pontos de interesse usando mé-todo Harris, (c) Pontos de interesse usando mémé-todo Shi-Tomasi
Além desses detectores básicos, existem detectores mais complexos e rápidos, que su-portam mudanças de tamanho na imagem (Harris e Shi-Tomasi não funcionam otimamente com escalas diferentes). Os detectores mais conhecidos são o algoritmo SIFT (Scale Invariant Feature Transform) e SURF (Speeded Up Robust Features). Sendo que o algoritmo SIFT
utiliza o conceito de Diferença de Gaussianas (DoG) como aproximação de Laplaciano de Gaussianas (LoG) para poder trabalhar com diferentes escalas sem ter as dificuldades dos algoritmos de Harris e Shi-Tomasi.
Em OpenCV, para trabalhar com SIFT é necessário criar um objeto do tipo SIFT com a função cv2.xfeatures2d.SIFT.create(). Uma vez criado o objeto SIFT, é possível utili-zar os métodos sift.detect() e sift.compute(). A Figura 2.13a mostra os pontos de inte-resse detectados pelo SIFT, enquanto a Figura 2.13b mostra os descritores computados pelo SIFT, os quais caracterizam os pontos com direção e magnitude.
(a) (b)
Figura 2.13 - Método SIFT. (a) Detecção de caraterísticas, (b) Descrição de caraterísticas
O algoritmo SURF foi desenvolvido também para poder contornar as limitações de escala em imagens, e utiliza boxfilters como aproximações de LoGs para ter ganhos de per-formance.(BAY; TUYTELAARS; GOOL, 2006) É um algoritmo muito otimizado para pro-cessar imagens com rotação ou bluring. Porém, ele não é muito indicado para detecção de caraterísticas em imagens com mudança de ângulo de ponto de vista ou com diferença de iluminação. Portanto, a orientação das imagens antes do processamento é particularmente importante na hora de usar SURF.
É importante mencionar que ambos algoritmos SIFT e SURF possuem um método chamado detectAndCompute que permite tanto detectar quanto criar os descritores em um único comando. Porém, às vezes é útil utilizar apenas o método detect(), e computar os des-critores usando outro algoritmo (por exemplo, detectar com FAST e computar com SIFT). A Figura 2.14 mostra os pontos caraterísticos detectados pelo algoritmo SURF usando como base 10000 pontos na criação do objeto.
Figura 2.14 - Descritores calculados usando método SURF
Por outro lado, uma das limitações do SIFT e SURF (quando foram desenvolvidos) era a velocidade de processamento. Embora eles sejam rápidos, nem sempre eram suficientemen-te rápidos para processamento em suficientemen-tempo real. Para contornar esse problema, o algoritmo FAST (Features from Accelerated Segment Test) foi proposto. Ele utiliza uma proposta de machine learning para identificar as esquinas e pontos de interesse.(TYAGI, 2019)
O algoritmo FAST também está disponível para utilização em OpenCV. O objeto FAST deverá ser criado usando cv2.FastFeatureDetector(). Depois, a detecção é feita com o método fast.detect(). É importante lembrar que FAST não gera descritores, apenas detecta os keypoints. A Figura 2.15 mostra os pontos de interesse detectados por FAST. É importante notar que grande parte dos cabos de energia foram detectados como pontos de interesse; enquanto não necessariamente será uma informação útil para combinar a imagem térmica com a ótica.
Figura 2.15 - Descritores calculados usando método FAST
Por outro lado, existem também métodos de otimização computacional dos processos de detecção e descrição de pontos de interesse. BRIEF (Binary Robust Independent Elemen-tary Features) é um método que otimiza os processos de computação de SIFT (vetores de 512
bytes) e SURF (vetores de 256 bytes) na hora de gerar os descritores.(CALONDER et al., 2012) A Figura 2.16 mostra os pontos de interesse detectados e computados pelo algoritmo BRIEF.
Figura 2.16 - Descritores calculados usando método BRIEF
Para melhorar o rendimento dos algoritmos SIFT e SURF, sem os problemas de royal-ties, e obter a melhora em velocidade computacional do BRIEF, em 2011 foi desenvolvido o algoritmo ORB, publicado no artigo científico “ORB: An efficient alternative to SIFT or SURF”(RUBLEE et al., 2011). ORB utiliza o conceito de rotated BRIEF (rBRIEF), contor-nando o problema de rotação do SURF e sendo muito mais rápido que ambos algoritmos.(RUBLEE et al., 2011) A Figura 2.17 mostra os pontos de interesse detectados e computados pelo algoritmo ORB.
Figura 2.17 - Descritores calculados usando método ORB
Finalmente, uma vez que os pontos de interesse foram detectados e computados nas imagens a ser comparadas, é possível comparar cada um deles usando algum tipo de distância tentando casar diferentes pontos de interesse com distâncias similares, de forma que seja pos-sível mostrar um grupo de pontos de interesse em ambas imagens.
OpenCV tem disponíveis alguns algoritmos para realizar o matching: o primeiro é o mais simples, força bruta (Brute Force – BF) que basicamente compara cada descritor na imagem em teste com cada descritor na imagem de treinamento, casando os descritores que tenham a menor distância. A distância escolhida depende do tipo de detector e descritor sendo utilizados, (por exemplo, ORB utiliza distância de Hamming).
O megundo método de matching no OpenCV é o FLANN (Fast Library for Approxi-mate Nearest Neighbors) matcher. Para imagens e datasets muito grandes, FLANN tem mé-todos otimizados de busca de vizinhanças para a comparação. Na Figura 2.18a, é possível conferir que os pontos de interesse não estão sendo corretamente casados. Por outro lado, na Figura 2.18b, o resultado do uso do matcher FLANN com SIFT apresenta melhores resulta-dos.
(a) (b)
Figura 2.18 - Comparativo de métodos de matching. (a) Matching usando BF e ORB, (b) Matching usando FLANN e SIFT
2.2.3.1.2 Detecção de objetos mediante aprendizado profundo
O aprendizado profundo é uma área de aprendizado de máquina que está sendo discu-tida e disseminada para uso em diferentes áreas de pesquisa, devido ao seu grande sucesso na obtenção de resultados no estado da arte para diversos problemas, principalmente na área de Visão Computacional. Uma das principais abordagens utilizadas são as redes neurais convo-lucionais. Com a chegada dos algoritmos de aprendizado profundo, é possível ao computador executar uma metodologia para extrair as características de uma imagem para ser caraterizada por uma dada arquitetura da rede neuronal convolucional. Na Figura 2.19 pode se ver um exemplo de uma rede neural convolucional com estrutura tradicional.(SHAHID, 2019)
Figura 2.19 - Rede neural convolucional (SHAHID, 2019)
2.2.3.1.2.1.1 Rede Neural Convolucional
Redes neurais convolucionais são redes neurais profundas que podem ser usadas para classificar imagens. Neste sentido, são muito semelhantes às redes neurais comuns como o perceptron multicamada, sendo compostas por neurônios que têm pesos e vieses que tem a capacidade de aprender. O que diferencia as redes neurais convolucionais das redes neurais normais é que elas assumem explicitamente que as entradas são imagens, o que nos permite codificar certas propriedades da arquitetura, permitindo ganhar eficiência e reduzir o número de parâmetros na rede.
A estrutura tradicional de uma CNN é composta na primeira parte por camadas de convolução e pooling e na segunda parte por camadas totalmente conectadas (Fully-connected). As camadas de convolução são obtidas usando diferentes matrizes de kernel, cujo objetivo é extrair as caraterísticas da imagem em diferentes níveis de profundidade da CNN. As camadas de pool são importantes para simplificar as informações da camada anterior. A profundidade da saída de uma convolução é igual ao número de filtros aplicados. Quanto mais profundas as camadas de convolução, mais detalhados os traços identificados com o mapa de ativação. O filtro, também conhecido como kernel, é formado por pesos aleatoriamente, atua-lizando-os a cada nova entrada durante o processo de retro propagação no treinamento.
Assim, elas funcionam modelando sequencialmente pequenas informações e, em se-guida, combinando essas informações nas camadas mais profundas da rede. Uma maneira de entendê-las é que a primeira camada tentará detectar as arestas e estabelecer padrões de detec-ção destas. Em seguida, as camadas posteriores tentam combiná-las de formas mais simples e, finalmente, em padrões das diferentes posições dos objetos, iluminação, tamanho, etc. As camadas finais (fully-connected) tentarão combinar uma imagem de entrada com todos os padrões e chegarão a uma previsão final como uma soma ponderada de todos eles. Dessa
ma-neira, redes neurais convolucionais são capazes de modelar variações e comportamentos complexos, fornecendo previsões bastante precisas.
2.2.3.1.2.1.2 AlexNet
A rede AlexNet é um tipo de CNN que consiste em 5 camadas convolucionais, 2 ca-madas totalmente conectadas e um softmax final de 1000 saídas.(KRIZHEVSKY; SUTSKEVER; HINTON, 2017) A rede AlexNet foi usada para classificar imagens em 1000 categorias possíveis. Em 2012, AlexNet foi um avanço significativo em relação às outras abordagens, tendo inspirado dezenas de outras redes convolucionais para o reconhecimento de padrões de imagem, com o fato de que algumas redes continham um número significativa-mente maior de camadas. Na Figura 2.20, pode se observar um exemplo da arquitetura de rede AlexNet. (KRIZHEVSKY; SUTSKEVER; HINTON, 2017)
Figura 2.20 - Rede convolucional AlexNet (KRIZHEVSKY, 2017)
2.2.3.1.2.1.3 VGG-16
A rede VGG, proposta por Simonyan e Zisserman, é uma rede neural convolucional treinada em mais de um milhão de imagens do banco de dados ImageNet; essa rede tem 16 camadas (13 camadas convolucionais e 3 camadas totalmente conectadas e é capaz de classi-ficar 1000 diferentes classes) (SIMONYAN; ZISSERMAN, 2014). Em classificação de ima-gens, a grande contribuição do VGG foi a ideia de que várias convoluções 3x3 em sequência poderiam substituir os efeitos de filtros de máscaras maiores (5x5 e 7x7), o que resulta em um
custo computacional mais alto. Na Figura 2.21, pode ser observar um exemplo da arquitetura de uma rede VGG-16 (HASSAN, 2018)
Figura 2.21 - Rede convolucional VGG-16 (HASSAN, 2018)
2.2.3.1.2.1.4 You Only Look Once – YOLO
Desenvolvido por Joseph Redmon e Ali Farhadi em 2016 (REDMON et al., 2016), muda completamente o paradigma na tarefa de detecção de objetos, desenhando um método no qual só se analisa a imagem toda por uma única vez (One Shot Object Detection), dividin-do a matriz em blocos SxS, cada um deles com uma pontuação de confiança para um objeto detectado. Finalmente a rede pondera as probabilidades para inferir que objetos aparecem na imagem, assim como sua posição. Na Figura 2.22, pode se observar um exemplo de arquitetu-ra de uma rede YOLO-You Only Look at Once. (REDMON et al., 2016)
3 REVISÃO DA LITERATURA E TRABALHO PRÉVIO
O calor é um fenômeno muito importante na avaliação de instalações elétricas. Foi ex-plicado em (FLIR, 2011), e é exposto no capítulo 2 que, quando a corrente elétrica passa por um elemento resistivo gera calor produto da colisões de elétrons. Atualmente existem méto-dos para a identificação de aquecimento anormal de componentes elétricos em postes, o pro-blema é que essas soluções se tratam de procedimentos manuais, onde o operador deve ir até cada poste e registrar as imagens óticas e térmicas dos elementos antes de determinar se al-gum componente apresenta um aquecimento anormal. Este processo é demorado, repetitivo e caro; além de alto risco econômico pelo alto custo que significa o uso de estes equipamentos nas ruas da cidade.
Pelos inconvenientes já apresentados, muitos grupos de pesquisa tentaram automatizar o processo fazendo uso de diferentes princípios. Em (2009), CETIN e outros autores propõem uma metodologia para o reconhecimento de postes elétricos registrados desde um veículo aéreo. Assim, baseando-se na detecção da sobra dos postes, os autores conseguem taxas de confiabilidade alentadoras. Em (2016), YAN et al. propõem o uso de um dispositivos LIDAR (Light Detection and Ranging) para a detecção de postes elétricos da rodovia 401 em Toronto, Canada. Assim, com a análises automáticas das nuvens de pontos geradas pelo dispositivo, os autores conseguem uma confiabilidade de 91% na detecção. Adicionalmente, em (2016), YAN et al. continua com a abordagem de uso de sistemas ativos como o LIDAR. Neste caso os autores conseguem melhorar a confiabilidade do sistema, atingindo uma taxa de acerto de 97,9% mediante o uso de um classificador Randon Forest para a classificação de diferentes objetos presentes nas estradas. Igualmente em (2018), MCCULOCH e GREEN, fazendo uso de um dispositivo LIDAR, os autores atingem uma confiabilidade de 100% para um dataset pequeno de 52 postes. Por último, em (2015), SHARMA et al. propõem um método de detec-ção de postes em imagens atingindo uma confiabilidade de 70%.
Como foi visto, muitos autores propuseram técnicas baseadas em dispositivos passivos como câmeras ou ativos como LIDARs para conseguir detecções confiáveis. Na continuação, apresenta-se a descrição de um sistema de verificação de redes elétricas de distribuição MVTS, que serviu de base para a proposta da presente tese.
3.1 DESCRIÇÃO DE FUNCIONAMENTO DO SISTEMA BASE MVTS
Como foi mencionado, as empresas distribuidoras de energia padronizaram o uso de câmeras termográficas nos processos de inspeção das redes, pelas muitas vantagens que esta tecnologia oferece. Por outro lado, e como também é mencionado no Capitulo 2, a GED 3584 estipula que a inspeção deve ser feita em baixa velocidade por duas pessoas: termografista mais um técnico em eletricidade.(FAMBRINI, 2016) Assim, percorrendo a totalidade da rede num veículo e parando quando é detectada a existência de um elemento de interesse na cena, começa-se a procura de pontos de sobreaquecimentos anômalos, para consequentemente fazer as análises das temperaturas; e caso ser necessário, comunicar à central sobre a manutenção corretiva segundo o procedimento indica.
Embora o processo seja muito eficaz para detectar problemas anômalos na rede, apre-senta problemas de eficiência tanto pelo número de pessoas envolvidas quanto pela taxa de quilômetros por dia analisadas pelo termografista.
Assim, a Companhia Paulista de Força e Luz, na procura de melhorar seus processos, e em parceria com o Laboratório de Comunicações Visual da Faculdade de Engenheira Elétri-ca e de Computação da UNICAMP, desenvolveram um sistema de inspeção automátiElétri-ca que gerou a patente de invenção BR10201801166 depositada em junho de 2018. Nesta invenção, como é apresentada na Figura 3.1(IANO et al., 2018), por meio de arranjos de câmeras RGB e Termográficas instaladas no teto de um veículo específico, consegue-se realizar o mapeamen-to térmico de forma semiaumapeamen-tomática, sendo somente necessária a presença do condumapeamen-tor do veículo e sem necessidade de parada.(MAZONI, 2018)
Neste sentido, a aplicação do sistema permite a geração de relatórios em tempo real, tanto de problemas detectados quanto de anomalias aceitáveis, permitindo que o número de interrupções de energia seja reduzido, o que faz possível atingir os limites propostos pela ANEEL para consequentemente minimizar o prejuízo aos consumidores.
Figura 3.1 - Cenário proposto no sistema MVTS
3.1.1 Metodologia proposta no Sistema MVTS
Considerando que uma das premissas do projeto era a confiabilidade no processo de inspeção, teve-se a necessidade de utilizar algoritmos complexos na hora de avaliação da re-de. Infelizmente, muitos desses métodos não são tão rápidos quanto a velocidade de aquisição do veículo ou precisam de dados futuros para a correta conclusão de análises. Sendo assim, como pode se observar na Figura 3.2, optou-se pela ideia de propor uma arquitetura de siste-ma dividido em duas etapas, a primeira de aquisição e processamento em tempo real, e a se-gunda como uma etapa de pós-processamento, que acontece assim que percurso de inspeção é concluído.
Por outro lado, a primeira etapa também pode ser dividida em duas subetapas: a sube-tapa de aquisição e a subesube-tapa de processamento. Sendo que na subesube-tapa de aquisição, o veí-culo faz o registro da rede colocando etiquetas geo-localizada; seguidamente, na de proces-samento, a imagem é processada para a procura de postes, sendo que se a detecção for positi-va, a imagem geo-localizada é armazenada.
Por outro lado, na segunda etapa, a off-line, o algoritmo proposto neste trabalho avalia todos os registros armazenados com o fim de escolher amostras que aparecerão no relatório final, resultado do descarte e fusão de informação de diferentes aquisições.
Figura 3.2 - Arquitetura do sistema usado no MVTS
3.1.1.1 Aquisição das imagens
Como se apresenta na Figura 3.3(IANO et al., 2018), para o funcionamento do sistema foi desenhada uma base mecânica com a capacidade de suportar 4 módulos de aquisição, cada um deles composto por uma câmera de espetro visível (RGB) e uma câmera termográfica. Adicionalmente, para dar mobilidade ao sistema e facilitar o processo de instalação e setup, cada módulo foi instalado sobre um Pantilt com dois graus de liberdade.
(a)
(b) (c)
Figura 3.3 – Base mecânica de veículo MVTS. (a) Arranjo de câmeras instaladas no teto do veículo, (B) Módulo de aquisição ótica-térmica, (c) Sistema Pantilt com 2 graus de liberdade
Um vez montando o sistema, calibradas as câmeras, e configurada a antena GPS, o ve-ículo tem a capacidade de registrar 8 par de fotos por segundo em cada módulo, o que gera 32 fotos por segundo considerando os 4 módulos, onde cada um é etiquetado com a data exata da captura (milisegundos) e as coordenadas geográficas para ser processadas na sua totalidade no
após do registro. Como é apresentado na Figura 3.4, a sobreposição das duas imagens não é perfeita, sendo esse um problema a ser corrigido numa etapa seguinte.
(a) (b)
(c)
Figura 3.4 – Aquisição de imagens no veículo MVTS. (a) Aquisição de câmera no espetro visível, (b) Aquisição de câmera no espetro infravermelho, (c) Sobreposição de imagens RGB-IR
3.1.1.1.1 Câmera Térmica
No caso da eleição da câmera térmica, foram ponderados uma série de requisitos do projeto de inspeção termográfica como comprimento de onda correto, intervalo de temperatu-ra de medição, acurácia de medição suficiente, e resolução mínima patemperatu-ra a distância entre o dispositivo e o objeto. Foi assim que a Família AXXX da marca FLIR foi considerada por
cumprir com alguns dos requisitos como capacidade de detecção em cumprimentos de onda de 7-14𝜇𝑚 (LWIR), intervalos de medição de -20 até 150 graus, e acurácia de + −⁄ 2 graus.
Finalmente, em relação à lente e resolução escolhida, foi usada uma calculadora forne-cida pela FLIR, onde se considerou que o menor objeto detectado em 12 metros teria um ta-manho mínimo de 2cm. Foi assim que decidiu-se utilizar câmeras 640x480 pixels e lentes de 25 graus, os quais asseguram, para uma distância de 12 metros, um campo de visão de 5 x 4 metros e a capacidade de detecção de pontos quentes maiores de 8mm. (Figura 3.5)
3.1.1.1.2 Câmera RGB
Para o caso da câmera RGB, por se tratar de um sensor de luz no espectro visível, se sabe que a exposição da imagem depende principalmente de três valores, apertura de diafrag-ma, velocidade de obturação, e ganho eletrônico no sensor (ISO). Sabendo isso, foi conside-rado o uso de um sensor grande com a capacidade de suportar ISOs altos sem gerar ruído na imagem. Procurando no mercado se achou a câmera DALSA C1920, com resolução de 1936x1216 pixel e um sensor de 1 1.2⁄ polegadas. Acerca da lente, e procurando obter um campo de visão parecido à câmera térmica, foi eleita uma distância focal de 25mm
Figura 3.6 - Calculadora de lente RGB(1STVISION, 2018)
3.1.1.2 Processamento da imagem
Uma processo crítico no desenvolvimento do projeto, tanto na etapa online quanto na etapa de pós processamento, foi a de detecção de objetos na imagem adquirida, motivo pelo qual foram testadas um conjunto técnicas que, até esse momento, eram considerados como os métodos com mais confiabilidade nas tarefas de detecção.
O motivo da sua importância, na etapa online, foi seu peso na decisão de armazena-mento ou não de um registro do sistema. Assim, após ter adquirido e etiquetado o par de ima-gens, se na procura de existência de elemento de interesse (Poste) o resultado era afirmativo, o par de imagens era gravado; ao contrário, se o resultado era negativo, o par de imagens era automaticamente descartado. Cabe ressaltar que esta medida foi tomada por motivos de hardware visto que o fato de armazenar todos os registros no dia para depois submetê-los a pós-processamento foi descartado pela quantidade de capacidade de armazenamento necessá-rio.
Um detalhe importante é mencionar que todos os testes foram feitos num computador Intel Core i7, com 16 GB de memória RAM, GPU GTX1080 e usando o sistema operacional Linux Ubuntu 16.04.
3.1.1.2.1 Reconhecimento de objetos com descritores
Os primeiros testes na etapa da detecção de objetos foram mediante o uso de técnicas de descrição de caraterísticas, as quais são amplamente usadas na área pelos já mencionados ótimos resultados que apresentam e que já foram detalhadas no capítulo anterior.
Assim, as caraterísticas procuradas na imagem foram cantos, bordas e manchas; as quais são caraterizadas por um número determinado de bit, dependendo da técnica específica usada. Na Figura 3.7, pode se observar graficamente como foram extraídas as caraterísticas usando SIFT, SURF, FAST, ORB e BRISK.
(a) (b) (c) (d) (e)
Figura 3.7 - Extração de caraterísticas, (a) SIFT, (b) SURF, (c) FAST, (d) ORB, e (e) BRISK
Na Tabela 3.1 e Tabela 3.2, podem ser conferidos os resultados dos testes iniciais(MAZONI, 2018), tanto em confiabilidade quanto em tempo de processamento, usan-do um dataset de 1440 amostras onde a metade era ‘Poste’ e a outra metade ‘Não-Poste’.
De-las se pode inferir que a melhor performance foi atingida pelo método FAST-SIFT com 96.42% e seguido pelo método FAST-BRISK com uma confiabilidade de 95%. Enquanto a tempo de processamento, o método mais rápido foi BRISK-BRISK com um tempo de proces-samento de 30ms por imagem, performance igualmente atingida pelo método SURF-SIFT.
Em conclusão, e considerando confiabilidade e tempo de processamento, destes testes acabou-se concluindo que, entre os métodos baseados em descrição de caraterísticas, era o baseado em FAST-SIFT, com uma confiabilidade de 96,42% e um tempo de processamento de 70ms por imagem.
Tabela 3.1 - Resultados dos algoritmos baseados em descrição de caraterísticas
DESCRIÇÃO
SIFT SURF BRISK ORB
DET EÇ ÃO HARRIS 94,33% 88,33% 82,25% 90,5% FAST 96,42% 94,5% 95,00% 91,33% SIFT 90,33% 84,92% 85,92% 88,83% SURF 93,66% 93,83% 87,58% 82,33% ORB 88,66% 90,16% 84,16% 86,91% BRISK 94,25% 88,92% 85,33% 81,92%
Tabela 3.2 - Tempo meio de processamento de cada imagem
DESCRIÇÃO
SIFT SURF BRISK ORB
DET EÇ ÃO HARRIS 0,13ms 0,10ms 0,22ms 0,18ms FAST 0,07ms 0,14ms 0,16ms 0,05ms SIFT 0,12ms 0,016ms 0,03ms 0,14ms SURF 0,03ms 0,18ms 0,11ms 0,05ms ORB 0,05ms 0,11ms 0,05ms 0,16ms BRISK 0,14ms 0,07ms 0,03ms 0,05ms
3.1.1.2.2 Reconhecimento de objetos usando aprendizado profundo
Após os testes apresentados na subetapa anterior, procedeu-se testar técnicas baseadas em aprendizado profundo, que desde o ano 2012, são consideradas imbatíveis nas tarefas de detecção. As redes escolhidas para os testes, foram AlexNet e VGG16, que são redes de clas-sificação de objetos, e posteriormente YOLO, que foi desenhada para tarefas de detecção de objetos.
Para os testes, o Dataset gerado consistiu em 1700 imagens de postes e 1700 imagens que não representam postes. Essas imagens foram separadas em 3 grupos, sendo 60% para treinamento, 20% para validação e 20% para teste. Onde as imagens de treinamento e valida-ção foram usadas para treinar a rede e obter todos os parâmetros da CNN, e as de teste para verificar se a rede está bem treinada. Assim, utilizando o método de transferência de conhe-cimento (Transfer Learning), foi possível usar as redes AlexNet e VGG16 para a classificação de postes. O processo de treinamento foi realizado em 50 épocas e com uma taxa de aprendi-zado de 0,001.
Após os testes, já com os resultados de treinamento e validação, conseguiu-se se con-cluir alguns fatos importantes. Em relação à rede VGG16, como é apresentado na Figura 3.8, o valor de precisão atingido foi de 98,5%; e em relação à rede AlexNet, como é apresentado na Figura 3.9, o valor de precisão atingido foi de 98,8%. Enquanto a velocidade de processa-mento, VGG16 precisou de 75ms por imagem, enquanto AlexNet precisou de só 5ms por imagem, sendo que esse é o tempo desde que a imagem é enviada à placa gráfica para realizar os cálculos e fornecer o resultado da classificação.
Figura 3.9 – Curva Acurácia por época usando AlexNet
Embora os algoritmos testados apresentassem taxas de confiabilidade ótimas, o pro-blema com a implementação deles é que, para usá-los, é necessário usar um algoritmo de ja-nela deslizante e assim executar a tarefa de classificação em cada jaja-nela proposta. Por exem-plo, se houvesse 100 janelas possíveis, o tempo para localizar o poste usando o AlexNet seria de 500 milissegundos, o que equivale a duas imagens por segundo.
Isto apresentou um desafio para o sistema MVTS, devido ao veículo de inspeção ter que manter uma velocidade constante pelo percurso definido sem atrapalhar o trânsito dos outros veículos, considerando que as horas de inspeção são diurnas. Foi assim que decidiu-se testar a rede de detecção de objeto YOLO, uma solução inovadora que prometia altas taxas de processamento, sem deixar de ser confiável. Como já foi mencionado, a rede segue uma filo-sofia de procura One Shot, o que significa que não é necessário fazer o método de janela des-lizante pela imagem para conseguir a detecção do objeto ao contrário do uso de descritores mencionados anteriormente ou das redes de classificação já testadas, radicando aí o motivo da sua velocidade(SAKMANN, 2017). Como pode se observar na Figura 3.10(REDMON; FARHADI, 2017), teoricamente YOLO obteve um ótimo resultado em relação às outras redes de aprendizado profundo nos testes feitos pelo autor usando o Dataset MSCOCO.
Figura 3.10 - Benchmark de teste da rede YOLO em relação de outras redes de aprendizado profundo.
Para o treinamento foram usadas as 1700 imagens de postes registrados do Dataset anterior-mente mencionado da Figura 3.11(IANO et al., 2018), sendo cada uma delas de 2Mpx (1936x1216). Neste sentido, por se tratar de uma tarefa de detecção, as imagens tiveram que ser etiquetadas usando como ferramenta o aplicativo Euclid (SUNDARESON, 2017).
Figura 3.11 - Exemplo de postes registrados para o funcionamento da rede.
Assim, o parâmetro IOU representa a interseção sobre a união da janela gerada pelo algoritmo YOLO e a janela delimitada no momento de etiquetado (Ground True). Na Figura 3.12, foi obtida uma precisão de 96,76% usando um redimensionamento para o treinamento de 480x480 e um redimensionamento para inferência de 448x448 (nesse tamanho, foi o valor máximo de IOU obtido). Usando essa combinação, o tempo de processamento usando o algo-ritmo YOLO é de aproximadamente 27 milissegundos, o que equivale a 37 imagens por se-gundo. A vantagem de usar esse método é que o resultado detecta todos os objetos em uma única etapa da rede convolucional.
