Sistema de supervisão aérea baseado em navegação visual para detecção de anomalias em instalações de petróleo e gás

UNIVERSIDADEFEDERALDO RIO GRANDE DO NORTE

UNIVERSIDADEFEDERAL DORIOGRANDE DO NORTE

CENTRO DETECNOLOGIA

PROGRAMA DEPÓS-GRADUAÇÃO EMENGENHARIAELÉTRICA E

COMPUTAÇÃO

Sistema de Supervisão Aérea Baseado em

Navegação Visual para Detecção de Anomalias

em Instalações de Petróleo e Gás

Tania Luna Laura

Orientador: Prof. Dr. Pablo Javier Alsina

Tese de Doutorado apresentada ao

Pro-grama de Pós-Graduação em Engenharia Elétrica e de Computação da UFRN (Área de concentração: Engenharia de Computação) como parte dos requisitos para obtenção do título de Doutor em Ciências.

UFRN / Biblioteca Central Zila Mamede Catalogação da Publicação na Fonte Laura, Tania Luna.

Sistema de supervisão aérea baseado em navegação visual para detecção de anomalias em instalações de petróleo e gás. / Tania Luna Laura. – Natal, RN, 2013.

103 f.: il.

Orientador: Prof. Dr. Pablo Javier Alsina.

Tese (Doutorado) – Universidade Federal do Rio Grande do Norte. Centro de Tecnologia. Programa de Pós-Graduação em Engenharia Elétrica e da Computação.

1. Navegação visual - Tese. 2. Controle por servovisão - Tese. 3.

VANT’S - Tese. 4. Helicóptero quadrirrotor - Tese. 5. Visão computacional - Tese. I. Alsina, Pablo Javier. II. Universidade Federal do Rio Grande do Norte. III. Título.

Agradecimentos

Ao meu orientador, professor Pablo Javier Alsina, pela confiança em mim depositada durante a realização deste trabalho;

Aos meus pais, Lizandro e Silvia, que sempre acreditaram na educação e formação de seus filhos;

A meu companheiro Francisco, por dividir minhas preocupações e me incentivar à con-clusão deste trabalho;

Aos meus filhos Luiz e Isabela por compreender os momentos de ausência quando nece-ssário;

Aos meus irmãos e grandes amigos, Carolina, Luz Milagro, Doris e Abimael, que sempre me incentivaram, a correr atrás dos meus objetivos;

A minha querida tia Rosa pela confiança em depositada na concretização deste trabalho;

A todos os colegas do Laboratório de Robótica do DCA, principalmente a Armando, João Paulo, Gutemberg, Marcio, Lennedy, André, Michel e Filipe, que contribuíram direta ou indiretamente para esta conquista;

Aos funcionários e professores que desenvolvem suas atividades no LECA pelos momen-tos agradáveis que compartilhamos junmomen-tos;

Resumo

Esta tese trata do desenvolvimento de um protótipo de um helicóptero quadrirrotor para aplicações de monitoramento de instalações petrolíferas. Problemas de detecção de anoma-lias podem ser resolvidas através de missões de monitoramento executadas pelo quadrir-rotor devidamente instrumentado, ou seja, sensores termo-infravermelhos devem ser em-barcados. Este sistema de monitoramento proposto, visa reduzir acidentes de trabalho, bem como tornar possível o uso de técnicas não destrutivas para detecção e localização de vazamentos causados por corrosões. Com este fim, a implementação de um protótipo, sua estabilização e uma estratégia de navegação foram propostas.

A estratégia de controle baseia-se na divisão do problema de controle em dois níveis hierárquicos: o nível inferior estabiliza os ângulos e a altitude do veículo em valores desejados, enquanto o nível superior encarrega-se de fornecer referências adequadas para o nível inferior, assim, o quadrirrotor deve executar movimentos desejados.

A estratégia de navegação do quadrirrotor é feita utilizando informações fornecidas por um sistema de aquisição de imagens (câmera monocular) embarcada no helicóptero. A técnica de navegação proposta trata o problema como estratégias de controle em alto nível, tais como, controle de posição relativa, geração de trajetória e rastreamento de trajetória.

O controle de posição é resolvido utilizando técnicas de controle por servovisão baseado em caracterísiticas de imagem. A geração de trajetória é feita num passo off-line, a qual é uma trajetória visual composta por uma sequência de imagens. Já para o rastreamento de trajetórias é proposto uma estratégia de controle por servovisão contínuo, possibili-tando assim, uma estratégia de navegação sem precisar de mapas métricos. Resultados experimentais e em simulação são apresentados para validar a proposta.

Palavras-chave: Navegação visual, Controle por servovisão, VANT’s, Helicóptero

Abstract

This work deals with the development of a prototype of a helicopter quadrotor for moni-toring applications in oil facilities. Anomaly detection problems can be resolved through monitoring missions performed by a suitably instrumented quadrotor, i.e. infrared thermo-sensors should be embedded. The proposed monitoring system aims to reduce accidents as well as to make possible the use of non-destructive techniques for detection and lo-cation of leaks caused by corrosion. To this end, the implementation of a prototype, its stabilization and a navigation strategy have been proposed.

The control strategy is based on dividing the problem into two control hierarchical levels: the lower level stabilizes the angles and the altitude of the vehicle at the desired values, while the higher one provide appropriate references signals to the lower level in order the quadrotor performs the desired movements.

The navigation strategy for helicopter quadrotor is made using information provided by a acquisition image system (monocular camera) embedded onto the helicopter. Con-sidering that the low-level control has been solved, the proposed vision-based navigation technique treats the problem as high level control strategies, such as, relative position control, trajectory generation and trajectory tracking.

For the position control we use a control technique for visual servoing based on image features. The trajectory generation is done in a offline step, which is a visual trajectory composed of a sequence of images. For the trajectory tracking problem is proposed a control strategy by continuous servovision, thus enabling a navigation strategy without metric maps. Simulation and experimental results are presented to validate the proposal.

Keywords: Visual navigation, Visual servoing, UAV’s, Quardrotor Helicopter Vision

Sumário

Sumário i

Lista de Figuras iii

Lista de Tabelas vii

1 Introdução 1

1.1 Descrição do Problema . . . 2

1.2 Motivação e Justificativa . . . 8

1.3 Objetivos . . . 9

1.3.1 Contribuições . . . 10

1.4 Organização do Trabalho . . . 10

2 Monitoramento Aéreo 13 2.1 Navegação Baseada em Visão . . . 13

2.2 Extração de Características de Imagem . . . 16

2.3 Desafios para Navegação Aérea . . . 18

2.4 Monitoramento de Instalações de Petróleo e Gás . . . 20

2.5 Técnicas para Detecção e Localização de Vazamentos nos Dutos . . . 22

3 Preliminares Teóricas 23 3.1 Modelo Dinâmico do Quadrirrotor . . . 23

3.1.1 Descrição dos Movimentos do Quadrirrotor . . . 26

3.2 Modelagem do Sistema de Visão . . . 28

3.3 Configuração da Câmera-Robô . . . 30

3.4 Características de Imagem . . . 31

3.4.1 Detecção dos Pontos de Interesse . . . 31

3.4.2 O Detector SURF . . . 31

3.5 Controle por Servovisão . . . 34

3.5.1 Controle por Servovisão Baseado em Imagem . . . 35

4 Sistema Proposto 39 4.1 Protótipo de um Helicóptero Quadrirrotor . . . 39

4.1.1 Arquiteturas de Hardware e Software . . . 40

4.2 Estratégias de Controle . . . 43

4.2.1 Controle de Estabilização . . . 43

4.2.2 Controle de Posição . . . 45

4.3 Navegação Baseada em Imagem . . . 46

5 Resultados 49 5.1 Simulador Dinâmico . . . 49

5.2 Controle de Altitude e de Orientação do Quadrirrotor . . . 53

5.3 Controle de Posição do Quadrirrotor . . . 55

5.4 Estratégia de Navegação . . . 65

6 Conclusões 69

A Desenvolvimento de uma plataforma de simulação 71

B Velocidade de um corpo rígido 75

Lista de Figuras

1.1 Posicionamento relativo de um VANT. . . 3 1.2 (a) Alvo a 10 metros do VANT. Esta imagem não é apropriada para analise

de corrosões e/ou de vazamentos, pois ela está distante do sensor de aquisição de imagens ou do sensor termo-infravermelho. (b) Alvo a 2 metros do VANT. Esta imagem é apropriada para análise de corrosões e/ou de vazamentos, devido a sua proximidade ao sensor de aquisição de imagens. . . 4 1.3 Monitoramento por um VANT. . . 5 1.4 Controle em cascata para o controle de posição e atitude. Na malha

in-terna o controle de orientação é feita, o controlador recebe ângulos de referência e gera sinais de PWM, para conseguir atinjir tais ângulos. Na malha externa é feito o controle de posição. . . 6 1.5 Problema de “Restrição de visibilidade” no controle por servovisão . . . . 7 1.6 Controle por servovisão baseada em imagem . . . 8 1.7 Diagrama de blocos para a estratégia de Navegação. Na malha interna

é feito o controle de atitude e altitude do helicóptero, utilizando apenas informações inerciais fornecidas pelo AHRS. Na malha externa é feito o controle de posiçao utilizando informações de visão fornecidas pelo módulo de aquisição de imagem (Câmera). O mapa visual para navegação é feito numa fase off-line. . . . 10

2.1 Detecção de quinas. . . 17 2.2 Desaparição temporal de características . . . 19 2.3 Efeitos nos vetores de características, devido à aparição ou desaparição

de características durante a tarefa de controle . . . 20 2.4 Controle visual no espaço invariante com características ponderadas:

Es-quema de controle . . . 21

3.1 Sistema de coordenadas do quadrirrotor. Frame do Corpo fixo

Q

, Frame inercial

I

. Velocidades angulares dos rotores ωi, com seus empuxos re-spectivos Fi. . . 24

3.2 Descrição dos movimentos do Quadrirrotor. Quanto mais escuro, maior a velocidade do giro dos rotores . . . 27 3.3 Sistema de referência de coordenadas do sistema de câmara/lente . . . 28 3.4 Sistema de referência do quadrirrotor e sistema de referência da câmera . 30

3.5 Atribuição de orientação: Como a janela desliza-se em torno da origem, as componentes das respostas são resumidas para produzir os vetores, mostrado aqui em azul. O maior de tais vetores determina o vetor de

orientação dominante. . . 32

3.6 Características extraídas pelo detector-descritor SURF: Pontos escuros estão dentro do círculo de cor azul. Pontos claros estão dentro do cír-culo de cor vermelho. . . 33

3.7 Correspondência (Matching) dos pontos chave extraídos utilizando o al-goritmo SURF: imagem de referência no quadro 1 e imagem atual no quadro 2 . . . 33

4.1 Protótipo do helicóptero quadrirrotor desenvolvido no laboratório de robot-ica do DCA-UFRN. . . 40

4.2 Architetura Mestre-escravo adoptada no helicóptero quadrirrotor. . . 42

4.3 Diagrama de blocos referente à comunicação entre a estação base e o computador embarcado do quadrirrotor. . . 43

4.4 Interface gráfica da estação base . . . 44

4.5 Informações do helicóptero . . . 44

4.6 Cenário da missão de monitoramento do helicóptero . . . 45

4.7 Malhas de Controle do Quadrirrotor . . . 46

4.8 Mapa baseado em imagem . . . 47

5.1 Simulador do quadrirrotor no Matlab/Simulink . . . 50

5.2 Movimento vertical do helicóptero quadrirrotor em malha aberta . . . 51

5.3 Velocidade do helicóptero quadrirrotor gerando um movimento vertical em malha aberta . . . 52

5.4 Variáveis de posição nos respectivos eixos x,y,z do helicóptero quadrirro-tor em malha aberta . . . 52

5.5 Variáveis de orientaçãoφ,θ,ψnos respectivos eixos x,y,z do helicóptero quadrirrotor em malha aberta . . . 53

5.6 Deslocamento no eixo z em malha fechada: Posição em Z de referência é 2.0 m. . . 54

5.7 Ângulo de Rolagemφem malha fechada: Ângulo de referência de 10 graus. 54 5.8 Ângulo de Arfagemθem malha fechada: Ângulode referência de 10 graus. 54 5.9 Ângulo de Guinadaψem malha fechada: Ângulo de referência de 45 graus. 55 5.10 Posição e orientação inicial do quadrirrotor(X,Y,Z,φ,θ,ψ) = (0.5,0.3,1.2,0,0,0): Câmera embarcada e localizada a 15cm do eixo zQ do helicóptero apon-tando ao chão. . . 56

5.11 Plano da imagem (500x500): Objeto (4 pontos localizados no plano do chão) nos extremos do campo de visão. . . 56

5.12 Posição e orientação final do quadrirrotor(X,Y,Z,φ,θ,ψ) = (0.5,0.3,3,0,0,0): Câmera embarcada e localizada a 15cm do eixo zQ do helicóptero apon-tando ao chão. . . 57

5.14 (a) Velocidades do Quadrirrotor, (b) Posição do Quadrirrotor . . . 58 5.15 (a) Trajetória da câmera, (b) Trajetória das características no plano de

imagem . . . 59 5.16 (a) Imagem inicial, (b) Imagem Desejada. . . 61 5.17 Velocidades lineares no frame do helicóptero Vx, Vy e Vz, velocidades

an-gulares no frame do helicóptero Wx, Wye Wz . . . 62

5.18 Diagrama completo do sistema no Matlab/Simulink . . . 63 5.19 Controle de Posição do Quadrirrotor . . . 64 5.20 Mapa visual para navegação: Movimento lateral e movimento de guinada. 66 5.21 Velocidades lineares no frame da câmera para um movimento de guinada

do helicóptero. . . 67 5.22 Velocidades angulares no frame da câmera para um movimento de guinada

do helicóptero . . . 67

A.1 Ambiente modelado (LAMP). . . 72 A.2 Visualização das câmeras: (a) Vista da câmera em terceira pessoa. (b)

Vista da câmera em primeira pessoa. (c) e (d) Vista das câmeras em primeira e terceira pessoa. . . 73 A.3 Visualização das câmeras: (a) Movimento vertical no eixo Z (quadrirrotor

Lista de Tabelas

4.1 Massas das componentes do helicóptero quadrirrotor . . . 41

5.1 Principais parámetros do quadrirrotor . . . 51

Capítulo 1

Introdução

Uma das características básicas de processos na indústria petroquímica é o uso de substân-cias inflamáveis em elevada pressão, que normalmente são transportadas e/ou armazenadas em sistemas de tanques e dutos equipados com tecnologia a fim de garantir elevados níveis de segurança. Alguns fatores de difícil controle, na maioria das vezes associados à dete-rioração do material (corrosão e fadiga mecânica) ou à falha humana, deixam vulneráveis até os mais confiáveis sistemas que, em última instância, acabam por apresentar derrama-mento do produto por vazaderrama-mento e explosões, provocando incêndios e colocando em risco a vida dos seres humanos, além de causar prejuízos econômicos, tempo fora de operação, gastos com reparo e principalmente, a contaminação do meio ambiente.

Exigências estritas dos órgãos reguladores e pressão das entidades ambientalistas, a-liadas ainda aos prejuízos e conseqüências ambientais econômicas geradas pelos ditos vazamentos, exigem sistemas de inspeção e monitoramento constante e detalhado de to-dos os sistemas de dutos. Em geral, as atividades de monitoramento e inspeção de gaso-dutos ou oleogaso-dutos, monitoramento e manutenção de linhas de transmissão e distribuição de energia elétrica, monitoramento de rodovias, fronteiras, reservas ambientais etc., são atividades de elevada relevância para a sociedade. Para este fim, exige-se que os métodos de monitoramento sejam realizados de forma rápida e eficiente.

Em particular, se considerarmos o transporte dutoviário como referência, um dos li-mites tecnológicos é a detecção de pequenos vazamentos causados por corrosões e des-gaste ou fadiga de material. Desta forma, pode-se afirmar que a detecção e localização de vazamentos desempenham um papel importante na gestão de uma rede de gasodu-tos. Pontos de provável ruptura (decorrentes de imperfeições estruturais, corrosão, ou outros efeitos abrasivos) podem ser detectados por inspeção térmica ao longo da linha em operação normal [Sivathanu 2004]. No caso no transporte dutoviário, por exemplo, pontos de provável ruptura apresentam temperatura superior à temperatura média. Conse-qüentemente, a detecção destes pontos pode ser usada para programação de manutenção preventiva ou corretiva.

2 CAPÍTULO 1. INTRODUÇÃO

solução genérica e universal quando se trata de detecção e localização de vazamentos [Sivathanu 2004, Kuprewicz 2007, Stearns et al. 2004]. Sistemas capazes de detectar este tipo de vazamento são uma das principais demandas atuais dos operadores de dutos.

Medidas preventivas, como rondas de supervisão e inspeção aliadas com instrumen-tação, programas computacionais e hardwares apropriados para análise e detecção de co-rrosões podem minimizar vazamentos nos gasodutos e oleodutos [Wictor & Odell 2007]. Rápidos avanços em teorias de controle, assim como em tecnologias de comunicação e sensoriamento permitiram que as mesmas pudessem ser embarcadas em veículos aéreos não tripulados (VANT’s) de pequeno porte, criando a possibilidade de seu uso em missões de supervisão e inspeção de dutos.

A utilização de um helicóptero para o monitoramento e inspeção proporciona algumas vantagens sobre os métodos de inspeção tradicionais, tais como, reduzir acidentes de trabalho, a possibilidade de usar técnicas não destrutivas, tal como, o uso de sensores na faixa termo-infravermelha ou infravermelha para detecção de corrosões [Metni & Hamel 2007, Wictor & Odell 2007, Ershov et al. 2007].

Esta tese se insere em um projeto chamado AEROPETRO que foi financiado pelo PRH-14 da ANP. Este projeto visa a detecção de anomalías em instalações de petróleo mediante uma supervisão contínua executada por um veículo aéreo não tripulado multirro-tor, cujo protótipo foi desenvolvido no Laboratório de Robótica da Universidade Federal do Rio Grande do Norte (UFRN).

Inspirados nas técnicas de monitoramento de Wictor & Odell (2007), Zirning et al. (2004) e Ershov et al. (2007), nos abordamos o problema de detecção de anomalias em dutos e reservatórios, propondo a realização de missões de supervisão e inspeção dos mesmos por meio do uso de um VANT de pequeno porte do tipo helicóptero quadrirrotor devidamente instrumentado.

Uma determinada missão de monitoramento, é nada mais do que o helicóptero quadrir-rotor se deslocando até um alvo, seguindo uma determinada trajetória, capturando e pro-cessando sequências de imagens do objeto em inspeção (reservatórios e/ou dutos). As sequências de imagens capturadas devem possuir baixa distorção e baixo ruído pois, so-mente assim, será possível garantir seu processamento para detectar corrosões e presença de defeitos nos dutos em inspeção.

1.1

Descrição do Problema

Tarefas de monitoramento de dutos e reservatórios impõem alguns requisitos ao tipo de aeronave que deve ser utilizado na missão. Afim de garantir uma boa aquisição de ima-gens, o veículo aéreo deve ser capaz de realizar movimentos com baixa velocidade (pairar) e alta precisão próximo aos dutos e tanques. Devido às restrições dos ambientes, a aeron-ave deve ser capaz de decolar e pousar em espaços limitados.

1.1. DESCRIÇÃO DO PROBLEMA 3

P

n

Figura 1.1: Posicionamento relativo de um VANT.

Vôos executados próximos dos alvos e em baixa velocidade são conhecidos como posicionamento relativo de um VANT. Um exemplo de posicionamento relativo, pode ser visualizado na figura 1.1, esta figura apresenta uma sequência de imagens do mesmo obje-to (ou alvo) capturadas em posições sucessivas. A movimentação relativa, é simbolizada por(Ri,ti)com i=1,2,·,n, onde, R é a matriz de rotação de um frame para outro e t é

o vetor de translação de um frame para outro e podem ser obtidas por uma sequência de imagens.

O posicionamento relativo permite a captura de imagens com baixa distorção, baixo ruido e próximo dos alvos em inspeção. Na figura 1.2(b) pode ser visualizada uma ima-gem próxima do alvo em inspeção com baixo ruido. Imagens com baixo ruido e baixa distorção podem ser enviadas a uma estação base para uma análise qualitativa ou ainda, se for embarcada uma câmera termo-infra vermelha, permitiria a imediata deteção de corrosões, vazamentos nos dutos ou qualquer outra anomalía.

O posicionamento relativo de um VANT pode ser resolvido usando informações for-necidas pelo GPS (Global Positioning System), AHRS (Attitude and heading reference

system), sonares e principalmente por um módulo de aquisição de imagens aliadas a uma

estratégia de controle.

4 CAPÍTULO 1. INTRODUÇÃO

(a)

(b)

1.1. DESCRIÇÃO DO PROBLEMA 5

Características de referência

Extração de Características

Características atuais

Controlador Baseado em

Imagem

Pose VANT

Estabilização Atitude

Câmera Estação Base

Ambiente Características dentro

do campo de visão

Extração de Características

Figura 1.3: Monitoramento por um VANT.

visão ou tratados como controladores de alto nível que adicionados ao controle de vôo ou controle de baixo nível, resultam em um algoritmo de rastreamento visual de caracterís-ticas, controlando deslocamentos do helicóptero com relação aos alvos. Um diagrama de blocos mostrando esta abordagem pode ser visualizada na figura1.3.

Na literatura, inúmeras estratégias para controlar este tipo de aeronave (helicóptero quadrirrotor) foram propostas. Desde estratégias mais básicas formuladas a partir de con-trole linear, tais como, PD, PID [Orsag et al. 2010, Hoffmann et al. 2010, Zul Azfar & Hazry 2011, Michael et al. 2010, N & Porter 2009] até as mais avançadas, formuladas a partir de controle não linear, tais como, backstepping, backstepping Integral [Bouabdallah & Siegwart 2007, Herisse et al. 2010, Herisse et al. 2011].

No trabalho de Michael et al. (2010), a estratégia adotada foi o controle em cascata com duas malhas de realimentação, conforme mostrada na figura11.4. Nesta estratégia, a malha interna é responsável pela estabilização do sistema, ou seja, fazer com que o helicóptero atinja uma orientação particular (controle de orientação). O controlador da malha interna gera os sinais PWM de entrada (δi) para acionar cada um dos quatro mo-tores do veículo baseado nas medições dos ângulos de orientação. Já o controlador da malha externa gera referências de atitude e altitude para o controlador da malha interna a partir de referências de posiçao global X,Y e Z, permitindo a navegação. A posição de

referência global é gerada em camadas superiores por um software responsável que gera

6 CAPÍTULO 1. INTRODUÇÃO

Figura 1.4: Controle em cascata para o controle de posição e atitude. Na malha interna o controle de orientação é feita, o controlador recebe ângulos de referência e gera sinais de PWM, para conseguir atinjir tais ângulos. Na malha externa é feito o controle de posição.

a trajetória de acordo à tarefa de supervisão do helicóptero.

O problema de posicionamento relativo deve ser considerado dentro da malha externa e para sua solução (ou seja seu controle), técnicas de controle baseadas em visão são muito utilizadas, como por exemplo, as técnicas de controle por servovisão2. Estas técnicas são eficientes para controlar robôs em ambientes dinâmicos e desconhecidos [Hutchinson et al. 1996, Malis et al. 1998].

A manipulação das técnicas de controle por servovisão foram amplamente pesquisadas e formalizadas [Hutchinson et al. 1996, Malis et al. 1998, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007]. Mas seu bom funcionamento depende direta-mente de suas aplicações, pois como em muitos casos algumas características da imagem podem sair do campo de visão da câmera durante um movimento, ou seja, pode acontecer uma perda de caracterísiticas no plano da imagem, criando descontinuidades na malha de controle. Tais descontinuidades podem aparecer em situações onde a pose desejada esteja distante da pose atual, ou seja, as características de imagem são diferentes nos dois frames. Este problema no controle por servovisão é conhecido na literatura como

problema de restrição de visibilidade e tem recebido particular atenção nos anos

re-centes. Assim, pode-se afirmar que “um número mínimo de características das imagens

devem permanecer no campo de visão da câmera durante o processo de servovisão”

[Hutchinson et al. 1996, Malis et al. 1998, Chaumette & Hutchinson 2006, Chaumette & Hutchinson 2007].

Devido ao problema de restrição de visibilidade, as técnicas de controle por ser-vovisão limitam-se a aplicações onde os alvos devem ser mantidos dentro do campo de visão. Trabalhos aplicando estas técnicas para a decolagem e pouso de helicópteros, onde os alvos são marcas no ambiente, podem ser encontrados em Ludington et al. (2006) e

2_{O controle por servovisão refere-se ao uso de informação capturada por sensores de visão artificial}

1.1. DESCRIÇÃO DO PROBLEMA 7

Pose inicial

Pose Final

Figura 1.5: Problema de “Restrição de visibilidade” no controle por servovisão

Metni et al. (2005).

Álvarez (2006) aplicou estas técnicas para o seguimento de linhas de alta tensão. Em outras palavras, as técnicas de controle por servovisão foram exploradas para o posiciona-mento de um robô com relação a um alvo fixo, pemitindo estimar parâmetros de rotação e translação de uma posição à outra. Assim, pode-se dizer que apenas tarefas de navegação local3foram exploradas.

Tentar resolver o problema de navegação global4de um VANT com técnicas clássicas de controle por servovisão, estão longe de resolver tal paradigma, pois normalmente no problema de navegação, a pose desejada está muito distante da pose inicial (como pode ser observado na Figura 1.5), o que significa que num determinado momento não será possível o casamento de um mínimo de características necessárias para o funcionamento do controle, causando descontinuidade na resposta do controle. Diferentes abordagens foram propostas com o objetivo de minimizar os problemas de restrição de visibilidade no campo de visão [Malis et al. 1998, Mezouar & Chaumette 2002, Malis 2004, Aracil et al. 2005, Silveira et al. 2006].

Dentre as técnicas de controle por servovisão, o controle baseado em características de imagem é a mais utilizada devido a sua fácil implementação e principalmente por não precisar de uma calibração rigorosa da câmera. Esta técnica pode ser considerada como uma técnica de controle proporcional, pois ela compara caracterísiticas de imagem de referência com características de imagem atuais gerando um erro que deve ser

compen-3_{Tipo de Navegação que não precisa de um mapa. O robô não precisa localizar-se, apenas precisa saber}

o objetivo a ser alcançado

4_{Seguir uma trajetória fornecida por um mapa, indicando uma pose de inicio ou ponto de partida e uma}

8 CAPÍTULO 1. INTRODUÇÃO

Características de imagem de

referência Extração de características de imagem Características de imagem atuais Controle no espaço de imagem

Etapa de potência

Robô

Câmera

Vídeo +

-Figura 1.6: Controle por servovisão baseada em imagem

sado de forma proporcional no espaço da imagem, um diagrama de blocos da técnica de controle por servovisão baseado em caracterísiticas da imagem pode ser visualizado na figura 1.6.

1.2

Motivação e Justificativa

A robótica aérea vem ganhando espaço nos últimos anos na comunidade de pesquisa de robótica devido, principalmente, à evolução da ciência da computação, controle au-tomático, comunicações e tecnologias de sensores, facilitando aplicações tanto civís como militares. Dentre as aplicações podem ser consideradas tarefas de monitoramento de plan-tações de cana de açúcar [Laura et al. 2012], de linhas de transmissão e distribuição de energia elétrica [Álvarez 2006], pontes [Metni & Hamel 2007] e manutenções preventivas nas indústrias petro-químicas [Laura et al. 2009, Laura et al. 2010, Laura et al. 2011], onde muitas vezes o acesso é difícil ou perigoso para os seres humanos. Dutos, reser-vatórios entre outras instalações precisam ser periodicamente vistoriadas com o objetivo de realizar etapas de manutenção preventiva da área, que consiste em detectar compo-nentes que apresentem um alto grau de desgaste ou até mesmo falhas. Em ambientes como este, o robô não precisa cobrir uma grande área, mas sim ter um alto grau de mo-bilidade e principalmente ser capaz de realizar vôos pairados utilizando câmeras para inspeção enquanto realiza manobras para desvio de obstáculos.

1.3. OBJETIVOS 9

Do ponto de vista implementacional, pode-se classificar os trabalhos encontrados na literatura em dois grandes grupos. O primeiro deles é composto por aqueles trabalhos onde todo o processamento é embarcado no próprio robô, ou seja, o mesmo deve ser dotado de sistemas eletrônicos embarcados que possibilitem a implementação de algo-ritmos de sensoriamento, estabilização e navegação. Um enlace de rádio geralmente é utilizado para enviar dados de telemetria básicos. A presença de uma estação rádio base então, nada mais é do que uma interface homem-máquina de visualização de dados rela-cionados ao robô e a missão que lhe foi passada [Fowers et al. 2007].

Uma segunda abordagem utiliza a estação rádio base como central de processamento completa do robô. Ou seja, o veículo, geralmente muito leve, só possui sistemas eletrôni-cos embarcados mínimos necessários para adquirir os dados dos sensores, enviá-los à estação rádio base que vai processá-los e em seguida, enviar os devidos sinais de contro-le para os atuadores do robô [Altug et al. 2005, Michael et al. 2010]. Geralmente os projetos de veículos desse tipo são muito leves e possuem o tempo de vôo extremamente reduzido.

As vantagens dessa última opção em relação à primeira residem na maior simplici-dade do robô propriamente dito, já que a eletrônica embarcada é mais simples do que a necessária para cumprir todos os requisitos da primeira abordagem por exemplo. Em compensação, o grau de autonomia que o robô da segunda abordagem possui em relação à primeira é bem maior.

Em face ao descrito até então, a motivação para este trabalho foi a de desenvolver um helicóptero quadrirrotor com um certo grau de autonomia para realizar tarefas de moni-toramento aéreo de áreas pequenas cuja arquitetura embarcada de hardware e software possibilite que a maior parte do processamento seja realizado no próprio robô. As es-tratégias de controle tanto para a estabilização do quadrirrotor como para o controle de posição serão implementadas em cascata.

A justificativa para a adoção desta abordagem (controle em cascata) é que a mesma nos permitirá realizar uma estratégia de navegação sem precisar de mapas métricos.

1.3

Objetivos

O objetivo desta tese é apresentar o desenvolvimento de um protótipo do helicóptero quadrirrotor para fins de monitoramento aéreo. Para resolver o problema de navegação em ambientes tridimensionais para um helicóptero quadrirrotor inicia-se com a suposição que o controle de estabilização foi resolvido, faltando assim uma malha de controle de posição e uma estratégia para geração e rastreamento de trajetórias.

Primeiro, para o controle de posição utiliza-se uma técnica de controle por servovisão baseado em características de imagem. Para isto será necessário a extração de caracterís-ticas tipo SURF no plano de imagem para controlar os movimentos do helicóptero.

Segundo, gerar-se-á um mapa de características de imagem para fins de navegação baseada em imagem. Uma estratégia de controle visual contínuo será implementada, de modo a executar o rastreamento de trajetórias conhecidas a priori definidas pelo usuário.

10 CAPÍTULO 1. INTRODUÇÃO

medido

Figura 1.7: Diagrama de blocos para a estratégia de Navegação. Na malha interna é feito o controle de atitude e altitude do helicóptero, utilizando apenas informações inerciais fornecidas pelo AHRS. Na malha externa é feito o controle de posiçao utilizando infor-mações de visão fornecidas pelo módulo de aquisição de imagem (Câmera). O mapa visual para navegação é feito numa fase off-line.

Altug (2012), cuja malha de realimentação interna é responsável pelo controle da atitude e altitude da aeronave enquanto que a malha de realimentação externa é encarregada do posicionamento para fins de navegação, conforme mostrada na figura 1.7 .

1.3.1

Contribuições

• Um sistema de supervisão aérea para instalações de petróleo e gás é proposta.

• Uma estratégia para navegação local baseada em visão para um VANT é proposta.

• Uma estratégia de navegação global usando um mapa de características visuais, usando técnicas locais é proposta.

1.4

Organização do Trabalho

O restante desse documento encontra-se organizado como segue:

• O Capítulo 2, apresenta as diferentes abordagens para o monitoramento de insta-lações de petróleo e gás, descreve-se as diferentes técnicas para deteção de situações anómalas nas instalações de petróleo e gás. Sistemas de monitoramento aéreo serão justificados.

1.4. ORGANIZAÇÃO DO TRABALHO 11

• O Capítulo 4, apresenta uma descrição do protótipo desenvolvido, as estratégias de controle de orientação e de posição bem como a estratégia de navegação proposta.

• O Capítulo 5 traz os resultados do controle para o posicionamento do quadrirrotor na plataforma de simulação e uma missão de navegação executado pelo quadrirrotor na plataforma de simulação.

Capítulo 2

Monitoramento Aéreo

Este Capítulo apresenta as diferentes abordagens para resolver o problema de navegação e os desafios da navegação baseada em visão. Uma descrição das diferentes técnicas para deteção e localização de vazamentos em redes de dutos é feita. Por fim, abordagens para o monitoramento de instalações de petróleo e gás também são apresentadas.

2.1

Navegação Baseada em Visão

O helicóptero é um veículo aéreo mais apropriado para uma ampla variedade de opera-ções, desde busca e resgate de indivíduos (por exemplo: resgatar indivíduos presos após desastres naturais ou lançar bóias salva vidas evitando afogamentos) até missões de ins-peção e monitoramento (por exeplo: detecção de minas terrestres ou insins-peção de torres e linhas de transmissão de alta tensão para detectar defeitos de corrosão e outros). Todas estas aplicações exigem padrões de voo perigosos muito próximos do solo ou a outros ob-jetos que colocam em risco a segurança do piloto. Situações de perigo adicionais derivam de operações em áreas perigosas ou contaminadas, por exemplo, a inspeção após aci-dentes nucleares. Um helicóptero não tripulado operando de forma autônoma ou pilotado remotamente minimiza riscos e aumenta a eficácia do helicóptero. Missões típicas dos helicópteros autônomos requerem voos a baixas velocidades para percorrer uma trajetória ou pairar próximo de um objeto [Cesetti et al. 2010].

Equipamentos de posicionamento, tais como, sistemas de navegação inercial (INS) ou sistemas de posicionamento global (GPS) são bem apropriados para longo alcance e voos de baixa precisão, mas a combinação desses sensores são inadequados para voos que requerem elevada precisão e próximo dos objetos. Manobras dos helicópteros perto dos objetos requerem um posicionamento preciso com relação a eles. Assim, sensores que fornecem informação visual são uma rica fonte de dados para essa navegação relativa.

14 CAPÍTULO 2. MONITORAMENTO AÉREO

uma configuração final (posição e orientação final) percorrendo um determinado caminho planejado, desviando de obstáculos quando existirem sem intervenção de um operador hu-mano, obedecendo à restrição temporal imposta para o cumprimento dessa tarefa. Quando a distância entre essas duas posições é longa incrementa-se a dificuldade do problema. A representação do ambiente deve fornecer informação suficiente para localizar posições iniciais e desejadas, definindo assim, um caminho entre estas duas posições além de con-trolar o movimento do robô durante a navegação.

Numerosas abordagens foram propostas na literatura enfatizando diferentes aspectos do problema de navegação [Hrabar 2006, Oropeza & Devy 1997, Blanc et al. 2005]. As abordagens variam desde o tipo de sensores utilizados até a disponibilidade de in-formação a priori sobre o ambiente. Na literatura sobre planejamento de movimento os autores assumem que o modelo do ambiente é praticamente conhecido e que as leituras dos sensores fornecem estimativas exatas de posição do robô no sistema de referência global [Sasiadek 2000, Harbick et al. 2001, Zhang & Ostrowski n.d.].

Problemas de navegação global foram amplamente resolvidos por robôs equipados com dispositivos ativos, tais como sonares e telêmetros laser, mas, nos últimos anos sensores que fornecem informação visual estão sendo bastante utilizados como sensores principais para solucionar problemas de navegação. Por isso, quando problemas de nave-gação são resolvidos utilizando sensores que fornecem informação visual, as estratégias de navegação são chamadas de "estratégias de navegação baseada em visão".

Algumas técnicas de navegação baseadas em visão tem sido propostas e extensiva-mente estudadas na literatura [Kosecka 1996, Oropeza & Devy 1997, Kundur & Raviv 1998, Kundur & Raviv 2000, Blanc et al. 2005, Álvarez 2006, Hrabar 2006, Aracil 2006, Remazeilles & Chaumette 2007, Fontanelli et al. 2009]. Estas técnicas de navegação baseada em visão foram classificadas em abordagens baseadas em modelo e em abor-dagens baseadas em aparência. As aborabor-dagens baseadas em modelos correspondem a algoritmos empregando modelos métricos do espaço de trabalho do robô, onde carac-terísticas de imagem são detectadas e rastreadas nas imagens e é feita uma reconstrução 3D numa etapa off-line. A localização é feita por meio do casamento das características no modelo com as observadas na imagem atual, a posição e orientação é calculada apartir de correspondências 3D-2D. A exatidão desta abordagem depende em grande parte das características utilizadas para rastrear-se, da robustez do descritor das características e do método para o casamento de imagens e a reconstrução das vistas.

2.1. NAVEGAÇÃO BASEADA EM VISÃO 15

de interesse atrativo, devido a que a modelagem dos objetos é substituído pela memoriza-ção de vistas, que é muito mais fácil do que modelagem 3D [Kosecka 1996, Oropeza & Devy 1997, Blanc et al. 2005, Remazeilles & Chaumette 2007, Fontanelli et al. 2009].

Neste contexto, o sistema de navegação proposto no trabalho de Kosecka (1996), o

ambiente foi representado por nós no grafo e a navegação foi definida como o percurso

de um grafo que corresponde a uma seqüência de posições relativas das tarefas a serem efetuadas, onde o posicionamento relativo é completado pela estratégia de malha fechada do controle com relação ao ambiente. A trajetória foi realizada durante o percurso dos grafos que tinham que ser visitados desde a posição inicial até a posição final.

O problema de navegação autônoma baseada em técnicas de controle visual no tra-balho de Oropeza & Devy (1997), foi abordado como uma seqüência de movimentos básicos controlados por visão, tais como, posicionar-se frente a um objeto, seguir um

muro, girar ao redor de uma esquina. Conseguindo dessa forma, enviar ao robô um

ca-minho a ser seguido, em forma de uma seqüência de comandos simples controlados por visão até encontrar uma posição final desejada.

No trabalho de Blanc et al. (2005) foi apresentada uma estrutura original de navegação baseada em imagem dedicada para robôs móveis não-holonômicos. Esta abordagem foi feita no contexto de navegação em ambientes internos. Esta estratégia começa com o aprendizado do ambiente e armazenamento de um grafo de caminhos visuais, o qual foi chamado de memória visual. A missão de navegação dentro desta memória visual foi uma rota visual. Esta rota visual foi feita de uma seqüência de “imagens chave” que descreve o ambiente no espaço do sensor como um caminho admissível para o robô. Esta rota visual foi executada com a ajuda de uma lei de controle por servovisão, na qual foi adaptada à não-holonomia do robô sem exigir nenhuma localização geométrica absoluta do robô.

No trabalho de Remazeilles & Chaumette (2007) abordou-se o problema de navegação baseada em visão, propondo uma lei de controle para executar a navegação. A abordagem completa fundamenta-se na representação do ambiente baseado em aparência, onde a cena é diretamente definida no espaço do sensor por uma base de dados de imagens adquiridas durante uma fase de aprendizagem. Nesse contexto, o caminho a seguir foi descrito por um conjunto de imagens, ou caminhos de imagens extraídos desde a base de dados. Este caminho de imagem foi projetado para fornecer informação suficiente para o controle do robô. A contribuição principal do trabalho foi a lei de controle em malha fechada que aciona o robô para uma posição desejada utilizando dito caminho de imagem. O controle não exige uma reconstrução global 3D ou uma etapa temporal de planejamento. Além disso, o robô não é restrito a convergir diretamente sobre cada imagem do caminho, mas sim para sua trajetória de forma automática. Assim, um processo de controle por sevo-visão qualitativo foi proposto permitindo aumentar o espaço de convergência em direção da posição em uma faixa dentro de um intervalo de confiança.

16 CAPÍTULO 2. MONITORAMENTO AÉREO

das abordagens acima descritas, pois precisa-se da intervenção de um operador humano toda vez que o robô terá de movimentar-se num novo espaço de trabalho, e aumenta a dificuldade quando os ambientes são extensos.

2.2

Extração de Características de Imagem

Hutchinson et al. (1996) definiu uma característica de uma imagem como qualquer ca-racterística estrutural que pode ser extraída de uma imagem, estas podem ser linhas e quinas, área e cor, bordas, curvas e/ou contornos. Tipicamente características de imagens correspondem a projeções das características físicas dos objetos no plano da imagem da câmera. Um parâmetro característico de uma imagem é qualquer valor real calculado a partir de uma ou mais imagens. Estes valores incluem áreas, momentos, relação entre regiões ou vértices.

Características diferenciadas ou também conhecidas como características relevantes, são aquelas que podem ser detectadas inequivocamente (de forma não ambígua) desde diferentes vistas da cena. Em geral existem diferentes tipos de características adequadas para o rastreamento. Por exemplo, linhas e quinas, área e cor, bordas, curvas e/ou con-tornos. Mas, a escolha de uma ou outra, depende do contexto e a aplicação final. Algu-mas características usualmente têm propriedades que são mais diferenciadas que outras em diferentes situações, por esta razão, o algoritmo deve ser capaz de escolher, dentre as disponíveis, a melhor característica para o rastreamento [Álvarez 2006].

Existem métodos que obtêm os pontos de máxima curvatura de uma imagem uti-lizando diretamente os valores dos pixeis. Estes métodos definem uma medida que é chamado de “quina”, a qual calcula-se para todos os pontos da imagem. Quando esta medida supera um determinado limiar considera-se que o ponto é uma quina. A maio-ria destes métodos utilizam operadores diferenciais. Um dos primeiros trabalhos desen-volvidos para detecção de pontos característicos em imagens foi proposto por Moravec (1977). A variação de intensidade para cada pixel da imagem é calculada como a soma dos quadrados das diferenças entre os pixeis adjacentes, localizados em cada uma das quatro direções (horizontal, vertical e duas diagonais) sobre uma vizinhança centrada no pixel. A variação mínima entre esses quatro valores é tomada como uma medida de in-teresse. Se essa medida for superior a um limiar, o pixel será considerado uma junção ou um canto da imagem; caso contrário, o pixel é descartado.

Os primeiros operadores que calculavam o valor das quinas, utilizavam derivadas de segunda ordem, infelizmente estes operadores são altamente sensíveis a ruídos. Poste-riormente, baseado nas idéias de Moravec,foi proposto por Harris & Stephens (1988) um novo método de detecção de pontos característicos calculando apenas derivadas de primeira ordem, o que o torna menos sensível ao ruido. Este método é conhecido como o

detector de Harris.

2.2. EXTRAÇÃO DE CARACTERÍSTICAS DE IMAGEM 17

Figura 2.1: Detecção de quinas.

uma janela retangular, calcula-se a variação da intensidade da imagem deslocando-se ligeiramente uma janela. Uma quina é caracterizada por elevadas mudanças de inten-sidade (ver figura 2.1). O detector de Harris é um popular detector de pontos de interesse, devido a sua forte invariância a rotação, escala e variação de iluminação e também por ser menos sensível a perturbações.

Outro método para determinação de características é o detector de congruência de fase [Kovesi 2003]. Este detector utiliza medidas de energia para localizar bordas e quinas. Tal medida são invariantes ao contraste de imagem. Além disso, tal detector, permite ainda detectar bordas e quinas simultaneamente, possibilitando o uso cooperativo de ambas informações.

Por outro lado, existem alguns métodos que são capazes de, além de determinar ca-racterísticas, também criarem descritores, que têm informações relevantes sobre tais, de tal forma que seja possível identificá-las, somente com a informação destes descritores. Os mais importantes são SIFT (Scale-invariant feature transform), GLOH (Gradient lo-cation and orientation histogram), SURF (Speeded Up Robust features) e LESH (Lo-cal energy based shape histogram). Tais descritores costumam ser invariantes a diversas transformações, como rotação, translação, escala, além de possuirem robustez a ruído e iluminação.

18 CAPÍTULO 2. MONITORAMENTO AÉREO

2.3

Desafios para Navegação Aérea

Missões de monitoramento executados pelos VANT’s precisam que o problema de nave-gação seja resolvido. Assim, para possibilitar a navenave-gação baseada em visão dos VANT’s, as técnicas utilizadas em robôs móveis que atuam no chão (ou seja, no espaço bidimen-sional) devem ser extendidas para robôs que atuam no espaço tridimensional. Técnicas de controle atualmente utilizadas são em sua maioria desenvolvidas com ajuda de sistemas de visão utilizando servovisão como um método de controle [Amidi et al. 1999, Mezouar & Chaumette 2002, Metni et al. 2005, Aracil 2006, Álvarez 2006, Ludington et al. 2006, Fontanelli et al. 2009].

Mas, como foi dito, existem algumas limitações para o uso das técnicas clássicas de controle por servovisão. No contexto de navegação global baseada em visão, isto deve-se, principalmente às limitações do sensor, pois sabe-se que este somente consegue capturar imagens do entorno imediato, criando-se assim um problema quando a pose desejada estiver distante da pose inicial. Este problema é conhecido como restrição de visibili-dade, e que inspirou alguns pesquisadores a propor diferentes soluções para o mesmo [Malis et al. 1998, Mezouar & Chaumette 2000, Mezouar & Chaumette 2000, Mezouar & Chaumette 2002, Silveira et al. 2006].

Com o fim de atacar o problema de restrição de visibilidade, Mezouar & Chaumette (2002), desenvolveram uma solução elegante e estendida que baseia-se na planificação de trajetórias no plano da imagem utilizando técnicas de campos de potencial, garantindo a visibilidade de todas as características durante a tarefa de controle. O campo de po-tencial atrativo produz o rastreamento da trajetória previamente planejada, já o campo de potencial repulsivo, contempla as restrições de visibilidade e restrições mecânicas. A trajetória da câmera resultante desvia-se da ótima quando as forças induzidas pelo campo de potencial repulsivo atuam. Como era de esperar-se, esta abordagem não está livre de algumas falhas, apresentando problemas de mínimos locais, pela não satisfação de todas as restrições, induzindo a erros ao planejador.

Uma outra solução para este problema foi apresentado por Malis (2004), que propõe uma estratégia de controle por servovisão livre de parâmetros intrínsecos. Esta abor-dagem é baseada nas projeções dos pontos característicos da imagem no espaço projetivo que é invariante aos parâmetros intrínsecos da câmera. Por tanto, esta abordagem, permite variar o “zoom” da câmera durante o controle, com o fim de manter todas as caracterís-ticas dentro do campo de visão. Variar o “zoom” de uma câmera durante o controle de posição e orientação com relação a um objeto tem muitas vantagens, tais como robustez na extração de características, maior precisão no posicionamento, garantir a visibilidade das características, mas, infelizmente, nem sempre é possível conseguir com sucesso todas essas vantagens variando-se o “zoom”.

2.3. DESAFIOS PARA NAVEGAÇÃO AÉREA 19

Imagens adquiridas pela câmera em diferentes instantes de amostragem

1 1 1 2 2 2 ₃ 3 3 4 4 4 5 5 5 6 6 6 7 7 7 8 8 8

Imagem em T0 Imagem em TK Imagem em TK+N

Figura 2.2: Desaparição temporal de características

por servovisão baseado em imagem o controle é definido no espaço da imagem. Assim, o efeito produzido pela perda e recuperação de características no plano da imagem é a descontinuidade na lei de controle, dependendo da magnitude da descontinuidade, movi-mentos não desejados podem ser produzidos na câmera, conseqüentemente no robô.

A técnica clássica de controle por servovisão baseada em imagem pode ser utilizada permitido a desaparição temporal de características durante a execução de uma tarefa. Mas Aracil et al. (2005), desenvolveu a estratégia de controle no espaço invariante, devido a sua versatilidade. Para explicar os efeitos produzidos na lei de controle pela aparição/desaparição de características, considera-se uma tarefa de posicionamento padrão. O objetivo é fazer que o robô siga uma referência de posição e orientação, ou seja, fazer que o vetor que contêm a informação atual de características da imagem convirja para o vetor de características de referência. Quando uma ou mais características saem do plano da imagem ou reingressam, nestes casos (veja figura 2.3) ter-se-á de eliminá-las do vetor de características atuais s e do vetor de características de referência s∗ . Quando uma ou mais características novas ingressem no plano da imagem ter-se-á de adicioná-las, tanto no vetor de características atuais, como no vetor de características de referência. Esta vari-ação nos vetores de características atuais e nos de referência produz uma descontinuidade na lei de controle. A magnitude da descontinuidade depende do número de características que aparecem ou desaparecem no plano da imagem num mesmo instante, a distância entre as características atuais e de referência e a pseudo-inversa da matriz de interação L+_e.

20 CAPÍTULO 2. MONITORAMENTO AÉREO

sj

Plano da imagem Plano da imagem

sn+1

s= [s1,···,sj,···sn]T

s∗= [s∗₁,···,s∗_j,···s∗_n]T

s= [s1,···,sn,sn+1]T

s∗= [s∗₁,···,s∗_n,s∗_n+1]T

Eliminar

Adicionar

Figura 2.3: Efeitos nos vetores de características, devido à aparição ou desaparição de características durante a tarefa de controle

de referência. Na figura 2.4 ilustra-se o diagrama de blocos da solução ao problema da presença temporal de características na imagem (figura extraída de Aracil (2006))

Esta última abordagem desenvolvida por Aracil et al. (2005), estendeu-se para re-solver problemas de navegação visual como uma tarefa de navegação global e contínua de um robô móvel desenvolvida em Aracil (2006). Dita abordagem difere das desenvolvi-das por Kosecka (1996) e Oropeza & Devy (1997) em vista que, a navegação global foi formulada como um problema de sequências de posicionamentos relativos, onde o posi-cionamento relativo é realizado por uma estratégia baseada no uso de informação visual com relação ao ambiente em malha fechada. Já Kosecka (1996) mostrou como utilizar a informação visual para derivar tais estratégias e como particionar o modelo do ambiente, de tal forma que existam estratégias apropriadas para toda configuração do robô.

A descrição dos trabalhos acima citados, em sua maioria é focada em estratégias de navegação adotadas para robôs que atuam em espaços bidimemsionais, o desafio maior nesta tese, é estender o uso dessas técnicas de navegação para robôs que interagem em espaços tridimensionais.

2.4

Monitoramento de Instalações de Petróleo e Gás

2.4. MONITORAMENTO DE INSTALAÇÕES DE PETRÓLEO E GÁS 21

Figura 2.4: Controle visual no espaço invariante com características ponderadas: Es-quema de controle

instalação de mediano porte, para detectar a existência de vazamentos de gás e corrosões nos dutos, dependendo do tipo da técnica precisa-se de muitos sensores em série colo-cados nos dutos e operários para supervisar os dados. Contudo, quando a rede de dutos ocupa áreas extensas (por exemplo, conexão de dutos de gás Bolivia-São Paulo), além dos métodos não serem eficientes, são mais custosos ainda.

Veículos aéreos, tal como helicópteros, dotados de sensores apropriados e um com-putador embarcado, fazem uso dos métodos térmicos1e de técnicas de processamento de imagens. Os helicópteros são os mais indicados para realizar tais tarefas [Sivathanu 2004, Ershov et al. 2007, Zirning et al. 2004].

Da mesma forma, derramamento de petróleo e incêndios, podem ser detectados uti-lizando apenas, um sensor de visão artificial (câmera) embarcado no helicóptero, combi-nado com técnicas de processamento de imagens. Isto é possível, devido às características de cor do petróleo e do fogo, quando recolhidas as informações.

1_{Este método térmico detecta o vazamento de gás natural nos dutos devido a diferencias de temperatura}

22 CAPÍTULO 2. MONITORAMENTO AÉREO

2.5

Técnicas para Detecção e Localização de Vazamentos

nos Dutos

Na literatura encontrou-se uma variedade de métodos para a detecção de vazamentos de gás em dutos, desde a classificação de manuais de inspeção usando cães treinados até satélites avançados baseados em imagens hiper-espectrais. Sivathanu (2004) classificou os métodos para detecção de vazamentos de gás em dois grupos: os métodos óticos e os não óticos. Os métodos tais como, monitoramento acústico, amostragem de gás, moni-toramento de solo (chão), monimoni-toramento por fluxo e software baseado em modelagem dinâmica, são classificados como métodos não óticos e são mais utilizados em plantas de pequenas áreas, porém mais custosas para plantas de áreas extensas.

Os métodos óticos para detecção de vazamentos de gás, classificam-se em: passivos e ativos. Os métodos ativos iluminam a área sobre o oleoduto com um laser ou uma fonte de banda larga. A absorção ou espalhamento causado pelas moléculas do gás na-tural sobre a superfície é monitorado usando uma gama de sensores para ondas específi-cas. Se existe significante absorção ou espalhamento sobre o oleoduto, então presume-se existência de vazamento. As técnicas básicas para monitoramento ativo incluem dio-dos laser ajustáveis de absorção espectroscópica (Tunable Diode Laser Absorption

Spec-troscopy TDLAS), Laser induzindo Fluorescência (LIF), Espectroscopia anti-raman

coe-rente (CARS), Transformada de Fourier de espectroscopia infra vermelha (FTIR) e Sen-soriamento evanescente [Sivathanu 2004].

O monitoramento passivo de vazamento de gás natural é similar ao monitoramento ativo em muitos aspectos. Contudo, a maior diferença entre as técnicas passivas e ativas é que as técnicas passivas não precisam de uma fonte. A própria radiação emitida pelo gás serve como fonte. Isto faz o sistema passivo menos custoso, mas, utilizam-se detectores e gravadores de imagens com certo custo elevado. Os dois maiores tipos de sistemas passi-vos usados para a detecção e localização de vazamento de dutos de gás são imageamento térmico e imageamento multi-onda [Sivathanu 2004, Ershov et al. 2007].

Capítulo 3

Preliminares Teóricas

Neste capítulo descreve-se a fundamentação teórica necessária para a compreensão da estratégia de navegação baseada em visão de um VANT proposta nesta tese. Inicia-se com a modelagem matemática e a descrição do funcionamento do helicóptero qua-drirrotor. A modelagem do sistema de visão também é feita. Apresenta-se também a técnica para a extração de características de imagem que serão utilizadas no controle de posicionamento do robô. Por fim, a técnica de controle por servovisão utilizada nesta tese será apresentada.

3.1

Modelo Dinâmico do Quadrirrotor

Modelos matemáticos completos que descrevem a dinâmica do helicóptero quadrirrotor podem ser encontrados em Bouabdallah & Siegwart (2007) e Sanca et al. (2008). Mas, para fins de compreensão do texto a modelagem do quadrirrotor será feita a seguir.

O helicóptero quadrirrotor é constituído por quatro rotores com dimensões iguais e acoplados a quatro motores, que são fixados nas quatro extermidades de uma estrutura em forma de "cruz". Na figura 3.1 o sistema de referências do helicóptero quadrirrotor em vôo pairado é mostrado. Define-se_{

I

_}como o referencial inercial fixo na Terra e _{

Q

_}, como um referencial fixo no robô. Fieωicom i=1,2,3,4 são respectivamente as forças

de empuxo e as velocidades angulares dos rotores. ξ= (x,y,z)′ e ϕ= (φ,θ,ψ)′ são os vetores que indicam a posição (altitude) e a orientação (atitude) do helicóptero no frame fixado ao robô_{

Q

_} com relação ao frame inercial_{

I

_}, respectivamente. Os ângulos de atitude_{φ,θ,ψ_}são chamados de, ângulo de Rolagem que varia de(₋π₂<φ<π₂), ângulo Arfagem que varia de(₋π₂ <θ< π₂)e o ângulo de Guinada que varia de(₋π<ψ<π), todos em_R.

O movimento do quadrirrotor é restrito a seis graus de liberdade de acordo com o frame de referência _{

Q

_}, três graus de liberdade para a velocidade de deslocamento ou translação V= [Q_v

x,Qvy,Qvz]′ e três graus de liberdade para a velocidades de rotação

Ω= [QΩx_,QΩy_,QΩz_]′_{. As relações entre os vetores de velocidade (V,Ω) e (˙ξ,ϕ˙) são:}

_˙

ξ=RtV;

Ω=Rrϕ˙,

(3.1)

veloci-24 CAPÍTULO 3. PRELIMINARES TEÓRICAS

Direita Esquerda

Atrás

Frente

Figura 3.1: Sistema de coordenadas do quadrirrotor. Frame do Corpo fixo

Q

, Frame inercial

I

. Velocidades angulares dos rotoresωi, com seus empuxos respectivos Fi.

dade de rotação entre

Q

e

I

, respectivamente. Onde Rt e Rr resultam de,

Rt=Rz,ψRy,θRx,φ (3.2)

e

Rr= 

 10 cosφ0 sin−φcossinθθ 0 ₋sinφ cosφcosθ



. (3.3)

Usando as leis de Newton-Euler, o modelo mecânico do quadrirrotor pode ser ex-presso como:

F₋Faero−Fgrav=m ˙V+Ω×(mV); (3.4)

3.1. MODELO DINÂMICO DO QUADRIRROTOR 25

onde, m e J_∈R3×3 são a massa total e a matriz de inércia do quadrirrotor,

respectiva-mente. Faero,Fgraveτaero, são os efeitos físicos presentes no quadrirotor. F eτem (3.4) e

(3.5) são os vetores da força de empuxo total e do momento (ou seja, torques de Rolagem, Arfagem e Guinada), respectivamente, gerados pelos quatro rotores definidos como:

F=      0 0 4

∑

i=1

Fi    

; (3.6)

e τ=         d √

2(F1−F2−F3+F4)

d

√

2(−F1−F2+F3+F4)

4

∑

i=1

(₋1)iQi

        . (3.7)

As forças externas e momentos em (3.6) e (3.7) devem-se à configuração dos qua-tro rotores propulsores, conforme ilustrado na figura 3.1, cada rotor produz um empuxo independente Fi e um torque Qi, i∈ {1,2,3,4}. d é a distância do centro de massa do

quadrirrotor ao eixo de cada rotor.

A força de reação aerodinâmica Faero, a força de reação gravitacional Fgrave o torque

de reação aerodinâmicaτaero que atuam no quadrirrotor em (3.4) e (3.5), podem ser ex-pressas como,

Faero=KtV; (3.8) Fgrav=mRtTG; (3.9)

τaero=KrΩ, (3.10)

onde, G= [0,0,g]′é o efeito da gravidade, g=9.81m/s2. Kt e Krsão matrizes diagonais

de atrito aerodinâmico linear e rotacional com parâmetros Kt e Kr, respectivamente.

A estrutura mecânica do quadrirrotor é em forma de cruz, é uma estrutura que suporta os quatro motores nos seus extremos e a eletrônica e baterias concentram-se na interseção da estrutura. Assim, a matriz de inércia é constante e simétrica sobre os três eixos, por isso Jxy=Jxz=Jyz=0 o que significa que

J=



 J0x J0y 00

0 0 Jz 

. (3.11)

Derivando em relação ao tempo a equação (3.1) resulta em

¨

ξ=RtV˙ +R˙tV (3.12)

˙

Ω=Rrϕ¨+ _∂R

r ∂φ φ˙+

∂Rr ∂θ θ˙

˙

26 CAPÍTULO 3. PRELIMINARES TEÓRICAS

Da equação (3.12)

˙

V=R_tT

¨

ξ_−R˙_{tV, (3.14)}

onde ˙Rt=RtS(Ω), S(Ω)indica a matriz skew-symmetric, tal que S(Ω)V=Ω×V para o

produto vetorial_×e qualquer vetor V_∈R3.

Utilizando as equações (3.8), (3.9) e (3.14) na equação (3.4), obtem-se:

¨

ξ=₋G₋ 1

mRtKtR

T t ξ˙+

1

mRtT (3.15)

Seguindo o mesmo procedimento para as componentes angulares e utilizando as equações (3.1), (3.10) e (3.13) na equação (3.5), obtem-se:

¨

ϕ = ₋R−_r1J−1(Rrϕ˙×JRrϕ˙)−R−r 1J−1KrRrϕ˙−R−r 1 _∂R

r ∂φ φ˙+

∂Rr ∂θ θ˙

˙

ϕ+

+R−_r1J−1τ (3.16)

T=      0 0

ρCTAR2 4

∑

i=1 ω2 i      (3.17) τ=         l √

2ρCTAR

2(ω2

1−ω22−ω23+ω24)

l √

2ρCTAR

2₍₋ω2

1−ω22+ω23+ω24)

ρCQAR3

4

∑

i=1

(₋1)iω2_i

        (3.18)

onde CT e CQ são coeficientes de empuxo e torque, respectivamente,ρé a densidade do

ar e A é a área do disco da hélice. Para detalhes da obtenção destes parâmetros deve-se consultar [Sanca et al. 2008]

O modelo dinâmico de helicóptero quadrirrotor é expresso pelas equações (3.15), (3.16), (3.17) e (3.18). Pode-se perceber que este sistema tem seis saídas_{x,y,z,φ,θ,ψ_}e apenas quatro entradas_{ω1,ω2,ω3,ω4_}. Por isto, este tipo de sistemas é conhecido como um sistema subatuado.

3.1.1

Descrição dos Movimentos do Quadrirrotor

Os movimentos básicos do helicóptero quadrirrotor podem ser visualizados na figura 3.2. Movimentos verticais (sobe-desce) são gerados pelo incremento ou decremento propor-cional das velocidades nos rotores. Um par de rotores opostos gira no sentido horário enquanto que o outro par gira no sentido anti-horário equilibrando o momento angular.

Para produzir o movimento de guinada em torno do eixo ZQ é necessário diminuir

ve-3.1. MODELO DINÂMICO DO QUADRIRROTOR 27

1 2

3

4

1

1 1

4

4 4

3

3 3

2

2 2

Movimento Vertical Movimento de Guinada

Movimento no eixo Movimento no eixo

28 CAPÍTULO 3. PRELIMINARES TEÓRICAS

Plano da Imagem y

z

(u,v)

f

Ponto de vista

x

P= (X,Y,Z)

objeto

imagem

Figura 3.3: Sistema de referência de coordenadas do sistema de câmara/lente

locidade nos rotores 2 e 4 ou vice-versa. Desta forma, o empuxo ascendente é mantido enquanto que um torque diferencial é gerado, produzindo a guinada.

Para produzir rotações em torno dos eixos XQe YQ, movimentos de rolagem e arfagem

respectivamente, basta aumentar a velocidade de um rotor diminuindo proporcionalmente a velocidade do seu par oposto. Desta forma gera-se um torque diferencial que produz as inclinações desejadas. Assim, tendo um ângulo de rolagem ou arfagem definidos, surge uma componente horizontal do empuxo que é responsável pelo deslocamento do veículo ao longo dos eixos X e Y do mundo.

3.2

Modelagem do Sistema de Visão

Para fazer uso das informações fornecidas pelo sistema de aquisição de imagens, é ne-cessário entender os aspectos geométricos do processo de imageamento. Cada câmera contém uma lente que forma uma projeção 2D da cena no plano da imagem onde o sensor é localizado. Esta projeção causa uma perda direta informação de profundidade, pois qualquer ponto sobre um raio projetado no plano de imagem é mapeado em um único ponto neste plano. Por isso, alguma informação adicional é necessária para determinar as coordenadas 3D correspondentes a um ponto no plano da imagem. Esta informação pode ser proveniente de múltiplas câmeras, múltiplas vistas com uma simples câmera ou conhecimento das relações geométricas entre alguns pontos característicos do alvo (objeto). Nesta tese utilizou-se o modelo de projeção perspectiva.

Para o modelo de projeção designa-se o sistema de coordenadas da câmera com os eixos x e y, formando uma base para o plano da imagem, o eixo z perpendicular ao plano da imagem (ao longo do eixo óptico) e com a origem a uma distância f atrás do plano de imagem, onde f é a distância focal da lente da câmera, conforme ilustrado na figura 3.3.

3.2. MODELAGEM DO SISTEMA DE VISÃO 29

ao sistema de referência coodenadas da câmera,

C

, serão projetadas no plano de imagem com coordenadas p= (u,v)T_{, dado por}

π(x,y,z) =

u v = f Z X Y (3.19) ou ainda

x = X_Z = (u₋cu)/fu (3.20)

y =Y_Z = (v₋cv)/fv

onde m= (u,v) dá as coordenadas do ponto no plano da imagem e está expresso em unidades de pixel, e a= (cu,cv,fu,fv)é o conjunto dos parâmetros intrínsecos da câmera.

cue cvsão as coordenadas do ponto central da imagem, fue fvsão as distâncias focais.

A variação no tempo de um ponto no plano da imagem é dada por

˙

x =X˙

Z −

X ˙Z

Z2 =

˙

X₋x ˙Z

Z (3.21)

˙

y =Y˙

Z−

Y ˙Z

Z2 =

˙

Y₋y ˙Z Z

A velocidade de um ponto no espaço tridimensional e a velocidade da câmera podem ser relacionadas pela seguinte equação:

˙

X=₋υc₋Ωc_×X_⇔      ˙

X =₋υx₋ΩyZ+ΩzY

˙

Y =₋υy₋ΩzX+ΩxZ

˙

Z =₋υz₋ΩxY+ΩyX

(3.22)

onde, υc é a velocidade linear instantânea e Ωc é a velocidade angular instantânea da câmera. Substituindo a equação 3.22 na equação 3.21, pode-se obter:

˙

x =−υx

Z +

xυz

Z +xyΩx−(1+x

2_{)Ωy+yΩz (3.23)}

˙

y =−υy

Z +

yυz

Z + (1+y

2₎Ωx_−xyΩy_−xΩz

A equação 3.23 pode ainda ser escrita como:

˙x=LxVc (3.24)