PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA ELÉTRICA E INFORMÁTICA INDUSTRIAL
PIATAN SFAIR PALAR
INTERFACE DE CONTROLE POR MÉTODOS DE AUTONOMIA
ADAPTÁVEL DESLIZANTE PARA ROBÔS DE INSPEÇÃO
DISSERTAÇÃO
CURITIBA 2020
INTERFACE DE CONTROLE POR MÉTODOS DE AUTONOMIA
ADAPTÁVEL DESLIZANTE PARA ROBÔS DE INSPEÇÃO
Dissertação apresentada ao Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial (CPGEI) da Universidade Tecnológica Federal do Paraná (UTFPR) como requisito à obtenção do título de “Mestre em Ciências”. Área de Concentração: Engenharia de Automação e Sistemas.
Orientador: Prof. Dr. André Schneider de Oliveira
CURITIBA 2020
Dados Internacionais de Catalogação na Publicação
Palar, Piatan Sfair
Interface de controle por métodos de autonomia adaptável deslizante para robôs de inspeção [recurso eletrônico] / Piatan Sfair Palar. -- 2020. 1 arquivo eletrônico (80 f.): PDF; 7,31 MB.
Modo de acesso: World Wide Web.
Texto em português com resumo em inglês.
Dissertação (Mestrado) - Universidade Tecnológica Federal do Paraná. Programa de Pós-graduação em Engenharia Elétrica e Informática Industrial. Área de Concentração: Engenharia de Automação e Sistemas. Linha de Pesquisa: Sistemas de Controle e Automação, Curitiba, 2020.
Bibliografia: f. 73-80.
1. Engenharia elétrica - Dissertações. 2. Interação homem-máquina. 3. Robôs - Controle automático. 4. Radiofrequência. 5. Sistemas difusos. 6. Sistema inteligentes de controle. 7. Eletromiografia - Métodos. 8. Fusão de dados multisensores. 9. Tanques de armazenamento - Inspeção. 10. Simulação (Computadores). I. Oliveira, André Schneider de, orient. II. Universidade Tecnológica Federal do Paraná. Programa de Pós-graduação em Engenharia Elétrica e Informática Industrial. III. Título.
CDD: Ed. 23 -- 621.3
Biblioteca Central do Câmpus Curitiba - UTFPR Bibliotecária: Luiza Aquemi Matsumoto CRB-9/794
Ministério da Educação
Universidade Tecnológica Federal do Paraná Diretoria de Pesquisa e Pós-Graduação
TERMO DE APROVAÇÃO DE DISSERTAÇÃO
A Dissertação de Mestrado intitulada “Interface de Controle por Métodos de Autonomia Adaptável Deslizante para Robôs de Inspeção” defendida em sessão pública pelo(a) candidato(a) Piatan Sfair Palar, no dia 10 de julho de 2020, foi julgada para a obtenção do título de Mestre em Ciências, Área de Concentração: Engenharia de Automação e Sistemas, Linha de Pesquisa: Sistemas de Controle e Automação, e aprovada em sua forma final, pelo Programa de Pós-Graduação em Engenharia Elétrica e Informática Industrial - CPGEI.
BANCA EXAMINADORA:
Prof. Dr.André Schneider de Oliveira (presidente) - UTFPR
Prof. Dr. João Alberto Fabro - UTFPR
Prof. Dr. Plinio Thomaz Aquino Junior - FEI
A via original deste documento encontra-se arquivada na Secretaria do Programa, contendo a assinatura da Coordenação após a entrega da versão corrigida do trabalho.
_____________________________________________________ Carimbo e Assinatura do(a) Coordenador(a) do Programa
Agradeço aos meus pais, Liamir e Humberto, pelo amor e apoio incondicional. Agradeço às minhas irmãs Indiara e Samara e meu sobrinho Yan pelo apoio e incentivo. Agradeço ao meu orientador André Schneider de Oliveira pela oportunidade, confiança, orientação, dedicação e apoio. Agradeço aos professores que me auxiliaram nesta caminhada. Agradeço aos colegas e amigos que me incentivaram e apoiaram nesta jornada.
PALAR, Piatan Sfair. Interface de Controle por Métodos de Autonomia Adaptável Deslizante para Robôs de Inspeção. 2020. 82 f. Dissertação (Mestrado em Engenharia
Elétrica e Informática Industrial) – Universidade Tecnológica Federal do Paraná. Curitiba, 2020.
Este trabalho realiza uma implementação de uma interface humano-robô para um robô escalador de inspeção de cordões de solda em tanques de armazenamento na indústria petroquímica. Para realizar esta interface, primeiramente foi apresentada uma pesquisa do estado da arte em Interação Humano-Robô, Autonomia, Autonomia Variável e Modos de Autonomia em sistemas robóticos e sistemas autônomos em geral. Após isto, um sistema controlador de rádio frequência transmissor-receptor comumente utilizado para comandar gruas, guindastes e pontes rolantes foi especificado e adaptado para controlar o robô. um driver foi desenvolvido para tornar este controlador compatível com o sistema robótico ROS (Robot Operating System), utilizado neste trabalho. Para auxiliar no controle e adquirir mais dados de entrada do operador, foi adicionado um bracelete eletromiográfico comercial chamado Myo. Este bracelete é utilizado no antebraço e é capaz de detectar gestos do operador e ângulos de rotação do braço. As informações do controle industrial e do bracelete são utilizadas para comandar o robô através de um controlador Fuzzy. Este controlador atua na variação da autonomia durante a operação do robô, utilizando como entrada dados da velocidade angular aplicada no controle industrial, leitura de eletromiografia, posição do cordão de solda no tanque de armazenamento e os ângulos de rotação executados pelo antebraço do operador, gerando um sistema que é capaz de reconhecer a habilidade e corrigir erros do operador em tempo de operação. A saída do controlador Fuzzy é o modo de autonomia a ser aplicado no robô. Os modos aplicados foram: Manual, onde o operador controla a velocidade angular e linear do robô; Compartilhado, onde as velocidades angular e linear do robô são divididos entre o operador e o sistema autônomo do robô; Supervisório, onde o robô controla a velocidade angular, mantendo-se sobre o cordão de solda, e o operador controla a velocidade linear; e Autônomo, onde apenas o ponto final é definido pelo operador e o robô controla as velocidades linear e angular. Estes modos além do modo de Autonomia Variável foram analisados através de experimentos com o robô em ambiente simulado, demonstrando a utilidade de cada um destes modos em situações diversas.
Palavras-chave: Interface Humano-Robô. Autonomia Variável. Modos de Autonomia. Contro-lador Fuzzy. Bracelete Myo.
PALAR, Piatan Sfair. Control Interface through Adaptable Sliding Autonomy Methods for Inspection Robots. 2020. 82 p. Dissertation (Master’s Degree in Electrical Engineering and Industrial Informatics) – Universidade Tecnológica Federal do Paraná. Curitiba, 2020.
This work implements a human-robot interface for a climbing robot for inspecting weld beads in storage tanks in the petrochemical industry. To accomplish this, first a research on the state-of-the-art of Human-Robot Interaction, Autonomy, Sliding Autonomy and Levels of Autonomy in robotics systems and autonomous systems was presented. Then, an industrial joystick that works with radio frequency with an transmitter and a receiver, commonly used to move cranes and hoists, was specified and adapted to control the robot. A driver was developed to make this joystick compatible with the Robot Operating System - ROS, used in this work. To add more control and input data from the operator, a electromyographic armband called Myo was appended to the system. This armband is worn in the forearm and is capable of detecting gestures from the operator and rotation angles from the arm. Information from the industrial joystick and the armband are used to control the robot via a Fuzzy controller. This controller works in the sliding autonomy during the robot operation, using as inputs data from the angular velocity of the industrial controller, electromyography reading, weld bead position in the storage tank and rotation angles executed by the operator’s arm, to generate a system capable of recognition of the operator’s skill and correct mistakes from the operator in operating time. The output from the Fuzzy controller is the level of autonomy to be used by the robot. The levels implemented are: Manual, where the operator controls the angular and linear velocities of the robot; Shared, where the velocities are shared between operator and the autonomous system; Supervisory, where the robot controls the angular velocity to stay in the weld bead and the operator controls the linear velocity; and Autonomous, where an end point is defined by the operator and the robot controls both linear and angular velocities. This levels of autonomy along with the proposed sliding autonomy are then analyzed through robot experiments in a simulated environment, showing the purpose of each one of these modes.
Keywords: Human-Robot Interface. Sliding Autonomy. Autonomy Levels. Fuzzy Controller. Myo Armband.
Figura 1 – Tanques de Armazenamento. . . 14
Figura 2 – Robôs escaladores com diferentes métodos de adesão. . . 15
Figura 3 – Robôs escaladores em tarefas de inspeção de tubulação. . . 15
Figura 4 – Robôs Dynamaid e Cosero. . . 21
Figura 5 – Robôs colaboradores. . . 22
Figura 6 – Tanque de armazenamento de uma refinaria. . . 30
Figura 7 – AIR-1. . . 31
Figura 8 – Fontes de percepção previamente montadas no AIR-1. . . 32
Figura 9 – Sensor de perfil LRS36/6 e tratamento do sinal. . . 32
Figura 10 – Joystick industrial. . . 34
Figura 11 – Visão frontal do sistema transmissor. . . 35
Figura 12 – Visão lateral do sistema transmissor. . . 35
Figura 13 – Mensagem padrão ROS sensor_msgs/Joy. . . 36
Figura 14 – Arquitetura do sistema desenvolvido. . . 36
Figura 15 – Myo Armband. . . 37
Figura 16 – Dados brutos de eletromiografia. . . 39
Figura 17 – Valor RMS da eletromiografia. . . 40
Figura 18 – Ângulos de roll, pitch e yaw medidos pelo bracelete Myo. . . 41
Figura 19 – Diagrama de nós e tópicos atuando no robô AIR-1 durante o experimento simulado. . . 42
Figura 20 – Diagrama do controlador Fuzzy elaborado. . . 45
Figura 21 – Funções de pertinência para a variável MyoRMS. . . 46
Figura 22 – Funções de pertinência para a variável MyoRoll. . . 46
Figura 23 – Funções de pertinência para a variável JoyAngular. . . 47
Figura 24 – Funções de pertinência para a variável WeldPos - Weld Position. . . 47
Figura 25 – Funções de pertinência para a variável LoA - Level of Autonomy. . . 48
Figura 26 – Superfície representando a saída do controlador Fuzzy considerando uma variação nas entradas WeldPos e JoyAngular. . . 49
Figura 27 – Superfície representando a saída do controlador Fuzzy considerando uma variação nas entradas MyoRMS e JoyAngular. . . 50
Figura 28 – Superfície representando a saída do controlador Fuzzy considerando uma variação nas entradas WeldPos e MyoRMS. . . 50
Figura 29 – Controle do robô. . . 51
Figura 30 – Modo Manual. . . 51
Figura 31 – Modo Compartilhado 70-30. . . 52
Figura 32 – Modo Supervisório. . . 53
Figura 33 – Diagrama de blocos do sistema autônomo. . . 54
Figura 34 – Modo Autônomo. . . 55
Figura 35 – Saída do controlador Fuzzy para o vetor de entrada (50, -1.5, -0.5 -1). . . 56
Figura 36 – Saída do controlador Fuzzy para o vetor de entrada (50, -1.5, 0.5 -1). . . 56
Figura 37 – Saída do controlador Fuzzy para o vetor de entrada (50, -1.5, -0.5 -0.3). . . . 57
Figura 38 – Saída do controlador Fuzzy para o vetor de entrada (180, -2, 0.8 -1). . . 57
representados no simulador V-REP. . . 59 Figura 41 – Objetivo de navegação do robô AIR-1 com diferentes Modos de Autonomia. 60 Figura 42 – Experimento realizado no Modo Manual. . . 61 Figura 43 – Variação do erro de orientação do robô ao longo do experimento 1 no Modo
Manual. . . 62 Figura 44 – Experimento realizado no Modo Compartilhado com 50% da velocidade
sendo entrada pelo operador e 50% pelo robô. . . 63 Figura 45 – Variação do erro de orientação do robô ao longo do experimento 3 no Modo
Compartilhado. . . 63 Figura 46 – Experimento realizado no Modo Supervisório. . . 64 Figura 47 – Variação do erro de orientação do robô ao longo do experimento 2 no Modo
Supervisório. . . 65 Figura 48 – Experimento realizado no Modo Autônomo. . . 66 Figura 49 – Variação do erro de orientação do robô ao longo do experimento 3 no Modo
Autônomo. . . 66 Figura 50 – Experimento realizado com Autonomia Variável. . . 68 Figura 51 – Autonomia e erro de alinhamento durante o experimento com Autonomia
Variável. . . 69 Figura 52 – Destaque de uma curva onde o robô encontra dificuldades. . . 70
Tabela 1 – Autonomia Variável em diferentes áreas. . . 28
Tabela 2 – Nós do ROS operando no sistema simulado . . . 43
Tabela 3 – Tópicos do ROS operando no sistema simulado . . . 43
Tabela 4 – Tabela de regras para velocidade angular e posição da solda . . . 48
Tabela 5 – Tabela de regras para rotação do braço e posição da solda . . . 48
Tabela 6 – Tabela de regras para o valor RMS do Myo e o nível de Autonomia . . . 49
Tabela 7 – Experimentos no Modo Manual. . . 61
Tabela 8 – Experimentos no Modo Compartilhado. . . 62
Tabela 9 – Experimentos no Modo Supervisório. . . 64
Tabela 10 – Experimentos no Modo Autônomo. . . 65
Tabela 11 – Experimentos realizados com Autonomia Variável. . . 67
1 INTRODUÇÃO . . . 13 1.1 TEMA . . . 13 1.2 MOTIVAÇÃO . . . 15 1.3 OBJETIVO GERAL . . . 16 1.3.1 Objetivos específicos . . . 17 1.4 ESTRUTURA DA DISSERTAÇÃO . . . 17 2 FUNDAMENTAÇÃO TEÓRICA . . . 18 2.1 INTERAÇÃO HUMANO-ROBÔ . . . 18 2.2 AUTONOMIA . . . 19
2.3 ESTADO DA ARTE DA AUTONOMIA DESLIZANTE . . . 19
3 IMPLEMENTAÇÃO DA INTERFACE HUMANO-ROBÔ . . . 30
3.1 INSPEÇÃO DE TANQUES . . . 30
3.2 ROBÔ AUTÔNOMO DE INSPEÇÃO - AIR-1 . . . 31
3.3 ROS . . . 33 3.4 DISPOSITIVOS DE ENTRADA . . . 33 3.4.1 JoystickIndustrial . . . 34 3.4.2 Bracelete de Eletromiografia . . . 37 3.4.2.1 Estado da Arte . . . 37 3.4.2.2 Interface . . . 39
3.4.3 Estrutura de nós e tópicos com os dispositivos de entrada . . . 41
3.5 CONTROLADOR FUZZY . . . 43
3.6 MODOS DE AUTONOMIA E AUTONOMIA DESLIZANTE . . . 44
3.6.1 Modo Manual . . . 50
3.6.2 Modo Compartilhado . . . 52
3.6.3 Modo Supervisório . . . 53
3.6.4 Modo Autônomo . . . 54
3.6.5 Aplicações da seleção do nível de autonomia . . . 55
4 EXPERIMENTAÇÃO VIRTUAL . . . 58
4.1 AIR-1 VIRTUAL . . . 58
4.2 AMBIENTE VIRTUAL . . . 59
4.3 EXPERIMENTOS . . . 59
4.3.1 Experimentos com os Modos de Autonomia . . . 60
4.3.1.1 Experimento no Modo Manual . . . 60
4.3.1.2 Experimento no Modo Compartilhado . . . 62
4.3.1.3 Experimento no Modo Supervisório . . . 64
4.3.1.4 Experimento no Modo Autônomo . . . 65
4.3.2 Experimentos com Autonomia Variável . . . 66
4.3.3 Resultados e Discussão . . . 68
5 CONSIDERAÇÕES FINAIS . . . 72
5.1 CONCLUSÃO . . . 72
1 INTRODUÇÃO
Robôs são uma realidade na vida humana há décadas e facilitam a execução de uma infinidade de tarefas repetitivas, tediosas e perigosas. Tarefas industriais como fundição, em-pilhamento, solda, pintura e triagem têm sido realizadas por robôs há mais de 30 anos em todo o mundo (HEYER, 2010). Com o avanço da tecnologia, cada vez mais a comunicação e cooperação entre robôs e os operadores humanos se fazem necessárias, através do que é chamado de Interação Humano-Robô (IHR). Esta interação tem deixado de ser apenas com botões e manivelas (MASINGA et al., 2016) e cada vez mais se assemelhando a uma comunicação entre humanos, fazendo com que humanos e robôs utilizem cada um suas melhores aptidões em conjunto e cooperação. Com a facilitação da interação entre robôs e operadores, diminui-se a necessidade de treinamentos que podem ser longos e custosos (WOJTARA et al., 2009). Durante a Interação Humano-Robô, os robôs podem atuar de maneira totalmente autônoma ou contar com o auxílio de um operador. Enquanto a completa autonomia dispensa a atenção de um operador, ela pode ocasionar situações indesejáveis e até colocar em risco a integridade física de humanos. Já com o usuário atuando com controle total da tarefa há maior segurança na intenção das tarefas com possível perda de eficiência (BALL; CALLAGHAN, 2012). A variação da autonomia em sistemas inteligentes é portanto um compromisso entre conveniência e segurança. Algumas das diversas áreas onde esta interação se faz presente são Educação, Medicina, cuidado de idosos, Militar, Exploração Espacial, situações de desastres e, como é o caso deste trabalho, na área industrial, mais especificamente na área de inspeção industrial.
1.1 TEMA
Na indústria petroquímica, tanques de armazenamento e vasos de pressão (Figura 1) são comumente utilizados para guardar fluidos como petróleo e derivados. Estas estruturas são formadas através de processo de soldagem e sua integridade é de importância vital, uma vez que os fluidos armazenados podem estar sob alta pressão e temperatura, expondo operadores, estruturas e o meio ambiente à riscos.
Para diminuir estes riscos, inspeções preventivas periódicas nos cordões de solda presentes nos tanques esféricos e vasos de pressão são necessárias. Para realizar estas inspeções, ensaios não destrutivos (END) são utilizados, e entre eles, o ultrassom é a técnica comumente
Figura 1 – Tanques de Armazenamento.
(a) Tanque cilíndrico. (b) Tanque esférico. Fonte: Rosa e Gnoatto (2015).
empregada devido à sua capacidade de detectar com precisão a presença de descontinuidades no cordão de solda. Nestes ensaios o operador verifica o ambiente e identifica possíveis falhas nos cordões de solda da estrutura.
Para realizar a inspeção interna, várias etapas devem ser realizadas antes da inspeção. Todo o produto e seus resíduos devem ser retirados, o tanque higienizado, e os gases eliminados do tanque com o auxílio de exaustores para impedir a intoxicação por parte dos inspetores durante a inspeção (SANTOS, 2016). Já na inspeção externa, de acordo com a arquitetura e o tamanho do tanque, que podem chegar a até 80 metros de diâmetro, por diversas vezes os inspetores se colocam em situações de risco para realizar as medições, fazendo escaladas e rapel para alcançarem a medição adequada. Com o intuito de se aumentar a eficiência, reduzir custos operacionais e eliminar o risco oferecido aos inspetores, robôs de inspeção têm sido utilizados para realizar as tarefas de inspeção em tanques de armazenamento.
Os robôs de inspeção variam primariamente por seus sistemas de locomoção e adesão. Em (WANG et al., 2019), um robô escalador para realizar inspeções na fuselagem de aeronaves foi desenvolvido com o sistema de adesão por sucção à vácuo e pode ser visto na Figura 2(a). Já o trabalho de (LI; WANG, 2017), visto na Figura 2(b), apresenta um robô escalador de inspeção para tanques de armazenamento que utiliza um mecanismo de adesão magnético ajustável. Os ímãs ajustados nas rodas podem ser movidos em três graus de liberdade alterando a força de adesão do robô.
Figura 2 – Robôs escaladores com diferentes métodos de adesão.
(a) Adesão por sucção à vácuo.
(b) Adesão magnética ajustável. Fonte: Wang et al. (2019) e Li e Wang (2017).
Figura 3 – Robôs escaladores em tarefas de inspeção de tubulação.
(a) Tubulação externa.
(b) Tubulação interna. Fonte: Han et al. (2013) e Leon-Rodriguez et al. (2013).
Outra solução é a proposta por (HAN et al., 2013), onde o robô escalador, visto na Figura 3(a), realiza inspeção externa em tubulações da indústria nuclear e petroquímica utilizando um sistema de coroa e parafuso de rosca sem fim para agarrar e escalar as tubulações. Outro mecanismo de adesão é a adesão por atrito, através de pressão de atuadores do robô nas paredes, como o robô mostrado em (LEON-RODRIGUEZ et al., 2013) que realiza inspeção internas de tubulações de 100mm, visto na Figura 3(b).
1.2 MOTIVAÇÃO
Em processos industriais, robôs autônomos são cada vez mais utilizados, pois realizam uma operação rápida, contínua e precisa (NAKHAEINIA et al., 2015). Há incontáveis variáveis e erros inesperados que podem surgir no decorrer de uma tarefa. Pode-se reprogramar o robô toda vez se que encontrar uma situação nova ou se recorrer ao auxílio de um operador humano
capacitado, que resolve o problema de uma maneira mais rápida. Por outro lado, o humano também possui limitações e, se atuar por um longo tempo de trabalho, pode ser levado à exaustão e prejudicar sua capacidade de atenção e tomada de decisão. Como ambos agentes possuem limitações e habilidades complementares, é de grande importância que se tenha uma união dos dois agentes para realizar as tarefas de modo mais eficiente e seguro, com um método que faça a seleção de qual agente contribuirá com qual proporção em cada variável e em que momento. Um robô que realize tarefas totalmente autônomas pode necessitar de auxílio em algumas situações ou diferentes tarefas podem necessitar de diferentes níveis de autonomia. No contexto da robótica, os estudos (DESAI; YANCO, 2005) geralmente separam 4 níveis de autonomia, com dois extremos "Teleoperação"e "Autônomo". Os níveis intermediários são: "Seguro", onde o controle é executado pelo operador mas o robô previne colisões e o modo "Compartilhado", onde o robô dirige com autonomia mas permite a influência do operador para influenciar nos movimentos. Quando estes níveis são alterados durante a operação tem-se a Autonomia Variável ou Deslizante.
É necessário o desenvolvimento de uma interface para um operador especializado poder comandar um robô de inspeção durante sua tarefa em tanques de armazenamento. Esta tarefa por sua vez pode consistir em diversas outras, cada uma com sua necessidade especial de autonomia. Ao realizar-se um ensaio não destrutivo por ultrassom phased-array, o operador pode necessitar retornar por um percurso, passar mais lentamente em outros, ou simplesmente realizar todo a inspeção de uma só vez. Diferentes operadores com diferentes níveis de habilidade também podem necessitar de mais ou menos auxílio para comandar o robô durante as tarefas de inspeção. A motivação deste trabalho é propor um método que auxilie o operador em qualquer caso durante uma inspeção, dando mais liberdade para o operador se concentrar na inspeção através da aplicação de técnicas de autonomia variável.
1.3 OBJETIVO GERAL
Desenvolver um sistema que, com o auxílio de técnicas inteligentes, empregue os conceitos de Autonomia Variável para selecionar o melhor modo de atuação a ser aplicado de maneira online, durante a inspeção por um robô autônomo de cordões de solda em vasos de pressão.
1.3.1 Objetivos específicos
• Pesquisar os modos de autonomia existentes na literatura especializada e definir os requisi-tos de operação;
• Desenvolver os modos de autonomia que permitam o controle pelo operador, modos intermediários pertinentes e um método inteligente para seleção do melhor modo em cada situação;
• Incorporar o método proposto em um robô em ambiente simulado, atuando em conjunto com o sistema de sensores e atuadores também simulados.
1.4 ESTRUTURA DA DISSERTAÇÃO
Esta dissertação é organizada em 5 capítulos. No Capítulo 2 deste trabalho são apre-sentados os conceitos de Interação Humano-Robô e Autonomia, bem como o estado da arte das pesquisas nestas áreas. No Capítulo 3 estão descritos o robô utilizado para tarefas de inspeção, os dispositivos que o operador controla para operá-lo e os modos de autonomia propostos. No Capítulo 4, os experimentos realizados em simulador serão descritos, bem como seus resultados. O Capítulo 5 encerra o trabalho com as conclusões obtidas e sugestões de trabalhos futuros.
2 FUNDAMENTAÇÃO TEÓRICA
Esta dissertação tem como um de seus objetivos realizar a interface entre o operador e o Robô Autônomo de Inspeção. Para isso, primeiramente foi realizada uma revisão teórica e estudo da arte sobre Interação Humano-Robô e Autonomia.
2.1 INTERAÇÃO HUMANO-ROBÔ
A Interação Humano-Robô, segundo (GOODRICH; SCHULTZ, 2007) pode ser definida como um campo de estudos que compreende desde a primeira concepção até o desenvolvimento final de robôs que interagem com humanos física, afetiva ou socialmente. Alguns tipos de robôs industriais, manipuladores robóticos, carros autônomos, robôs assistentes e robôs de resgate são alguns exemplos de robôs que operam em comunicação e colaboração com humanos (LASOTA et al., 2017). A comunicação ocorre quando o robô informa o operador sobre o ambiente ou a intenção de suas ações. Esta ação pode acontecer de maneira visual, sonora ou háptica. A comunicação pode ocorrer também no outro sentido, com o operador influenciando ações e movimentos do robô (LOSEY et al., 2018). Já a colaboração ou cooperação entre humanos e robôs é um conceito que representa a realização de tarefas por estes agentes atuando em conjunto, utilizando as habilidades mais adequadas de cada um.
Na indústria, a Interação Humano-Robô pode ser observada em processos como colabo-ração para movimentação de manipuladores em processos de montagem, orientação automática para robôs guindastes e colaboração em processos de rebitagens. Tecnologias como detecção de pessoas e objetos em ambientes 3D e reconhecimento de gestos podem ser utilizadas para o cumprimento destas tarefas (TELLAECHE et al., 2015).
Em casos de situações de desastres, por exemplo, robôs podem ser destacados para lugares perigosos e estarem sendo teleoperados de uma estação segura por um operador. Esta distância porém, gera desafios para a operação, como atraso de comunicação e dificuldade em visualizar e analisar a situação (JIANG; ARKIN, 2016). Uma nova área de pesquisa começou então a ser estudada, definindo regras para o nível de autonomia que os robôs assumem em determinadas tarefas e em situações de emergência ou com problemas na sua operação normal.
2.2 AUTONOMIA
Uma das mais completas definições de autonomia, que leva em conta o aspecto social de um agente, é a noção de que um agente é autônomo quando tem a capacidade de escolher agir de maneira contrária às escolhas de outros agentes (BEAVERS; HEXMOOR, 2004). Um agente pode possuir então diversos graus de autonomia, determinados por quanto de suas decisões são influenciadas por outros agentes. Uma outra noção de autonomia para robôs segundo (GOODRICH; SCHULTZ, 2007) é o quanto de tempo aquele robô pode ser ignorado. Quanto mais tempo o robô puder operar sem interrupções de humanos, maior é sua autonomia. Entre a total autonomia do sistema e a teleoperação podem haver então diversos níveis de atuação.
Nos casos onde estes níveis são alterados durante a operação de maneira online gera-se o que em inglês é chamado na literatura especializada como Sliding Autonomy, Sliding Scale Autonomy, Adjustable Autonomyou Mixed Initiative que traduzidos para o português trazem o conceito de Autonomia Variável ou Deslizante. No contexto da robótica, estes níveis geralmente são reduzidos a 3 ou 4, como será melhor demonstrado através do estado na arte na seção a seguir.
2.3 ESTADO DA ARTE DA AUTONOMIA DESLIZANTE
Em (HARDIN; GOODRICH, 2009), há uma separação teórica entre os termos citados: Adaptative Autonomy seria a variação da autonomia somente pelo próprio robô; Adjustable Autonomy a variação somente pelo operador; e Mixed Initiative a colaboração entre robô e operador para encontrar o melhor ponto de autonomia do sistema. Esta mesma pesquisa realizou experimentos simulados para verificar qual destes três métodos seria mais eficiente em uma situação de comando de 200 robôs para procurar 5 pessoas posicionadas aleatoriamente em um mapa, em uma situação de resgate de pessoas perdidas. A conclusão do artigo foi que, com um método simulando um conhecimento prévio do operador, a situação onde o operador influencia em conjunto com o robô para definir as metas e a autonomia geram o melhor resultado.
A separação entre os termos Adaptative Autonomy, Adjustable Autonomy e Mixed Initiative porém, não foi encontrada em outros artigos na literatura e portanto, estes termos serão considerados na continuação deste texto como um só, qual seja: Autonomia Variável ou Autonomia Deslizante.
autonomia variável. Nela, foi desenvolvido um robô móvel capaz de detectar gestos e compreen-der comandos de voz para indicar direções e múltiplos objetivos de deslocamento com análise de contexto na comunicação. Por exemplo, o robô pode receber comandos fragmentados, como primeiro um comando de voz para ir em uma direção e após isto o gesto da direção desejada, e conseguir juntar o gesto com o comando de voz e se mover ao local desejado. Caso algum obstáculo ocupe o caminho onde o robô estará se movendo ou caso o robô necessite de ajuda como a abertura de uma porta, uma maior autonomia é alcançada através da perspectiva dos pesquisadores: o robô pode continuar a cumprir outros objetivos dados anteriormente, sem a necessidade de auxílio humano para explicitar cada ação desejada.
Em (DESAI; YANCO, 2005), os autores definem parâmetros que ajudam a descrever modos de autonomia de um robô autônomo realizando navegação com obstáculos. Alterando-se os valores destes parâmetros, inúmeros modos de autonomia podem ser alcançados. Os parâme-tros definidos no artigo foram: distância de inflação de objetos, velocidade definida pelo usuário, velocidade definida pelo robô, contribuição da velocidade de cada agente, limite de velocidade e distância de desvio de obstáculos. Vários experimentos foram realizados, desativando e alterando estes parâmetros para gerar diversos resultados. Foram notados comportamentos distintos quando se habilitava ou desabilitava por exemplo, o controle de velocidade pelo robô ou pelo usuário, conforme esperado. Os autores citam que estes parâmetros são todos definidos pelo usuário, e sugerem uma pesquisa sobre como o próprio robô estes valores e muda o nível de autonomia da operação. Uma opção seria utilizar técnicas de inteligência artificial para estimar estes parâmetros de uma maneira automática e segura. Assim, quando o robô necessitar de algum tipo de auxílio, os níveis de autonomia poderiam ser diminuídos aos poucos, dando mais controle ao usuário. Assim que o robô perceba que não necessita mais do auxílio, o nível de autonomia é novamente aumentado. Desta maneira, não há necessidade do robô ceder todo o seu controle ao operador. Em outra pesquisa semelhante (CRANDALL; GOODRICH, 2001), a autonomia variável atua em três níveis: teleoperação, autônomo e o modo intermediário por ponto de destino e heurísticas. Neste modo, são previamente colocadas informações de direção geral que o robô deve seguir em determinados locais do mapa e lugares que o robô deve evitar. A velocidade final será um conjunto das informações de mapa com o destino atual do robô.
Ainda neste tópico de navegação, (MUSZYNSKI et al., 2012) apresentam uma pesquisa sobre autonomia com os robôs de serviço doméstico Cosero e Dynamaid (Figura 4).
Figura 4 – Robôs Dynamaid e Cosero.
Estes robôs de serviço doméstico possuem dois manipuladores de extensão semelhante aos de um braço de ser humano, um torso que pode girar em torno do próprio eixo e uma base com rodas omnidirecionais. Possuem sensores LIDAR e Kinect. Na pesquisa citada, foram desenvolvidos 3 tipos de autonomia para os robôs realizarem tarefas domésticas.
Fonte: Muszynski et al. (2012).
além de diversos sensores para navegação e manipulação de objetos. Neste artigo há uma divisão da autonomia em três níveis. O primeiro nível funciona como uma teleoperação completa, onde o operador controla diretamente os movimentos do robô tanto para movimentação da base quanto dos manipuladores. No segundo nível, a navegação já pode ser autônoma e também é possível selecionar objetos à vista do robô para que ele os pegue de maneira autônoma. No terceiro e mais alto nível, são dadas instruções que representam uma sequência de ações, como por exemplo se locomover até um outro cômodo e buscar determinado objeto. Todos os testes realizados com autonomia total foram concluídos em um tempo menor, e de uma maneira qualitativa, uma pesquisa foi realizada com pessoas que testaram o sistema, recebendo boa aceitação em quesitos de aprendizado, eficiência, satisfação com a interface remota e percepção do ambiente.
Lewis et al. (2013) trazem a pesquisa de adaptação da autonomia de acordo com o grau de experiência ou habilidade do operador. De acordo com o desempenho do operador medido em três experimentos iniciais, o sistema define qual o grau de autonomia para aplicar ao cenário. As três avaliações realizadas com os operadores são para verificar a habilidade de navegação, manipulação e cooperação, em um sistema composto por dois robôs que devem carregar objetos de maneira conjunta, como visto na Figura 5.
Figura 5 – Robôs colaboradores.
Dois robôs com a base iRobot Create e manipuladores do sistema LEGO NXT Robotic Kit. Os operadores são testados e então é definido qual o grau de autonomia deve ser utilizado para maximizar a performance do sistema.
Fonte: Lewis et al. (2013).
Os experimentos foram realizados comparando-se a atuação do sistema com a autonomia adaptada em relação ao sistema com a autonomia fixa, e os resultados indicaram menor tempo para desempenho da tarefa, além de menos quedas de objetos durante a realização da tarefa com a autonomia adaptada.
O robô humanoide THOR-RD (MCGILL et al., 2015), que participa de competições que simulam situações de desastres naturais, lida com a variação da autonomia de acordo com a variação da qualidade de comunicação, que se torna imprevisível nas situações de operação. Três níveis de autonomia foram implementados, baseando-se na largura de banda disponível. No primeiro deles, teleoperação a nível de juntas, o robô entra em um estado parado, e todas as posições das juntas são definidas pelo operador. No segundo modo, autonomia pontuada, comandos de mais alto nível são dados ao robô, como por exemplo girar 45 graus uma manivela ou pisar em um pedal por 2 segundos. O terceiro modo possui maior autonomia e utiliza informações específicas das tarefas. Long et al. (2017) apresentam uma base para a autonomia focada na análise e percepção de riscos na robótica. O robô, de formato humanoide, deve realizar tarefas como pegar e depositar objetos e andar no cenário minimizando o risco de colisão e o
risco de queda.
No contexto de veículos automotivos autônomos, pode haver a operação com três níveis de autonomia: autonomia total, controle manual, e o controle paralelo. O controle paralelo, também chamado de anjo da guarda, opera sempre em segundo plano enquanto o motorista dirige normalmente. O sistema autônomo realiza mapeamento e localização, detecção de objetos em movimento e bumper virtual para atuar no controle de velocidade do veículo e também esterçamento da direção. Caso o sistema não tenha um alto grau de confiança na sua análise da situação, não atua, não sendo pior do que o comando manual do motorista (NASER et al., 2017). Em outro material (INTERNATIONAL, 2016), há a divisão da autonomia em veículos em 6 níveis:
• 0: sem automação, o motorista atua em todos os níveis;
• 1: assistência de direção, onde há assistência do sistema de automação para aceleração e desaceleração;
• 2: automação parcial, com o sistema podendo controlar a aceleração e desaceleração bem como o esterçamento da direção;
• 3: automação condicional, onde há um sistema autônomo monitorando todo o ambiente de direção, mas em alguns pontos solicita ao motorista humano que assuma o controle;
• 4: alta automação, com o sistema autônomo podendo controlar todo o sistema e atuando em tarefas de direção dinâmicas, mesmo quando o motorista humano não assumir o controle;
• 5: automação plena, com o sistema autônomo completo substituindo de maneira plena o motorista humano.
Lazar et al. (2018) trazem a perspectiva de como realizar a determinação das rotas e como conciliar os veículos dirigidos manualmente e os autônomos durante as fases de transição entre as diversas formas de autonomia. Dados importantes para esta eventual transição de um sistema móvel autônomo para o controle manual estão presentes em (REZVANI et al., 2018). Em carros autônomos, é necessário informar ao ser humano de 5 a 8 segundos antes da transferência do controle de autonomia. Outro ponto importante é como e quanta informação sobre a natureza da eventualidade que causou o requerimento de transferência de controle: por um lado, há bastante material científico apontando evidências de que informações detalhadas das causas
melhoram a assunção do controle pelo humano mas por outro lado, uma grande quantidade de informações pode causar uma interface muito prolixa, diminuindo o desempenho do ser humano e reduzindo a aceitação do sistema.
A pesquisa de (CHANG et al., 2018) traz um método de aprendizado de caminho ótimo para variação de autonomia no controle compartilhado de cadeiras de rodas. As trajetórias são calculadas através de métodos tradicionais, como o Diagrama de Voronoi Generalizado e o algoritmo A* e o usuário seleciona o caminho desejado, ensinando ao sistema que aquele caminho deve ser mais pontuado naquele instante. Nas experiências práticas realizadas, diferentes usuários selecionam diferentes rotas sugeridas, de acordo com vários aspectos que são incorporados no aprendizado como distância à pessoas e obstáculos ou distância total ao destino.
Milliken e Hollinger (2017) avaliam a qualidade das ações realizadas pelo operador para dar mais peso aos seus comandos em um sistema que divide a operação com um agente robótico autônomo. Os experimentos foram realizados com navegação de robôs e, de acordo com o número de comandos em direção a obstáculos, o sistema supunha que o usuário é mais iniciante, deixando o modo autônomo atuar com maior peso. Já em (STARK et al., 2012), são feitos experimentos com redes bayesianas para o operador atuar em conjunto com o computador em problemas de mineração de dados e análises de inferência.
Falcone e Castelfranchi (2001) trazem o conceito de autonomia social, onde diver-sos agentes que realizam tarefas com maior ou menor grau de autonomia podem cooperar e dar/receber ordens para interromper, modificar ou auxiliar em tarefas. O artigo representa princípios e diretivas para delegação de ordens de maneira bilateral e ajuste de autonomia, que os autores consideram ser a definição de confiança. Se não se tem tanta confiança no sistema diminui-se a autonomia e, com o crescimento da confiança do sistema, a autonomia é aumentada.
Na pesquisa em (Van Der Vecht et al., 2009), um cenário de controle de incêndios é simulado com dois tipos de agentes: coordenador e bombeiro. O coordenador monitora incêndios e planeja o trabalho dos bombeiros, indicando qual bombeiro deve apagar qual fogo. Já os bombeiros têm uma visão limitada ao local onde estão, podem se mover e apagar incêndios, devendo manter um tempo de descanso entre as atividades para manterem-se saudáveis. Há uma hierarquia entre as tarefas que o bombeiro segue, e a variação da autonomia se dá através de quatro conceitos: monitoramento de objetos, determinação de desempenho, seleção de atitude desejada e ajuste da atitude atual, fazendo com que tarefas possam mudar a sua importância ou até mesmo serem ignoradas. A autonomia entra pois algumas tarefas são relacionadas com o
seguimento de ordens do coordenador. Se a ordem for contrária aos conceitos do bombeiro, ele pode ignorá-las e atuar com maior autonomia. Dos três cenários testados com e sem variação da autonomia, houve melhorias na porcentagem de fogos apagados e saúde dos bombeiros em todos os casos com a variação da autonomia, chegando a níveis de desempenho até 46% melhores.
Já na área militar, em estudos (GRIMM et al., 2018) no contexto de aeronaves semi-autônomas teleguiadas, experimentos são realizados para superar falhas de autonomia e ataques maliciosos utilizando métodos de Sistemas Dinâmicos Não-Lineares. Os resultados dos expe-rimentos indicam que a flexibilidade na comunicação é um ponto de vital importância para recuperar-se de falhas e ataques em uma situação de cooperação entre operadores humanos e sistemas robóticos, Barnes et al. (2015) citam implicações do controle misto entre humano e robô em sistemas robóticos com foco na performance do sistema. A pesquisa nomeia os tipos de interação do humano em três níveis: autonomia total, gestão por consentimento e gestão por exceção. Na gestão por consentimento, o robô aguarda a aprovação do operador, e já por exceção, o operador apenas pode interferir anulando um comando do robô. No escopo da pesquisa, em missões urbanas de combate com civis e veículos, a abordagem de gestão por exceção resultou na melhor performance do sistema. A pesquisa cita também a importância de se dividir as tarefas que podem ser feitas da melhor maneira por humanos e robôs. Tarefas como detecção de objetos podem ser realizadas apenas pelo robô, mas classificação de objetos e tomadas de decisão podem ser beneficiadas pela atuação de um operador humano. Um sistema Fuzzy foi sugerido para resolver o primeiro problema, e o método de otimização Branch-and-Bound para o segundo. Em (FREEDY et al., 2008), robôs autônomos aéreos e terrestres conversam entre si e procuram explosivos em um simulador. Após a ordem do humano de uma procura de explosivo, os robôs saem na busca, com navegação autônoma e recuperação automática de algumas falhas, como falha de câmera (o robô utiliza a imagem de outras câmeras para se localizar) e falha de comunicação (a comunicação se torna indireta através de outro robô). Quando os robôs têm um certo grau de certeza que encontraram um explosivo, requisitam a confirmação de um operador humano, que realizará o desarme de forma remota através da teleoperação. Outra pesquisa da área militar (LAU et al., 2005) lida com dois problemas distintos em um sistema com múltiplos agentes. Primeiramente, como pegar todos os dados e informações do ambiente dos agentes para definir objetivos e níveis de autonomia para cada agente. Após isto, o foco é em como os agentes devem interagir entre eles. Nos usos de autonomia na área militar, a decisão de delegar uma ação de guerra para um sistema autônomo levanta debates sobre ética. Enquanto alguns dizem que
líderes podem usar esta tecnologia de maneira irresponsável e imprudente, outros argumentam que um sistema que tenha sua aplicação confinada e bem compreendida não acarretará em problemas, afinal, é a intenção de quem a opera que será realizada (BOISBOISSEL, 2017).
Ho et al. (2017) apresentam uma pesquisa que emprega autonomia variável no âmbito da aviação, onde um operador no solo deve dar suporte a um grande número de aeronaves sobrevoando a região. Muitos conceitos importantes são apresentados no artigo, como a percepção da situação, a transparência da informação e comunicação bidirecional. O operador define limiares de riscos que quando alcançados, fazem com que o agente contacte o operador para mais informações ou orientações. Dependendo dos riscos o sistema e o operador podem decidir entre novas soluções com diferentes riscos e benefícios até alcançar a definição de quem, entre o operador ou o agente, terá a responsabilidade final sobre a tarefa, mas mantendo sempre a salvaguarda do operador de poder atuar e anular qualquer ação do agente. Em outra pesquisa relacionada (WHITLOW et al., 2002), a ênfase se dá na compreensão da situação e na quantidade de dados que devem ser passados ao operador remoto, que monitora e gerencia até 30 aeronaves não tripuladas. Em outra pesquisa com veículos autônomos não tripulados (BUSH et al., 2012), o objetivo é elaborar um sistema que avalia sua própria condição e peça auxílio ao humano somente quando necessário. Para esta tarefa, que foi testada com simuladores em situações de auxílio em catástrofes, as decisões são tomadas baseadas na redução de risco e no tempo limite de uma situação onde é necessário achar um caminho seguro para que veículos que andam na terra cheguem a um determinado destino, tendo os riscos dos caminhos sendo avaliados por um avião que sobrevoa o local. O operador pode ajustar o nível de autonomia e empregar autonomia nas tarefas que tenha confiança, ou assumir o controle teleoperado a qualquer momento.
No trabalho apresentado em (ALHAMMADI; SVETINOVIC, 2017), há aplicação de três níveis de autonomia para um micro satélite chamado CubeSat, para os casos onde este satélite está fora do alcance da estação de controle situada no solo. No primeiro nível, chamado de E1, há a teleoperação direta pela estação de controle com apenas algumas limitações de segurança. No segundo nível, E2, há a execução de algumas tarefas pré-planejadas pelos operadores na estação de controle. Já no terceiro nível, E3, há a execução de operação adaptativas e responsivas ao ambiente de maneira autônoma no satélite. Há ainda um quarto nível E4 não implementado que seria a autonomia plena.
No trabalho visto em (SAEIDI et al., 2017), há a interação de humano com máquina para realizar o controle de um drone que deve seguir um veículo terrestre autônomo seguindo
uma rota. O drone possui câmeras e há sensores que detectam algumas tags presentes no veículo terrestre. O operador manipula um controle remoto para tentar controlar o drone, e o computador também tenta a movimentação do drone. Do lado humano, há perda de precisão pela demora dos comandos para serem recebidos. Já do lado autônomo, pode haver problemas como falhas nos sensores para detectar o veículo. Há o cálculo de eficiência de cada agente no controle do drone em tempo real baseados na posição ideal e três métodos de autonomia podem ser aplicados. Um deles é o somente manual, a teleoperação do drone. No segundo método o operador pode definir manualmente o valor do peso do controle manual e do controle autônomo. No terceiro método o peso é calculado para achar um valor ótimo de participação de cada agente, minimizando o erro de seguimento do veículo. O resultado encontrado foi uma melhoria de performance do sistema e satisfação do operador com o método automático de seleção de pesos, além de diminuição da carga de trabalho para o operador.
No trabalho de (D’ANGELO et al., 2017) são utilizados classificadores e Aprendizado de Máquina para determinar a autonomia de espaçonaves modelada através de Processos de Decisão de Markov. Os resultados foram validados, exprimindo decisões de acordo com as esperadas, balanceando as restrições de segurança com os objetivos da missão. Em outro artigo (HEGER; SINGH, 2006), a autonomia também foi modelada através de Processos de Markov. Nesta pesquisa, dois modos intermediários de autonomia foram adicionados, fora a teleoperação e o modo autônomo. Estes modos são, iniciativa mista e iniciativa do sistema. Ainda nesta pesquisa, o sistema pode requisitar auxílio se encontrar algum problema e no modo iniciativa mista, o operador pode assumir o controle a qualquer momento, possivelmente antes de ocorrer uma falha ou do sistema autônomo perceber a falha. Nos experimentos realizados, o modo de iniciativa mista se provou o melhor dos quatro quando comparados o tempo e a taxa de sucesso das tarefas.
Em um experimento de residências, a variação da autonomia foi utilizada para regular o controle de luminosidade de um ambiente ao longo do dia. O computador que controla a luminosidade foi implementado utilizado o conceito de autonomia variável para aprender as preferências do utilizador e atuar em conjunto com ele, gerando um sistema customizável, robusto e confiável (BALL et al., 2010).
Kortenkamp et al. (2000) exploram três trabalhos da agência espacial americana NASA que utilizaram conceitos de autonomia variável. Um dos sistemas é um manipulador remoto com 6 graus de liberdade e 15 metros de comprimento, que utiliza autonomia para seguir operações
mesmo com falhas ou perda de comunicação. Outro sistema abordado é o de suporte a vida que, de maneira totalmente autônoma mas com suporte a anulação dos operadores, regula os níveis de 𝐶𝑂2e 𝑂2para manter a sobrevivência da tripulação. O terceiro sistema abordado é um robô que realiza tarefas de rotina de um hangar de experimentos. As tarefas incluem procura e separação de materiais e utilização de parafusadoras. O operador humano participa em algumas operações como seleção de materiais e rotinas.
Um atual e completo compilado de desafios futuros e oportunidades que a Inteligência Artificial pode atuar na autonomia podem ser vistos em (KUNZE et al., 2018). Os temas aborda-dos são Navegação e Mapeamento, Percepção, Representação do conhecimento e Raciocínio, Planeamento, Interação e Aprendizado.
Nota-se que as abordagens em relação a níveis de autonomia variam de acordo com a aplicação, mas seguem a tendência encontrada na robótica de 3 a 5 níveis diferentes de autonomia. Algumas aplicações têm seu nível de autonomia pré-determinado antes da operação ou de maneira offline, e não mudam durante a operação. Em outras, é necessária a alteração do nível de autonomia de maneira online, ou seja, durante a operação.
Um resumo de algumas referências pesquisadas nesta área separadas por aplicação está apresentado na Tabela 1. A segunda coluna indica o número de níveis de Autonomia encontrados nas áreas e, as seguintes colunas, se estes níveis são alterados de maneira offline ou online.
Tabela 1 – Autonomia Variável em diferentes áreas.
Aplicação Níveis Offline Online
Robôs Móveis 2-4 (MUSZYNSKI et al., 2012) (MILLIKEN; HOLLINGER, 2017) (HARDIN; GOODRICH, 2009) (LEWIS et al., 2013) -Espacial e Aviação 3-4 (ALHAMMADI; SVETINOVIC, 2017) (HEGER; SINGH, 2006) (SAEIDI et al., 2017) (HO et al., 2017) (WHITLOW et al., 2002) (BUSH et al., 2012) Carros Autônomos 3-6 (INTERNATIONAL, 2016) (NASER et al., 2017)
(REZVANI et al., 2018) Busca e Resgate 2-3 (Van Der Vecht et al., 2009) (MCGILL et al., 2015)
Militar 2-3 (BARNES et al., 2015) (FREEDY et al., 2008) Fonte: Autoria própria.
Nas aplicações de robôs de busca e resgate em desastres naturais, geralmente há um nível pré-determinado da autonomia dos robôs, mas este nível pode ser alterado durante a operação caso o robô necessite de auxílio. Esta tendência é também observada nos robôs com aplicação militar, que têm um determinado nível de autonomia mas em algumas situações específicas necessitam da autorização de um operador ou mesmo a mudança de sua autonomia
de maneira online para realizar ações específicas como desarmes de explosivos. Outro ponto comum encontrado nas aplicações militares, de desastres naturais e também de robôs espaciais, é a noção de que como os operadores estão distantes dos robôs pela periculosidade do local onde o robô se encontra, sempre deve-se levar em conta que pode haver falhas na comunicação e os robôs devem perceber isto e ter seu nível de autonomia alterado para não resultar em situações perigosas.
Nos robôs móveis, os estudos analisados apresentam uma definição do nível de autono-mia de maneira offline. Em alguns casos, toma-se um meio termo das intenções do operador e do robô. Já em outros, há experimentos prévios para determinar a habilidade ou experiência do operador e assim determinar o nível de autonomia.
No capítulo a seguir serão demonstrados os níveis de autonomia implementados e os métodos utilizados para alcançar a Autonomia Deslizante.
3 IMPLEMENTAÇÃO DA INTERFACE HUMANO-ROBÔ
Neste capítulo, são descritos a inspeção de cordões de solda nos tanques de armazena-mento, o robô utilizado para os experimentos e o framework ROS utilizado para comunicação dos sensores e atuadores. A seguir, são explicados os dispositivos de entrada que o operador utiliza para controlar o robô: um joystick industrial personalizado e um bracelete de eletromiografia. Finalmente, são apresentados os modos de autonomia implementados e um modo inteligente para selecionar o nível de autonomia, realizando a fusão dos dispositivos de entrada.
3.1 INSPEÇÃO DE TANQUES
Uma representação de um tanque de armazenamento de gás liquefeito de petróleo (GLP) pode ser observada na Figura 6. Nesta figura, foram destacados os cordões de solda em vermelho que unem as placas metálicas que formam o tanque.
Figura 6 – Tanque de armazenamento de uma refinaria.
Os cordões de solda estão destacados em linhas vermelhas. Fonte: Autoria própria.
Para realizar a inspeção externa, o equipamento de ultrassom é trazido para próximo ao cordão de solda e então toda a extensão do cordão é percorrida, enquanto o operador verifica através do equipamento de medição se há falhas na solda que podem acarretar problemas na estrutura do tanque. Para um robô executar esta tarefa, é necessário que ele seja trazido para o tanque até que haja a adesão com o tanque, encontre o cordão de solda e que caminhe por toda a extensão do cordão de solda mantendo-o centralizado no equipamento de medição. As
dificuldades que podem ocorrer durante a inspeção se devem a fatores como a adesão magnética durante todos os setores do tanque, inclusive os de sobre-cabeça e subidas verticais quando a ação da gravidade é maior; tubulações, obstáculos e imperfeições na superfície do tanque que podem atrapalhar a rota programada ou causar perda do cordão de solda ou até mesmo da adesão magnética; e a identificação de cruzamentos de cordões de solda e realização de curvas, que podem dificultar a localização do caminho a ser percorrido no cordão de solda.
3.2 ROBÔ AUTÔNOMO DE INSPEÇÃO - AIR-1
O Robô Autônomo de Inspeção, ou AIR-1 (Autonomous Inspection Robot 1), que pode ser visto na Figura 7, é um robô que foi desenvolvido no Laboratório de Automação e Sistemas de Controle Avançado (LASCA) da Universidade Tecnológica Federal do Paraná (UTFPR). No LASCA são realizadas pesquisas nas áreas de controle e automação de sistemas.
Figura 7 – AIR-1.
Robô de Inspeção de cordões de solda em tanques de armazenamento de GLP desenvolvido no laboratório LASCA na UTFPR Curitiba. O sensor vermelho na frente apontado para baixo é o sensor de perfil.
Fonte: Terres (2019).
Dois motores brushless movimentam as quatro rodas magnéticas do robô através do sistema diferencial, onde curvas são feitas com a variação da velocidade entre as rodas da direita e da esquerda. As rodas de mesmo lado são conectadas por uma correia dentada e todas as rodas são magnéticas pois o robô necessita movimentar-se na vertical e até em sobre-cabeça para escalar e inspecionar tanques em sua totalidade. Diversos sensores para a percepção do ambiente já foram acoplados ao robô e podem ser vistos na Figura 8.
Figura 8 – Fontes de percepção previamente montadas no AIR-1.
Câmeras de profundidade, de longo alcance e LIDAR já foram utilizados para mapear ambientes e predizer tamanhos de vasos de pressão esféricos.
Fonte: Teixeira (2017).
Para este trabalho porém, as fontes de percepção utilizadas foram o sensor de perfil LRS36/6 e uma unidade inercial IMU AHRS-8. O sensor LRS36/6 é um sensor de perfil industrial que emite um laser e retorna 376 pontos ao longo de 40 graus, com uma precisão de 2 mm. Este sensor foi posicionado apontado para baixo na frente do robô para identificar a posição do cordão de solda em relação ao robô. Esta identificação é possível porque o cordão de solda fica sobressalente na superfície do tanque. Uma visualização da medição deste sensor está disponível na Figura 9. Descrições mais precisas do sensor, bem como seu funcionamento, o funcionamento do driver e protocolos de rede desenvolvidos para seu funcionamento podem ser vistos no trabalho de (TERRES, 2019).
Figura 9 – Sensor de perfil LRS36/6 e tratamento do sinal.
Fonte: Terres (2019).
A unidade inercial AHRS-8 possui 9 graus de liberdade, com giroscópios e acelerôme-tros capazes de medir a atuação da gravidade no sistema (SPARTON, 2020).
A arquitetura inicial e mais informações sobre o AIR-1 podem ser encontradas nos trabalhos de (ROVANI, 2013), (ESPINOZA, 2014) e (ROSA; GNOATTO, 2015).
A seguir será apresentado o framework ROS utilizado para comunicação entre os equipamentos utilizados.
3.3 ROS
O Robot Operating System (ROS) é um sistema operacional colaborativo, distribuído e modular para robôs, sensores e atuadores em código aberto que está sempre sob atualizações e fornece uma ampla coleção de bibliotecas de diversos equipamentos e sistemas da robótica (ROS. . . , 2020). Tem grande aceitação tanto na indústria como na academia, com mais de 3300 usuários auxiliando na documentação de pacotes.
As facilidades de baixo nível do ROS incluem: publicação e subscrição de mensagens de comunicação através de tópicos, gravação e reprodução de mensagens, chamadas remotas de serviços com interação síncrona entre processos e sistema de parâmetros distribuído. Bibliotecas e ferramentas específicas para robótica também são inclusos no ROS, como: mensagens padroni-zadas em formatos específicos para robôs, biblioteca de geometria, diagnósticos, estimador de posição, localização, mapeamento e navegação.
Basicamente, o funcionamento de um sistema ROS é composto por processos, chamados nós, que podem trocar mensagens através dos tópicos. Qualquer processo pode publicar em qualquer tópico ou se subscrever a qualquer tópico, e publicar/ler as mensagens daquele tópico. As mensagens publicadas e lidas nos tópicos são em formatos padronizados, podendo ser básico como int, float, bool, ou mais sofisticados como posição e orientação do robô (tipo Pose), transformação de eixos de coordenadas (Tf ), informações de um sensor laser (LaserScan), entre dezenas de outros. O usuário pode criar seu tipo específico de mensagem e compartilhar com a comunidade. A seguir, serão apresentados os dispositivos de entrada utilizados para depois demonstrar como eles atuam em conjunto no ROS.
3.4 DISPOSITIVOS DE ENTRADA
Nesta seção, são apresentados os dispositivos de entrada utilizados para controle do robô: um joystick industrial e um bracelete de eletromiografia. Além da apresentação destes dispositivos, será mostrado como eles são integrados no ROS através dos tópicos e nós.
3.4.1 JoystickIndustrial
Um joystick industrial, comumente usado para controlar pontes rolantes, gruas de construção e guindastes, que pode ser visualizado na Figura 10, foi especificado e adquirido para este trabalho.
Figura 10 – Joystick industrial.
Joystick industrial da marca HBC-radiomatic composto por um sistema transmissor - ECO AOE21P03 - e um receptor - FSE 516. Este sistema, que usualmente é utilizado para operar pontes rolantes e guindastes, foi adaptado para controlar o robô AIR-1.
Fonte: Autoria própria.
O joystick é composto por um sistema transmissor sem fio e um sistema receptor. Opera através de radiofrequência, atende normas de segurança como NR12 e possui proteção industrial IP65, que confere proteção completa contra pó e contra jatos de água em todas as direções. O sistema transmissor opera na faixa de frequência de 2.4 GHz e possui dois controladores analógicos com duas velocidades, duas chaves liga/desliga e quatro botões. A explicação da atuação destes comandos está nas Figuras 11 e 12.
Para a comunicação entre sistema receptor e robô, foi desenvolvido um driver, obtendo-se as saídas de relés do sistema receptor e tratando-as com o auxílio de um Arduino Due. O programa desenvolvido em Arduino transforma os sinais obtidos do controle em uma mensagem ROS no padrão sensor_msgs/Joy, que pode ser vista na Figura 13.
A vantagem de se utilizar mensagens padrão, é que este controle e driver podem ser utilizados em qualquer outra aplicação dentro da robótica, pois conversam com o fra-meworkROS através de uma mensagem padrão. A comunicação entre Arduino e o computador que tem acesso ao robô é feita através de comunicação serial com o pacote rosserial_arduino (http://wiki.ros.org/rosserial_arduino).
Figura 11 – Visão frontal do sistema transmissor.
O analógico da esquerda possui movimentação tanto no sentido horizontal quanto na vertical, porém, como o AIR-1 é um robô direcional, somente o sentido vertical é utilizado para mover o robô tanto para frente quanto para trás. O analógico da direita somente possui atuação na horizontal, e é utilizado para girar o robô nos sentidos horário e anti-horário. No meio, há duas chaves liga/desliga que são utilizadas para se alterar a autonomia.
Fonte: Autoria própria.
Figura 12 – Visão lateral do sistema transmissor.
Em cada lado do controle existem 2 botões. Os botões do lado esquerdo aumentam e diminuem a velocidade linear, e os botões do lado direito aumentam e diminuem a velocidade angular. O botão de emergência é uma medida de segurança ao sistema.
Fonte: Autoria própria.
Para fazer com que esses dados normalizados e padronizados da mensagem do tipo sensor_msgs/Joy realizem alguma ação, um programa em C++ foi implementado. Este programa lê as informações no tópico /joy e transforma para ações de velocidade publicadas no tópico /joy/cmd_vel.
Figura 13 – Mensagem padrão ROS sensor_msgs/Joy.
Mensagem gerada pelo driver desenvolvido em Arduino no padrão ROS sensor_msgs/Joy. Há um cabeçalho com informações da sequência de mensagens com estampa do tempo e frame de referência. A variável axes armazena um vetor que representa a posição dos eixos analógicos e a variável buttons armazena um vetor que representa o estado dos botões e chaves. O caso representado nesta figura indica que o eixo axes[1] está no seu valor máximo e que o botão buttons[4] está pressionado.
Fonte: Autoria própria.
Através do controle portanto, o operador atua com velocidade angular e linear no sistema transmissor do joystick. Estas informações são passadas via radiofrequência para o sistema receptor, e através do driver desenvolvido em Arduino, há a comunicação com o computador conectado ao robô que é movimentado. Um bracelete Myo, que será explicado na seção 3.4.2, também compõe o sistema. As conexões desse esquema podem ser visualizadas na Figura 14.
Figura 14 – Arquitetura do sistema desenvolvido.
Um joystick industrial é operado e envia sinais através de radiofrequência para um sistema receptor. Os da-dos são então tratada-dos por um Arduino DUE e enviada-dos ao computador que tem acesso ao robô. O operador utiliza também um bracelete Myo para auxiliar no controle do robô.
3.4.2 Bracelete de Eletromiografia
Para obter mais informações da intenção do usuário, além do joystick foi utilizado um bracelete de eletromiografia comercial denominado Myo Armband, apresentado na Figura 15. Este bracelete possui 8 eletrodos capazes de realizar uma eletromiografia de superfície em antebraços e, através de técnicas matemáticas, pode detectar alguns gestos padrão executados por uma pessoa, como posição de descanso, punho cerrado, palma da mão para fora, palma da mão para dentro, dedos separados e polegar no dedo mínimo. Possui também uma Unidade de Medição de Inércia (IMU - Inertial Measurement Unit), que mede os 3 ângulos de Euler (KRISHNAN et al., 2018).
Figura 15 – Myo Armband.
Um bracelete de eletromiografia capaz de detectar gestos. Fonte: Autoria própria.
3.4.2.1 Estado da Arte
A utilização do bracelete Myo em trabalhos na área da robótica é extensa. Em dois trabalhos semelhantes, (TORTORA et al., 2019) e (XU et al., 2016), os autores utilizam dois braceletes, um no braço e outro no antebraço para, utilizando-se de seus sensores inerciais, reconstruir o movimento do braço de um operador em manipuladores teleoperados. (KIM et al., 2017) também reconstrói o movimento do braço utilizando apenas um bracelete na parte superior do braço. O movimento do antebraço é suposto através dos sensores eletromiográficos. Em um trabalho semelhante (ÇOBAN; GELEN, 2019), também o bracelete Myo foi utilizado para teleoperar um braço robótico através de seus sensores inerciais. Neste estudo, também foi
utilizada a capacidade de detectar gestos para realizar algumas ações como abrir e fechar um manipulador do tipo garra. Outro braço robótico, em (PAMBUDI et al., 2017), foi controlado através dos gestos padronizados e de RNA. Os gestos foram utilizados também em (XU et al., 2019) para controlar a direção de movimentos de um robô móvel, enquanto a velocidade foi controlada pelo enrijecimento do braço. Este artigo utiliza também a função háptica do bracelete para fornecer um feedback para o operador.
Outras pesquisas atuam nos dados brutos dos sensores eletromiográficos para detectar outros gestos além dos padronizados. Em (KRISHNAN et al., 2018), 5 gestos do jogo de Hand Cricket são detectados através de técnicas de Aprendizado de Máquina como SVM -Support Vector Machine. Já em (LUH et al., 2016), 16 gestos de dedos são classificados com o uso de Redes Neurais Artificiais. A pesquisa em (KURNIAWAN; PAMUNGKAS, 2018) classifica 2 gestos através de RNA. Em (LI et al., 2019), 5 gestos são classificados através de classificadores KNN - K-Nearest Neighbors para movimentar um robô móvel omnidirecional. Em (KAYA; KUMBASAR, 2018), 10 gestos de uma mão representando os algarismos de 0 a 9 são classificados com 3 técnicas de Aprendizado de Máquina: KNN, SVM e RNA. Em uma pesquisa mais extensa, em (CÔTÉ-ALLARD et al., 2019), três conjunto de dados foram utilizados para classificar 7 e 17 gestos com o uso de Transfer Learning. Já em uma parte do artigo apresentado em (WIJAYASINGHE et al., 2018), através do uso de RNA e de Algoritmos Genéticos, foi gerado um mapeamento entre os dados de entrada do bracelete de eletromiografia com a movimentação de um robô móvel. A função de erro foi gerada a partir do tempo levado para o transcorrimento de um percurso.
Em outra área de pesquisa da área de robótica, o bracelete Myo é utilizado em conjunto com outras fontes para controlar robôs. Em (CHEN et al., 2019), os gestos captados pelo Myo são utilizados juntamente com comandos de voz para controlar um robô móvel omnidirecional equipado com sensores ultrassônicos para evitar colisões. Na pesquisa apresentada por (KUNA-PIPAT et al., 2018) o bracelete Myo é utilizado em conjunto com uma luva de dados 5DT para identificar 10 movimentos do braço.
Em outra pesquisa, (GERYES et al., 2018) demonstra a queda de desempenho do bracelete em pessoas com lesões musculares. Há a comparação de uma pessoa com o braço normal com uma pessoa com o braço lesionado, após 10, 40 e 80 segundos realizando gestos para controlar slides de uma apresentação.
3.4.2.2 Interface
Com o auxílio do pacote ros_myo (https://github.com/uts-magic-lab/ros_myo), pode-se obter através de conexão Bluetooth, diversos dados do bracelete Myo já no formato de tópicos ROS. Entre estes dados, os que foram utilizados nesta dissertação foram:
• /myo_raw/myo_emg: este tópico fornece um vetor com os dados dos 8 sensores de eletromiografia;
• /myo_raw/myo_ori: através deste tópico é possível obter o valor, em radianos, dos ângulos de rotação em torno dos 3 eixos cartesianos (em inglês roll, pitch e yaw);
• /myo_raw/myo_gest_str: este tópico fornece uma string, ou cadeia de caracteres com o gesto que está sendo realizado pelo utilizador do bracelete;
• /myo_raw/vibrate: este tópico recebe um valor de inteiro dentro do intervalo [0, 3] e emite uma vibração de pequena, média ou grande intensidade, de acordo com o intervalo para uma comunicação háptica com o operador.
Os dados brutos fornecidos pelos sensores não podem ser facilmente interpretados, como pode-se ver na Figura 16.
Figura 16 – Dados brutos de eletromiografia.
Dados recebidos pelo bracelete Myo durante o movimento de cerrar o punho. Cada cor representa um sensor diferente, mas, sem um tratamento torna-se difícil obter alguma informação destes dados.
Obtendo-se o valor RMS, pode-se extrair destes dados um valor que represente a atividade muscular do antebraço, seja por enrijecimento dos músculos ao fazer força ou por um movimento amplo do braço. O valor RMS é calculado através da Equação 1:
𝑅𝑀 𝑆(𝑥𝑖) = ⎯ ⎸ ⎸ ⎷ 1 𝐿 𝐿 ∑︁ 𝑘=1 𝑥2 𝑖,𝑘 (1)
A janela de vetores utilizados para o cálculo de valor RMS foi definida como 50 de maneira empírica. Como o valor de obtenção dos dados brutos do Myo é de 50Hz, o valor RMS representa a atividade muscular do último segundo transcorrido.
Com o valor RMS, fica mais fácil de se visualizar uma movimentação de fechamento do punho, como pode-se ver na Figura 17, onde há uma variação de RMS de 40 para em torno de 150. Experimentalmente, verificou-se que o valor RMS lido em repouso é em torno de 20 e em uma movimentação bem ampla, chega ao valor de 180.
Figura 17 – Valor RMS da eletromiografia.
Valor RMS dos sensores eletromiográficos com uma janela de 50 dados de cada um dos 8 sensores. Pode-se facilmente visualizar quando há o fechamento do pulso, representado por um aumento do valor RMS.
Fonte: Autoria própria.
Outra informação obtida através do bracelete Myo é a dos ângulos de Euler. O ângulo de roll indica quando o braço está girando como o movimento de troca de uma lâmpada ou aperto de um parafuso. Já o ângulo pitch indica um movimento do braço de cima para baixo ou de baixo para cima, como ao se levantar o braço para realizar uma pergunta ou ao se martelar um prego. O ângulo yaw representa um giro da esquerda para a direita e vice-versa, como se passando um pano em uma mesa. Uma representação destes ângulos pode ser vista na Figura 18.
Figura 18 – Ângulos de roll, pitch e yaw medidos pelo bracelete Myo.
Fonte: Manton et al. (2016).
Para a aplicação neste trabalho, foi necessário utilizar o valor de variação da leitura do ângulo em relação à média simples de uma janela dos últimos 50 valores, calculado na Equação 2, repetida para os 3 ângulos de Euler:
△𝑎𝑛𝑔𝑢𝑙𝑜 = 𝑥 − 1 𝐿 𝐿 ∑︁ 𝑘=1 𝑥𝑘 (2)
3.4.3 Estrutura de nós e tópicos com os dispositivos de entrada
A estrutura de nós e tópicos é utilizada para realizar a conversa entre os diferentes processos atuando em conjunto para controlar o robô AIR-1. Na situação representada a seguir, será considerada a atuação do robô em um sistema simulado. O simulador V-REP1, que será mais detalhado na seção 4.1 é capaz de simular sensores, atuadores, robôs, modelos e objetos de uma cena real e é integrado ao ROS através de tópicos. O modelo do robô simulado será chamado neste trabalho de robô virtual. A Figura 19 ilustra em elipses os nós e, em retângulos os tópicos que conversam entre si para o controle do robô pelos diferentes modos de Autonomia. As setas indicam que o processo está publicando ou subscrevendo-se a um determinado tópico. O nó /vrep é o simulador que trabalha com a cena e o robô virtual. Ele publica os tópicos /air1/lrs36, que representa as informações do sensor de perfil; /air1/odon, que fornece a posição do robô em relação à sua posição atual; e /air1/twist, que representa as velocidades do robô. Este nó também é subscrito ao tópico /air1/cmd_vel, para receber a velocidade desejada e movimentar o robô virtual. As informações do ambiente virtual são lidas pelo nó /simulacao_node que gera o seguimento autônomo do cordão de solda, sintetizado nas velocidades publicadas no tópico /sim/cmd_vel.
