Camada de Interface de Usu´ ario

Essa camada visa a utiliza¸c˜ao dos prot´otipos de HMDs de RA desenvolvidos nos Cap´ıtulos 4, 5 e 6 como interfaces entre o sistema de teleinspe¸c˜ao e os usu´arios. Desta forma, fo- ram desenvolvidos dois aplicativos de realidade aumentada. Um deles foi desenvolvido em C++, para o SoC ESP8266, para ser utilizado no prot´otipo descrito no Cap´ıtulo 6. Essa ´e uma aplica¸c˜ao mais simples, projetada para o piloto do VANT. Ela n˜ao pode distrair o usu´ario de sua tarefa principal e deve ser utilizada em um local pr´oximo aos transportadores de correia, tratando-se, portanto, de uma aplica¸c˜ao local de realidade aumentada. O outro aplicativo foi desenvolvido atrav´es do Unity Engine, podendo ser utilizado tanto no prot´otipo descrito no Cap´ıtulo 4 quanto no dispositivo detalhado no Cap´ıtulo 5. Essa ´e uma aplica¸c˜ao mais complexa, voltada para o especialista em inspe¸c˜ao. Ela deve permitir a realiza¸c˜ao de treinamentos e da teleinspe¸c˜ao dos rolos e pode ser utilizada em um local mais afastado em rela¸c˜ao aos transportadores de correia, tratando-se, portanto, de uma aplica¸c˜ao remota de realidade aumentada.

7.2.3.1 Aplica¸c˜ao Local de Realidade Aumentada

Esta ferramenta foi projetada para ser usada pelo piloto do VANT durante o processo de inspe¸c˜ao. O objetivo ´e fornecer somente as informa¸c˜oes relevantes do processo, evitando a distra¸c˜ao do usu´ario, e permitir a comunica¸c˜ao com o inspetor. Sendo assim, ´e reco- mendado o uso do equipamento de RA mais simples. Al´em disso, durante a inspe¸c˜ao, o piloto deve estar em um ponto estrat´egico que o permita visualizar o VANT, verificar os dados no dispositivo de RA, bem como comunicar-se com o inspetor.

Essa aplica¸c˜ao apresenta quatro funcionalidades importantes: Gerenciador de Rede, Cliente MQTT, Processador de Mensagens e Renderizador. O detalhamento dessas funcionalidades ´e apresentado a seguir.

Gerenciador de Rede: E respons´´ avel por gerenciar a conex˜ao da ESP8266 ao ponto de acesso WiFi. O usu´ario deve se conectar ao SoC por meio de WiFiDirect e fornecer as informa¸c˜oes do ponto de acesso que ser´a utilizado, como nome da rede e senha. Uma vez que isso for feito, o Gerenciador deve efetuar a conex˜ao e, em caso de falha, deve notificar o Processador de Mensagens.

Cliente MQTT: E respons´´ avel por gerenciar a inscri¸c˜ao da aplica¸c˜ao em t´opicos con- tidos no broker MQTT. Em geral, os t´opicos de interesse s˜ao aqueles relacionados aos parˆametros do VANT, como as coordenadas de GPS e a orienta¸c˜ao, e aos alertas de inspe¸c˜ao autom´atica dos rolos, que apresentam informa¸c˜oes como a posi¸c˜ao do rolo de- feituoso, o tipo de defeito (mecˆanico, t´ermico ou sonoro) e detalhes sobre o problema apresentado. A inspe¸c˜ao autom´atica ´e aquela realizada pelos algoritmos do m´odulo de An´alise. Cada vez que uma mensagem MQTT ´e recebida, o Cliente deve envi´a-la ao Processador de Mensagens.

Processador de Mensagens: E respons´´ avel por receber e formatar as mensagens e no- tifica¸c˜oes emitidas pelo Gerenciador de Redes e pelo Cliente MQTT. Ap´os a formata¸c˜ao, elas devem ser enviadas ao Renderizador.

Renderizador: E respons´´ avel por renderizar as informa¸c˜oes emitidas pelo Processador de Mensagens no display de OLED controlado pelo SoC ESP8266. A partir disso, elas podem ser vistas pelo usu´ario do HMD atrav´es do combinador ´otico, conforme mostra

Figura 7.5: Informa¸c˜oes exibidas no combinador ´otico

a Figura 7.5.

Na Figura 7.5 ´e mostrada a exibi¸c˜ao de um alerta t´ermico no rolo central do rolete 22, que apresenta temperatura de 90.50oC. Al´em disso, na primeira linha, s˜ao exibidas as coordenadas de GPS e a orienta¸c˜ao do VANT.

7.2.3.2 Aplica¸c˜ao Remota de Realidade Aumentada

Esta ferramenta foi projetada para ser usada pelo especialista remoto durante o processo de inspe¸c˜ao. O objetivo ´e fornecer as informa¸c˜oes mais complexas do processo, como o streaming das imagens coletadas pelo VANT, e permitir a comunica¸c˜ao com o piloto do VANT. Sendo assim, ´e recomendado o uso de um equipamento de RA mais robusto, capaz de exibir tanto as imagens detalhadas e quanto as informa¸c˜oes textuais. Durante a inspe¸c˜ao, o especialista n˜ao precisa estar presente no local do transportador de correias. No entanto, a aplica¸c˜ao deve ter acesso `a infraestrutura de rede utilizada pelo servidor respons´avel pelo streaming das imagens dentro Middleware.

Essa aplica¸c˜ao apresenta quatro funcionalidades importantes: Receptor de Streaming, Cliente MQTT, Processador de Mensagens e Renderizador. O detalhamento dessas funcionalidades ´e apresentado a seguir.

Receptor de Streaming: E respons´´ avel por gerenciar um servidor UDP que recebe as imagens capturadas pelo VANT. Como ambos os prot´otipos utilizados s˜ao baseados em smartphone, o usu´ario deve se conectar a um ponto de acesso WiFi, usando o gerenciador de redes do sistema operacional, e, atrav´es da aplica¸c˜ao, deve fornecer o endere¸co de IP do servidor de streaming contido no Middleware. Uma vez que isso for feito, o receptor

de streaming deve executar sua fun¸c˜ao e enviar os dados recebidos para o Renderizador. Em caso de falha, ele deve notificar o Processador de Mensagens.

Cliente MQTT: E respons´´ avel por gerenciar a inscri¸c˜ao da aplica¸c˜ao em t´opicos con- tidos no broker MQTT. Em geral, os t´opicos de interesse s˜ao aqueles relacionados aos parˆametros do VANT, como as coordenadas de GPS e a orienta¸c˜ao, e aos alertas de inspe¸c˜ao autom´atica dos rolos, que apresentam informa¸c˜oes como a posi¸c˜ao do rolo de- feituoso, o tipo de defeito (mecˆanico, t´ermico ou sonoro) e detalhes sobre o problema apresentado. Cada vez que uma mensagem MQTT ´e recebida, o Cliente deve envi´a-la ao Processador de Mensagens.

Processador de Mensagens: E respons´´ avel por receber e formatar as mensagens e no- tifica¸c˜oes emitidas pelo Receptor de Streaming e pelo Cliente MQTT. Ap´os a formata¸c˜ao, elas devem ser enviadas ao Renderizador.

Renderizador: E respons´´ avel por combinar as imagens recebidas pelo Receptor de Streaming com as informa¸c˜oes emitidas pelo Processador de Mensagens e por exibir o resultado desse processo no display do smartphone em uma vis˜ao estereosc´opica. A partir disso, o resultado pode ser vista pelo usu´ario do HMD atrav´es do sistema de visualiza¸c˜ao, que, neste caso, pode ser do tipo Optical See-Through Binocular (Figura 7.6) ou Video See-Through.

Na Figura 7.6 ´e mostrada a exibi¸c˜ao de um alerta t´ermico no rolo central do rolete 22, que apresenta temperatura de 90.50oC. Al´em disso, na primeira linha, s˜ao exibidas as coordenadas de GPS e a orienta¸c˜ao do VANT. Essa informa¸c˜ao ´e combinada com os frames de um v´ıdeo previamente capturado por um VANT e exibida ao usu´ario atrav´es do prot´otipo de HMD de RA.

7.3

Considera¸c˜oes Finais

Nesse Cap´ıtulo foi discutida uma arquitetura para o m´odulo de Assistˆencia do sistema de teleinspe¸c˜ao de transportadores de correia introduzido por Richardson et al. [122]. A proposta permite a cria¸c˜ao de diversas ferramentas que podem ser usadas tanto no ambiente real, durante a tarefa de inspe¸c˜ao, quanto em ambiente de treinamento de

Figura 7.6: Informa¸c˜oes exibidas, do ponto de vista do olho esquerdo, no combinador ´

otico

funcion´arios. Como prova de conceito, foi apresentada uma implementa¸c˜ao de parte dessa arquitetura que pode empregar os prot´otipos desenvolvidos nos Cap´ıtulos 4, 5 e 6 para realizar a interface entre o sistema de teleinspe¸c˜ao e os usu´arios. A partir do desenvolvimento e da integra¸c˜ao do restante da arquitetura ser´a poss´ıvel avaliar a experiˆencia dos usu´arios em rela¸c˜ao ao uso dos prot´otipos de HMDs de RA no contexto apresentado pelo presente trabalho.