Desenvolvimento de dispositivos vestíveis de realidade aumentada de baixocusto para indústria 4.0.

(1)

Baixo-Custo para Ind´

ustria 4.0

Thiago D’Angelo

Universidade Federal de Ouro Preto

Ouro Preto

2018

(2)

(3)

Thiago D’Angelo

Desenvolvimento de Dispositivos Vest´ıveis

de Realidade Aumentada de Baixo-Custo

para Ind´

ustria 4.0

Disserta¸cão de Mestrado submetida ao Pro-grama de Pós-Gradua¸cão em Ciência da Computa¸cão da Universidade Federal de Ouro Preto como requisito parcial para a ob-ten¸cão do t´ıtulo de Mestre em Ciência da Computa¸cão.

´

Area de Concentra¸c˜ao: Sistemas de Com-puta¸c˜ao

Orientador: Profo Dro Ricardo Augusto Rabelo Oliveira

Ouro Preto 2018

(4)

Catalogação: www.sisbin.ufop.br

Orientador: Prof. Dr. Ricardo Augusto Rabelo Oliveira.

Dissertação (Mestrado) - Universidade Federal de Ouro Preto. Instituto de Ciências Exatas e Biológicas. Departamento de Computação. Programa de Pós-Graduação em Ciência da Computação.

1. Dispositivos vestíveis. 2. Realidade aumentada. 3. Indústria 4.0. I. Oliveira, Ricardo Augusto Rabelo. II. Universidade Federal de Ouro Preto. III. Título.

(5)

(6)

(7)

(8)

(9)

Agrade¸co `a UFOP e ao PPGCC pela estrutura disponibilizada para a realiza¸c˜ao deste trabalho.

Agrade¸co ao meu orientador, Prof. Dr. Ricardo Rabelo, pela oportunidade e pelos ensinamentos durante a pesquisa.

Agrade¸co aos meus colegas do laborat´orio iMobilis, em particular ao Saul Delabrida, por toda ajuda prestada ao longo do desenvolvimento desse trabalho.

Agrade¸co à minha namorada, à minha fam´ılia, e aos meus amigos pelo apoio, pela paciência e pelo companheirismo.

Agrade¸co à Vale, à CAPES, ao CNPQ e à FAPEMIG.

(10)

(11)

Resumo

Com a 4aRevolu¸cão Industrial, as indústrias geram cada vez mais dados que precisam ser processados, visualizados e interpretados de forma rápida e eficiente para aprimo-rar o processo de tomada de decisões. Nesse cenário, dispositivos vest´ıveis de realidade aumentada (RA) e realidade virtual (RV) se apresentam como interfaces intuitivas e eficazes para visualiza¸cão das informa¸cões e podem contribuir para o aprimoramento do processo de tomada de decisões em todos os n´ıveis da indústria. Os Head-Mounted Displays (HMDs) são os principais dispositivos vest´ıveis utilizados em aplica¸cões de RA e RV. Essas tecnologias são consideradas bastante promissoras e tendem a represen-tar um grande mercado num futuro próximo. Elas podem ser aproveitadas tanto para as tarefas relacionadas ao ambiente de trabalho, como para muitas outras atividades diárias, incluindo entretenimento. Diversos HMDs, capazes de fornecer RV e RA para os usuários, come¸caram a surgir nos últimos anos. Apesar disso, dois grandes problemas estão dificultando a ado¸cão desses dispositivos em larga escala: os custos extremamente altos (variando de US$ 700 a US$ 5000) e os problemas de experiência de usuário (por exemplo: o conflito entre vergência e acomoda¸cão, o campo de visão reduzido, a alta latência na renderiza¸cão das imagens virtuais e a dificuldade de calibra¸cão dos HMDs). Sendo assim, a análise de alternativas de desenvolvimento que impliquem numa redu¸cão significativa do custo de constru¸cão dos HMDs, sem uma grande deteriora¸cão da ex-periência de usuário, é um importante passo rumo a ado¸cão em larga escala desses dispositivos, facilitando a aplica¸cão industrial e aprimorando a tomada de decisão em todos n´ıveis da indústria. Dessa forma, com intuito de explorar essas questões e de

(12)

o usuário está inserido e é capaz de apresentar essas informa¸cões através de um dis-play de RA. O segundo protótipo desenvolvido é capaz de executar algoritmos de Gaze Tracking com objetivo de melhorar a intera¸cão e a experiência do usuário durante sua utiliza¸cão. O terceiro protótipo foi desenvolvido através de uma abordagem mais sim-ples e com foco na melhora da usabilidade. Isso possibilitou a realiza¸cão de um estudo detalhado de experiência de usuário que comprovou a boa rela¸cão custo x benef´ıcio desse dispositivo. Dois algoritmos de processamento de imagens e reconhecimento de padrões, relacionados a algumas aplica¸cões de HMDs, foram implementados e avaliados, quanto ao desempenho em tempo real, em diversas plataformas de hardware. Além disso, o uso dos três protótipos é avaliado em um estudo de caso que contempla a aplica¸cão de realidade aumentada vest´ıvel na teleinspe¸cão dos transportadores de correia da indústria da minera¸cão.

(13)

Abstract

In the context of 4th Industrial Revolution, industries are increasingly generating data which demand fast and efficient processing, visualization and interpratation in order to enhance the decision-making process. In this scenario, wearable devices for augmented reality (AR) and virtual reality (VR) are presented as intuitive and effective interfaces for visualizing information and can contribute to the enhancement of the decision-making process at all levels of the industry. Head-Mounted Displays (HMDs) are the main wearable devices used in AR and VR applications. These are very promising technologies which tend to represent a large market in the near future. They can be harnessed for both work-related tasks and many other daily activities, including entertainment. Several AR and VR HMDs have begun to emerge in recent years. Despite this fact, two major problems are hindering these devices from reaching large scale adoption: extremely high costs (from US$ 700 to US$ 5000) and user experience issues (such as: vergence and accommodation , narrow field of view, high latency in virtual image rendering, and difficulties on HMD calibration). Therefore, the analysis of development alternatives that drive a significant cost reduction in HMD construction, without a great loss of user experience, is an important step towards large-scale adoption of these devices, facilitating their industrial application and improving the decision-making process at all levels of industry. In order to explore these issues, we have developed three AR HMD prototypes built with low-cost materials. The first prototype contains a set of sensors for collecting data about the user’s environment and is able to present this information through an AR display. The second prototype is capable of running Gaze Tracking algorithms, in order

(14)

this device. Two digital image processing and pattern recognition algorithms, related to HMD applications, were implemented and evaluated, for their real-time performance, on several hardware platforms. In addition, the usage of all prototypes is evaluated in a case study related to the application of wearable augmented reality in the teleinspection of belt conveyors rollers in the mining industry.

(15)

Esta disserta¸cão é resultado de meu próprio trabalho, exceto onde referência expl´ıcita é feita ao trabalho de outros, e não foi submetida para outra defesa nesta nem em outra universidade.

Parte deste trabalho já foi publicada e este texto é uma composi¸cão adaptada de artigos e de um cap´ıtulo de livro publicados pelo autor. Abaixo estão listados o cap´ıtulo de livro e cada um dos artigos publicados até a data desta defesa e o conteúdo relacionado a este documento.

• D’ANGELO, Thiago; Delabrida Silva, Saul Emanuel; Oliveira, Ricardo A. R.; LOUREIRO, ANTONIO A. F. Development of a Low-Cost Aug-mented Reality Head-Mounted Display Prototype. Advances in Wire-less Technologies and Telecommunication. 1ed.: IGI Global, 2017, p. 1-28. Os Cap´ıtulos 2, 3 e 5 contˆem trechos de trabalho.

• D’ANGELO, Thiago; DELABRIDA, Saul; OLIVEIRA, Ricardo A. Ra-belo; LOUREIRO, Antonio A. F. Towards a Low-Cost Augmented Re-ality Head-Mounted Display with Real-Time Eye Center Location Ca-pabality. In: Brazilian Symposium on Computing Systems Engineering, 2016, Jo˜ao Pessoa. Brazilian Symposium on Computing Systems Engi-neering, 2016. Os Cap´ıtulos 2 e 5 contˆem texto deste artigo.

• DELABRIDA, Saul; D’ANGELO, Thiago; OLIVEIRA, Ricardo A.R.; LOUREIRO, ANTONIO A.F. Building Wearables for Geology. Ope-rating Systems Review, v. 50, p. 31-45, 2016. O Cap´ıtulo 4 cont´em trechos deste artigo.

(16)

Mobile Networks and Applications, v. 21, p. 1-11, 2016. O Cap´ıtulo 4 cont´em trechos deste artigo.

• DELABRIDA, Saul Emanuel; D’ANGELO, Thiago; OLIVEIRA, Ri-cardo A. Rabelo; LOUREIRO, Antonio Alfredo Ferreira. Towards a Wearable Device for Monitoring Ecological Environments. In: 2015 Brazilian Symposium on Computing Systems Engineering (SBESC), 2015, Foz do Igua¸cu. 2015 Brazilian Symposium on Computing Sys-tems Engineering (SBESC). p. 148. O Cap´ıtulo 4 cont´em trechos deste artigo.

• DELABRIDA, Saul; D’ANGELO, Thiago; OLIVEIRA, Ricardo A. RA-BELO. Fast prototyping of an AR HUD based on google cardboard API. In: the 2015 ACM International Joint Conference, 2015, Osaka. Proceedings of the 2015 ACM International Joint Conference on Per-vasive and Ubiquitous Computing and Proceedings of the 2015 ACM International Symposium on Wearable Computers - UbiComp ’15. p. 1303-1306. O Cap´ıtulo 4 cont´em trechos deste artigo.

Thiago D’Angelo

(17)

2.1 Cont´ınuo de Realidade-Virtualidade . . . 10

2.2 Usu´ario interagindo com um jogo de realidade virtual utilizando o Oculus Rift . . . 11

2.3 Usu´ario interagindo com o jogo Minecraft em realidade aumentada utili-zando o Microsoft Hololens . . . 12

2.4 Tipos de displays . . . 15

2.5 Arquiteturas de projeto ´otico . . . 17

2.6 Possibilidades de conflito entre vergência e acomoda¸cão: (a) Sem con-flito; (b) Distância de vergência menor que distância de acomoda¸cão; (c) Distância de vergência maior que distância de acomoda¸cão. . . 19

4.1 Esquema de funcionamento do display de realidade aumentada . . . 38

4.2 Arquitura do prot´otipo de VST-HMD . . . 40

4.3 Estrutura f´ısica do HMD: (a) Projeto 3D; (b) Vis˜ao interna; (c) Vis˜ao frontal . . . 41

4.4 Aplicativo de realidade aumentada baseado na API do Google CardBoard 42 4.5 PSB com Intel Galileo Gen2 . . . 44

4.6 Usu´ario vestindo o prot´otipo. . . 45

4.7 Estágios do Algoritmo de Medi¸cão de Distância . . . 46

4.8 Porcentagem de Acerto por Segundo . . . 49

(18)

5.1 Esquema de funcionamento do display de realidade aumentada . . . 56 5.2 Modelo 3D (a) e prot´otipo impresso e montado (b) do m´odulo de interface

do usuário . . . 58 5.3 Visão estereoscópica de um plano de imagem exibido na tela da aplica¸cão 59 5.4 Visão de realidade aumentada através do combinador ótico . . . 60 5.5 HMD de Realidade Aumentada: (a) Protótipo completo do HMD; (b)

Usuário vestindo o protótipo . . . 61 5.6 Os estágios do algoritmo de Gaze Tracking . . . 63 5.7 Desempenho, em FPS, das plataformas de hardware avaliadas com

inter-valo de confian¸ca de 99% . . . 66 5.8 Padrão de calibra¸cão utilizado no teste do algoritmo de Gaze Tracking . 68 5.9 Taxa de acerto do algoritmo com intervalo de confian¸ca de 95% . . . 69 5.10 Média das notas atribu´ıdas pelos usuários às questões de Q1 a Q9 com

desvio-padr˜ao . . . 72

6.1 Esquema de funcionamento do display de realidade aumentada . . . 76 6.2 Módulo de interface de usuário: (a) Projeto 3D; (b) Protótipo impresso

e montado . . . 78 6.3 Visão de realidade aumentada através do combinador ótico . . . 79 6.4 Unidade de processamento acoplada à estrutura de plástico do módulo de

interface de usuário . . . 80 6.5 Usuário vestindo o protótipo acoplado aos óculos (a) e à carneira (b) . . 81 6.6 Conjunto de tarefas: (a) Distante sem RA; (b) Próximo sem RA;

(c) Distante com RA; (d) Pr´oximo com RA . . . 87 6.7 Tempo m´edio de resposta com intervalo de confian¸ca de 95% . . . 95

(19)

6.9 Tempo médio de resposta após remo¸cão dos outliers com intervalo de

confian¸ca de 95% . . . 97

6.10 Intera¸c˜ao entre os fatores focal (uso de realidade aumentada) e moderador (distˆancia relativa entre as interfaces) . . . 98

6.11 Quantidade m´edia de erros com intervalo de confian¸ca de 95% . . . 99

6.12 Média das notas atribu´ıdas pelos usuários às questões de Q1 a Q5 com desvio-padrão . . . 100

6.13 Distribui¸c˜ao das respostas dos participantes para a quest˜ao Q6 . . . 101

6.14 Média das notas atribu´ıdas pelos usuários às questões de Q7 a Q10 com desvio-padrão . . . 101

6.15 Distribui¸c˜ao das respostas dos participantes para as quest˜oes: (a) Q11; (b) Q12; (c) Q13; (d) Q14 . . . 102

7.1 Transportador de correias . . . 110

7.2 Arquitetura móvel do módulo de Assistência . . . 111

7.3 Implementa¸cão do módulo de Assistência . . . 117

7.4 A IDE do Unreal (a) e o AirSim (b) simulando o VANT e o transportador de correias . . . 118

7.5 Informa¸c˜oes exibidas no combinador ´otico . . . 121

7.6 Informa¸c˜oes exibidas, do ponto de vista do olho esquerdo, no combinador ´ otico . . . 123

(20)

(21)

4.1 Desempenho da CPU . . . 52

5.1 M´edia e desvio-padr˜ao da taxa de acerto do algoritmo . . . 69

5.2 Questionário de avalia¸cão da experiência do usuário . . . 71

5.3 Média e desvio-padrão das notas das questões de Q1 a Q9 . . . 72

6.1 Distribui¸c˜ao dos participantes por ´area de conhecimento . . . 84

6.2 Conjunto de tarefas derivado das poss´ıveis condi¸c˜oes experimentais . . . 86

6.3 Question´ario de avalia¸c˜ao do impacto da realidade aumentada na tarefa proposta . . . 90

6.4 Questionário de avalia¸cão do protótipo de HMD de realidade aumentada 91 6.5 Questionário de avalia¸cão da expectativa do usuário sobre a aplica¸cão de realidade aumentada no dia-a-dia . . . 92

6.6 Questionário de coleta de sugestões e cr´ıticas do usuário . . . 93

7.1 Conjunto de Ferramentas do Sistema . . . 114

(22)

(23)

3D Tridimensional ANOVA Analysis of Variance CAD Computer Aided Design FOV Field of View

FPS Frame por Segundo HHD Hand-Held Display HMD Head-Mounted Display

HMPD Head-Mounted Projector Display HSL Hue, Saturation, Lightness

IDE Integrated Development Environment IPP Integrated Performance Primitives ISB Intelligent Sensor Board

k-NN k-Nearest Neighbor

LCOS Liquid Crystal On Silicon M2M Machine-to-Machine MIC M´aximo Isocentro MS Mean-Shift

MQTT Message Queue Telemetry Transport OLED Organic Light-Emitting Diode

OST Optical See-Through PPD Pixel Per Degree

PS Processamento de Sinais

(24)

RBF Radial Basis Function RGB Red, Green, Blue

RP Reconhecimento de Padr˜oes RV Realidade Virtual

SD Spatial Display

SIFT Scale Invariant Feature Transform SLAM Simultaneous Localization and Mapping SoC System on Chip

SVC Support Vector Classifier SVM Support Vector Machine TBB Threading Building Blocks UDP User Datagram Protocol VANT Ve´ıculo Aéreo Não Tripulado VC Visão Computacional

VST Video See-Through

(25)

1 Introdu¸cão 1 1.1 Contextualiza¸cão . . . 1 1.2 Motiva¸cão . . . 4 1.3 Objetivos . . . 4 1.4 Metodologia . . . 5 1.5 Contribui¸cões . . . 5 1.6 Organiza¸cão do Texto . . . 7

2 Fundamenta¸c˜ao Te´orica 9

2.1 Diferen¸cas entre Realidade Virtual e Realidade Aumentada . . . 9 2.1.1 Realidade Mista . . . 10 2.1.2 Realidade Virtual . . . 10 2.1.3 Realidade Aumentada . . . 11 2.2 Sistemas de Realidade Aumentada . . . 12 2.3 Head-Mounted Displays para Realidade Aumentada . . . 13 2.3.1 Classifica¸c˜ao dos HMDs . . . 14 2.3.1.1 Tipo de Display . . . 14 2.3.1.2 Ocularidade . . . 16 2.3.1.3 Projeto ´Otico . . . 16

(26)

2.3.2.2 Campo de Visão . . . 18 2.3.2.3 Profundidade de Campo . . . 19 2.3.2.4 Oclusão . . . 20 2.3.3 Limita¸cões dos HMDs . . . 20 2.3.3.1 Latência . . . 20 2.3.3.2 Efeito Paralaxe . . . 21 2.3.3.3 Consistência de Cor . . . 21 2.3.3.4 Distor¸cões e Aberra¸cões . . . 21 2.3.4 Questões de Experiência de Usuário em HMDs . . . 22 2.4 Métodos de Gaze Tracking . . . 23 2.4.1 Métodos de Gaze Tracking em HMDs de Realidade Aumentada . 24 2.4.2 Classifica¸cão dos Métodos de Gaze Tracking . . . 24 2.4.2.1 Métodos baseados em Modelo . . . 25 2.4.2.2 Métodos baseados em Atributo . . . 25 2.4.2.3 Métodos H´ıbridos . . . 25 2.5 Aplica¸cão de Realidade Aumentada na Indústria . . . 26

3 Trabalhos Relacionados 27

3.1 Constru¸cão de HMDs de Realidade Aumentada . . . 27 3.1.1 Video See-Through Head-Mounted Displays (VST-HMDs) . . . 28 3.1.2 Optical See-Through Head-Mounted Displays (OST-HMDs) . . . . 29 3.2 Calibra¸cão de HMDs de Realidade Aumentada . . . 32 3.3 Métodos de Eye Tracking e Gaze Tracking . . . 33

(27)

4.1 Desenvolvimento do Protótipo . . . 38 4.1.1 Módulo de Interface do Usuário . . . 40 4.1.1.1 Smartphone Android . . . 40 4.1.1.2 Lente Biconvexa . . . 41 4.1.2 Placa de Sensores Passivos (PSB) . . . 42 4.1.3 Placa de Sensor Inteligente (ISB) . . . 44 4.1.4 Protótipo Completo e Avalia¸cão do Custo de Fabrica¸cão . . . 44 4.1.5 Algoritmo de Cálculo de Distâncias . . . 45 4.2 Experimentos e Avalia¸cão do Protótipo . . . 48 4.2.1 Precisão . . . 49 4.2.2 Calibra¸cão . . . 49 4.2.3 Desempenho . . . 50 4.2.4 Limita¸cões e Problemas de Experiência do Usuário . . . 53 4.3 Considera¸cões Finais . . . 53

5 OST-HMD Binocular: Desenvolvimento e Avalia¸cão 55 5.1 Desenvolvimento do Protótipo . . . 56 5.1.1 Módulo de Interface de Usuário . . . 57 5.1.1.1 Smartphone Android . . . 58 5.1.1.2 Lente Biconvexa . . . 59 5.1.1.3 Combinador Ótico . . . 59 5.1.1.4 Câmera . . . 60 5.1.2 Módulo da Placa de Sensor Inteligente (ISB) . . . 60

(28)

5.2 Experimentos e Avalia¸cão do Protótipo . . . 65 5.2.1 Desempenho . . . 65 5.2.2 Acurácia . . . 67 5.2.3 Avalia¸cão de Experiência de Usuário . . . 70 5.2.4 Limita¸cões e Problemas de Experiência do Usuário . . . 73 5.3 Considera¸cões Finais . . . 74

6 OST-HMD Monocular: Desenvolvimento e Avalia¸cão 75 6.1 Desenvolvimento do Protótipo . . . 76 6.1.1 Módulo de Interface de Usuário . . . 77 6.1.1.1 Display de OLED . . . 78 6.1.1.2 Espelho . . . 78 6.1.1.3 Lente Biconvexa . . . 78 6.1.1.4 Combinador Ótico . . . 79 6.1.2 Módulo de Processamento de Dados . . . 80 6.1.3 Protótipo Completo e Avalia¸cão do Custo de Fabrica¸cão . . . 81 6.2 Experimentos e Avalia¸cão do Protótipo . . . 82 6.2.1 Estudo de Experiência de Usuário . . . 82 6.2.1.1 Planejamento do Estudo . . . 82 6.2.1.2 Tarefas e Interfaces . . . 85 6.2.1.3 Métricas Objetivas . . . 88 6.2.1.4 Questionários e Métricas Subjetivas . . . 88 6.2.1.5 Procedimento . . . 89

(29)

6.2.2.1 Avalia¸cão das Métricas Objetivas . . . 94 6.2.2.2 Avalia¸cão das Métricas Subjetivas . . . 99 6.2.3 Análise e Discussão dos Resultados . . . 104 6.2.3.1 Métricas Objetivas e Hipóteses . . . 104 6.2.3.2 Métricas Subjetivas e Experiência dos Usuários . . . 105 6.2.4 Limita¸cões e Problemas de Experiência de Usuário . . . 107 6.3 Considera¸cões Finais . . . 107

7 Realidade Aumentada Vest´ıvel e a Minera¸c˜ao 4.0: Teleinspe¸c˜ao de

Transportadores de Correias 109

7.1 Sistema de Teleinspe¸cão para Transportadores de Correias . . . 111 7.1.1 Arquitetura Móvel do Módulo de Assistência . . . 111 7.1.1.1 Camada de Informa¸cão . . . 112 7.1.1.2 Camada de Comunica¸cão . . . 112 7.1.1.3 Camada de Interface de Usuário . . . 113 7.1.2 Conjunto de Ferramentas e Aplica¸cões do Sistema . . . 113 7.1.2.1 Ferramenta de Teleinspe¸cão . . . 114 7.1.2.2 Ferramenta de Treinamento em Teleinspe¸cão . . . 114 7.1.2.3 Ferramenta de Teleopera¸cão . . . 115 7.1.2.4 Ferramenta de Treinamento em Teleopera¸cão . . . 115 7.1.2.5 Ferramenta de Teste e Valida¸cão . . . 115 7.2 Módulo de Assistência – Prova de Conceito . . . 116 7.2.1 Camada de Informa¸cão . . . 117

(30)

7.2.2.1 Desenvolvimento do Streaming de Dados . . . 118 7.2.2.2 Desenvolvimento do Middleware MQTT . . . 119 7.2.3 Camada de Interface de Usuário . . . 119 7.2.3.1 Aplica¸cão Local de Realidade Aumentada . . . 120 7.2.3.2 Aplica¸cão Remota de Realidade Aumentada . . . 121 7.3 Considera¸cões Finais . . . 122

8 Considera¸c˜oes Finais 125

8.1 Conclus˜oes . . . 125 8.2 Trabalhos Futuros . . . 127

Referˆencias Bibliogr´aficas 129

(31)

Introdu¸

c˜

ao

1.1 Contextualiza¸

c˜

ao

Com o advento da 4a Revolu¸cão Industrial, também chamada Internet das Coisas In-dustrial ou Indústria 4.0, as indústrias demandam cada vez mais rapidez e eficiência no processamento, visualiza¸cão e interpreta¸cão das grandes quantidades de dados que são geradas a todo instante. Essa urgência se deve a constante necessidade de aprimora-mento da capacidade de tomada de decisões em todos os n´ıveis da indústria. Entretanto, enquanto os processos industriais são executados em um mundo f´ısico tridimensional, a maior parte dos dados é capturada e exibida em telas bidimensionais. Essa diferen¸ca en-tre os mundos real e digital limita a eficácia dos responsáveis pelas tomadas de decisões na interpreta¸cão e no aproveitamento desse grande volume de informa¸cão [1].

Nesse contexto, a Realidade Aumentada (RA) e a Realidade Virtual (RV) se apresen-tam como poss´ıveis solu¸cões para o problema apresentado. Essas tecnologias permitem a visualiza¸cão tridimensional dos dados coletados, seja através de um ambiente completa-mente virtual, no caso da RV, ou através da sobreposi¸cão do ambiente real com imagens e dados virtuais, no caso da RA. Colocando as informa¸cões diretamente no contexto em que elas serão utilizadas, essas tecnologias aumentam a capacidade e a velocidade de interpreta¸cão dos funcionários e, consequentemente, aprimoram o processo de tomada de decisão. Devido a essa importância, RA e RV consistem em um mercado promissor, com previsão de atingir US$ 120 bilhões em receitas já em 2020 [2].

Entretanto, para que o aprimoramento do processo da tomada de decisão ocorra em todos os n´ıveis da indústria, é importante que não haja restri¸cões de mobilidade na

(32)

tecnologia utilizada. Satisfazendo esse requisito, ela poderá ser aplicada desde os n´ıveis gerenciais até o n´ıvel de chão-de-fábrica.

Com intuito de prover conteúdo em RA e RV para os usuários, três tipos de dis-positivos podem ser utilizados: Hand-Held Display (HHD), Spatial Display (SD), e Head-Mounted Display (HMD) [3]. Os HHDs são os dispositivos que cabem nas mãos dos usuários e devem ser segurados durante o uso, como tablets e smartphones. Os SDs são projetores digitais, geralmente fixos, capazes de sobrepor os objetos reais com informa¸cões virtuais, ideais para tarefas colaborativas. Já os HMDs são dispositivos vest´ıveis (wearables), como óculos e capacetes inteligentes, que permitem a exibi¸cão constante de conteúdo em realidade aumentada ou virtual no campo de visão do usuário. Dos dispositivos citados anteriormente, apenas os HHDs e os HMDs satisfazem o critério de mobilidade exigido pelo problema em questão. No entanto, diferentes estudos comparativos sobre esses dois equipamentos indicam que a RA vest´ıvel oferece mais be-nef´ıcios e melhor experiência de usuário [4–6]. Dessa forma, os HMDs tendem a assumir um papel importante e ser utilizados em diversos n´ıveis dentro das empresas, auxiliando os funcionários na realiza¸cão de suas tarefas diárias, em treinamentos especializados, e aprimorando o processo de tomada de decisão [3].

Diversos HMDs, capazes de fornecer RV e RA para os usuários, come¸caram a surgir nos últimos anos. Esse mercado é muito promissor e tem previsão de atingir US$ 35 bilhões até 2024 [7,8]. Com a consolida¸cão desses dispositivos vest´ıveis, os usuários terão a oportunidade de explorá-los tanto para as tarefas relacionadas ao ambiente de trabalho, como para muitas outras atividades diárias, incluindo entretenimento. Desde a década de 1960, quando surgiram os primeiros HMDs [9], pesquisadores e engenheiros estão desenvolvendo novas tecnologias para constru¸cão de dispositivos voltados para diferentes propósitos. Fabricantes estão buscando o desenvolvimento de hardware e software que melhorem a experiência e a imersão do usuário em mundos virtuais e aumentados, com o intuito de aumentar a ado¸cão dessas tecnologias.

Apesar do lan¸camento recente de diversos HMDs voltados para realidade aumentada e realidade virtual 1, dois grandes problemas estão dificultando a ado¸cão em larga es-cala [10]: os custos extremamente elevados, que costumam variar entre US$ 700 e US$ 3000 para dispositivos de uso geral [11, 12] e podem ultrapassar US$ 5000 para dispo-sitivos de uso industrial [12, 13]; e os problemas de experiência de usuário, tais como o

1

Microsoft Hololens, Daqri Smart Helmet, Metavision Meta 2 e Magic Leap são alguns dos HMDs de realidade aumentada que estão em destaque no momento. Oculus Rift, Samsung Gear VR e Google Cardboard são exemplos de HMDs de realidade virtual.

(33)

conflito entre vergência e acomoda¸cão, o campo de visão reduzido, a alta latência na renderiza¸cão das imagens virtuais e a dificuldade de calibra¸cão dos HMDs [14–19].

De forma geral, a rela¸cão entre o custo (pre¸co de venda) e o benef´ıcio (a experiência de usuário entregue pelo dispositivo) aparenta ser o principal dos problemas [20], pois HMDs de RA e RV baseados em smartphones são mais baratos, têm mais problemas de experiência de usuário do que os dispositivos dedicados (isto é, independentes de smartphones) e, ainda assim, tendem a apresentar maior volume de vendas [10, 21], ou seja, têm maior ado¸cão dos usuários. Um dado que refor¸ca esse cenário mostra que a diminui¸cão na disponibilidade desses dispositivos vest´ıveis baseados em smartphones fez com que a receita total em vendas de HMDs de RA e RV reduzisse em 2017 [22]. Apesar dessa diminui¸cão, alguns HMDs de RA baseados em smartphone surgiram no mercado ao longo do ano de 2017 [22–25].

Além disso, análises mostram que o alto custo tende a restringir a ado¸cão comercial dos dispositivos dedicados, fazendo com que solu¸cões baseadas em smartphones sejam mais interessantes do ponto de vista econômico [8, 26]. Pensando nisso, fabricantes de HMDs de RV dedicados come¸caram a reduzir o pre¸co de venda dos seus dispositivos com intuito de estimular a ado¸cão da tecnologia [27]. No que diz respeito à RA, estão sendo desenvolvidas algumas alternativas de HMDs dedicados que prometem apresentar custo de fabrica¸cão em larga escala inferior a US$ 100, porém os projetos preliminares ainda não apresentam boa usabilidade [28].

Nesse contexto, a análise de alternativas de desenvolvimento que impliquem numa redu¸cão significativa do custo de constru¸cão dos HMDs, sem uma grande deteriora¸cão da experiência de usuário, é um importante passo rumo à ado¸cão em larga escala desses dispositivos. Além disso, essa boa rela¸cão custo x benef´ıcio pode facilitar a aplica¸cão dos HMDs de RA em todos os n´ıveis da indústria, contribuindo para o aprimoramento do processo de tomada de decisões.

Com o intuito de explorar melhor a questão dos problemas de experiência de usuário e de minimiza¸cão do custo dos HMDs, foram propostos, neste trabalho, três protótipos de baixo-custo de Head-Mounted Displays de realidade aumentada que podem ser aplicados em diferentes cenários da indústria. Os dois primeiros protótipos desenvolvidos utilizam um smartphone como fonte da imagem de realidade aumentada, enquanto que o último apresenta um display dedicado para essa mesma finalidade. Através de um estudo de usuário realizado, foi poss´ıvel comprovar que, mesmo considerando as limita¸cões indicadas pelos participantes da pesquisa, o último protótipo desenvolvido apresenta

(34)

uma boa rela¸cão custo x benef´ıcio. Além disso, o uso dos três protótipos é avaliado em estudo de caso que contempla a aplica¸cão de realidade aumentada vest´ıvel na teleinspe¸cão dos transportadores de correia da indústria da minera¸cão.

1.2 Motiva¸

c˜

ao

Com a 4a Revolu¸cão Industrial, as indústrias geram cada vez mais dados que precisam ser processados, visualizados e interpretados de forma rápida e eficiente para aprimo-rar o processo de tomada de decisões. Nesse cenário, a realidade aumentada vest´ıvel se apresenta como uma interface intuitiva e eficaz para visualiza¸cão das informa¸cões. Entretanto, apesar de existirem diversos HMDs para realidade aumentada, nenhum de-les conseguiu atingir uma grande ado¸cão comercial. O alto custo e os problemas de experiência do usuário podem ser considerados como os aspectos mais relevantes para a ocorrência desse problema [20]. Muitas vezes os HMDs apresentam diversos recursos e funcionalidades que não são necessários para a aplica¸cão alvo, fazendo com que o custo do dispositivo aumente desnecessariamente e prejudicando a rela¸cão custo x benef´ıcio da aplica¸cão. Dessa forma, é necessário fazer uma avalia¸cão de quais funcionalidades, recursos e tecnologias são imprescind´ıveis e de quais aspectos da experiência do usuário são mais relevantes para aplica¸cão dos HMD de RA nas indústrias, de forma a melhorar a rela¸cão custo x benef´ıcio e promover a utiliza¸cão desses dispositivos em larga escala.

1.3 Objetivos

Esse trabalho tem como objetivo geral a cria¸cão de HMDs de Realidade Aumentada para aplica¸cão industrial com rela¸cão custo x benef´ıcio vantajosa no que tange a experiência de usuário provida pelo equipamento.

Dessa forma, os objetivos espec´ıficos desse trabalho s˜ao:

• Constru¸cão de diferentes protótipos de HMD de baixo-custo para realidade aumen-tada que estejam de acordo com os requisitos de sistemas de computa¸cão vest´ıvel, ou seja, o protótipo deve ser leve, confortável e apresentar uma interface intuitiva. • Avalia¸cão de desempenho dos protótipos de HMD de realidade aumentada

(35)

• Avalia¸cão da influência dos protótipos de HMD de realidade aumentada no desem-penho do usuário em tarefas espec´ıficas.

• Avalia¸cão da experiência do usuário durante utiliza¸cão dos protótipos de HMD de realidade aumentada.

• Aplica¸cão dos protótipos de HMD de realidade aumentada no contexto da indústria.

1.4 Metodologia

Para alcan¸car os objetivos previamente mencionados, a seguinte metodologia foi aplicada durante o desenvolvimento desse trabalho:

• O levantamento e an´alise de bibliografia especializada, referente ao tema de pes-quisa.

• O desenvolvimento e avalia¸c˜ao do primeiro prot´otipo funcional do HMD de reali-dade aumentada.

• Avalia¸cão emp´ırica da experiência de usuário do primeiro protótipo.

• O desenvolvimento e avalia¸c˜ao do segundo prot´otipo funcional do HMD de reali-dade aumentada.

• Avalia¸cão superficial da experiência de usuário do segundo protótipo.

• O desenvolvimento e avalia¸c˜ao do terceiro prot´otipo funcional do HMD de realidade aumentada.

• Avalia¸cão detalhada da experiência de usuário do terceiro protótipo.

• Estudo de caso envolvendo a aplica¸cão dos três protótipos de HMDs de realidade aumentada na indústria.

1.5 Contribui¸

c˜

oes

(36)

• Uma metodologia para cria¸cão de HMDs de realidade aumentada de baixo custo de fabrica¸cão aplicada no desenvolvimento de três protótipos diferentes;

• Um estudo de experiência de usuário que validou a usabilidade e boa rela¸cão custo x benef´ıcio de um dos protótipos de HMD de realidade aumentada desenvolvidos; • Um estudo sobre a utilidade dos três protótipos desenvolvidos em uma aplica¸cão

de teleinspe¸cão no contexto da indústria de minera¸cão.

• A revisão da literatura sobre a classifica¸cão de HMDs de realidade aumentada; • As avalia¸cões de desempenho dos dois primeiros protótipos de HMD de realidade

aumentada utilizando diferentes plataformas de hardware.

Além disso, diferentes etapas desse trabalho resultaram nas publica¸cões de artigos acadêmicos em conferências e em periódicos e na publica¸cão de um cap´ıtulo de livro.

Em rela¸cão ao primeiro protótipo desenvolvido, foram publicados os quatro artigos listados a seguir, sendo os dois primeiros publicados em periódicos e os dois últimos em conferências:

• DELABRIDA, Saul; D’ANGELO, Thiago; OLIVEIRA, Ricardo A.R.; LOUREIRO, ANTONIO A.F. Building Wearables for Geology. Operating Systems Review, v. 50, p. 31-45, 2016.

• DELABRIDA, Saul; D’ANGELO, Thiago; RABELO OLIVEIRA, Ricardo Au-gusto; F. LOUREIRO, Antonio Alfredo. Wearable HUD for Ecological Field Rese-arch Applications. Journal on Special Topics in Mobile Networks and Applications, v. 21, p. 1-11, 2016.

• DELABRIDA, Saul Emanuel; D’ANGELO, Thiago; OLIVEIRA, Ricardo A. Ra-belo; LOUREIRO, Antonio Alfredo Ferreira. Towards a Wearable Device for Mo-nitoring Ecological Environments. In: 2015 Brazilian Symposium on Computing Systems Engineering (SBESC), 2015, Foz do Igua¸cu. 2015 Brazilian Symposium on Computing Systems Engineering (SBESC). p. 148.

• DELABRIDA, Saul; D’ANGELO, Thiago; OLIVEIRA, Ricardo A. RABELO. Fast prototyping of an AR HUD based on google cardboard API. In: the 2015 ACM In-ternational Joint Conference, 2015, Osaka. Proceedings of the 2015 ACM Interna-tional Joint Conference on Pervasive and Ubiquitous Computing and Proceedings

(37)

of the 2015 ACM International Symposium on Wearable Computers - UbiComp ’15. p. 1303-1306.

Considerando o segundo protótipo desenvolvido, foram elaboradas as duas publica¸cões listadas a seguir. A primeira se trata do cap´ıtulo de um livro e a segunda se trata de um artigo cient´ıfico publicado em uma conferência:

• D’ANGELO, Thiago; Delabrida Silva, Saul Emanuel; Oliveira, Ricardo A. R.; LOUREIRO, ANTONIO A. F. Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype. Advances in Wireless Technologies and Tele-communication. 1ed.: IGI Global, 2017, p. 1-28.

• D’ANGELO, Thiago; DELABRIDA, Saul; OLIVEIRA, Ricardo A. Rabelo; LOU-REIRO, Antonio A. F. Towards a Low-Cost Augmented Reality Head-Mounted Display with Real-Time Eye Center Location Capabality. In: Brazilian Symposium on Computing Systems Engineering, 2016, Jo˜ao Pessoa. Brazilian Symposium on Computing Systems Engineering, 2016.

Por fim, ainda não foi realizada nenhuma publica¸cão cient´ıfica referente ao terceiro e último protótipo desenvolvido.

1.6 Organiza¸

c˜

ao do Texto

O restante do texto desta disserta¸c˜ao encontra-se organizado da seguinte forma:

No Cap´ıtulo 2, é realizada uma revisão da literatura e são apresentados conceitos fundamentais sobre os dispositivos vest´ıveis de realidade aumentada.

No Cap´ıtulo 3, s˜ao apresentados os trabalhos relacionados que colaboraram e influ-enciaram no desenvolvimento desse projeto.

No Cap´ıtulo 4, é detalhada a metodologia empregada no desenvolvimento, teste e análise do protótipo desenvolvido na primeira etapa desse projeto.

No Cap´ıtulo 5, é detalhada a metodologia empregada no desenvolvimento, teste e análise do protótipo desenvolvido na segunda etapa desse projeto.

No Cap´ıtulo 6, é detalhada a metodologia empregada no desenvolvimento, teste e análise do protótipo desenvolvido na terceira etapa desse projeto.

(38)

No Cap´ıtulo 7, é apresentada uma aplica¸cão dos protótipos desenvolvidos na indústria da minera¸cão.

No Cap´ıtulo 8, são apresentadas as conclusões e são apontadas algumas dire¸cões para trabalhos futuros.

(39)

Fundamenta¸

c˜

ao Te´

orica

Neste cap´ıtulo será abordada a base teórica necessária para a compreensão do trabalho proposto. A Se¸cão 2.1 introduz o conceito de realidade mista e apresenta as diferen¸cas entre a realidade virtual e a realidade aumentada, além de exemplificar esses concei-tos. A Se¸cão 2.2 apresenta uma visão geral sobre os sistemas de realidade aumentada. A Se¸cão 2.3 apresenta uma visão detalhada sobre os Head-Mounted Displays para re-alidade aumentada, abordando a classifica¸cão, as caracter´ısticas e as limita¸cões desses dispositivos. Além de tratar sobre os aspectos construtivos, essa Se¸cão também evidencia algumas questões relevantes no que tange à experiência de usuários em HMDs. Poste-riormente, na Se¸cão 2.4, são discutidos os métodos de Gaze Tracking e aplica¸cão desses métodos nos HMDs de realidade aumentada. Por fim, na Se¸cão 2.5 são apresentados alguns cenários da indústria que podem ser beneficiados com a aplica¸cão da realidade aumentada.

2.1 Diferen¸

cas entre Realidade Virtual e Realidade

Au-mentada

Esta Se¸cão apresenta o conceito de Realidade Mista, uma defini¸cão mais genérica que abrange desde a Realidade Aumentada até a Realidade Virtual. As principais diferen¸cas existentes entre os conceitos de Realidade Virtual e Realidade Aumentada também são evidenciadas. Além disso, são apresentados exemplos de aplica¸cão de cada um desses conceitos.

(40)

2.1.1 Realidade Mista

O conceito de Realidade Mista visa relacionar ambas as defini¸cões de Realidade Aumen-tada e Realidade Virtual. No trabalho de Milgram et al. [29], esse conceito é introduzido como uma forma de definir RV e RA como extremos opostos do Cont´ınuo de Realidade-Virtualidade, que é mostrado na Figura 2.1.

Figura 2.1: Cont´ınuo de Realidade-Virtualidade Fonte: [29]

Segundo a defini¸cão Milgram et al. [29] e conforme mostrado na Figura 2.1, o ex-tremo da esquerda se trata de um ambiente que é composto apenas por objetos reais, sejam eles visualizados pessoalmente ou remotamente pelo usuário. Por outro lado, o extremo da direita se trata de um ambiente que é composto apenas por objetos virtu-ais, possivelmente gerados com recurso de computa¸cão gráfica, sejam eles visualizados através de um monitor ou de dispositivo vest´ıvel imersivo, como um HMD de RV. Ainda segundo a defini¸cão de Milgram et al. [29], a Realidade Mista está entre esses extremos e contempla qualquer ambiente que apresente objetos reais e virtuais simultaneamente através de um único display.

Tanto a realidade virtual quanto a realidade aumentada são tecnologias que apresen-taram grandes avan¸cos nesses últimos anos. Ambas as tecnologias buscam apresentar conteúdos virtuais aos usuários, porém se diferem na metodologia utilizada para expor esses conteúdos. A seguir, essas duas tecnologias são caracterizadas e os exemplos de aplica¸cão utilizando HMDs são apresentados.

2.1.2 Realidade Virtual

Por um lado, a realidade virtual provê a imersão completa do usuário em um mundo virtual. Nesse mundo virtual, o usuário é cercado por objetos e informa¸cões virtuais, sendo capaz de interagir com eles como se fossem reais [29, 30]. De forma geral, através de um HMD de Realidade Virtual, o usuário tem a experiência de ser transportado para

(41)

um mundo virtual, completamente gerado por computador, e deixa de ter acesso ao mundo real, no qual se encontra. Oculus Rift, Samsung Gear VR, Google Cardboard, HTC Vive e Playstation VR s˜ao alguns exemplos de HMDs de Realidade Virtual j´a existentes no mercado.

Figura 2.2: Usu´ario interagindo com um jogo de realidade virtual utilizando o Oculus Rift

Fonte: [31]

A Figura 2.2 mostra um usuário jogando em um ambiente de realidade virtual através de um Oculus Rift. Através desse dispositivo de realidade virtual, o usuário fica com-pletamente imerso no mundo virtual proporcionado pelo jogo e vê a mesma imagem que aparece no monitor a sua frente. Nesse caso, o usuário pode interagir com os objetos virtuais através do dispositivo de controle remoto que está em suas mãos.

2.1.3 Realidade Aumentada

Pelo outro lado, a realidade aumentada provê a sobreposi¸cão do mundo virtual no mundo real. O usuário pode visualizar objetos ou informa¸cões virtuais gerados por computador e, ao mesmo tempo, pode visualizar o mundo real [29,30,32]. Idealmente, o usuário pode interagir com esses objetos e informa¸cões virtuais. Além disso, esses objetos também devem ser posicionados e renderizados corretamente de forma que não fiquem inconsis-tentes com o mundo real. De forma geral, através de um HMD de Realidade Aumentada, o usuário tem a sensa¸cão de estar presente no mundo real, que é apenas “aumentado” pela sobreposi¸cão dos objetos e informa¸cões virtuais. Google Glass, Optinvent Ora,

(42)

Re-con Jet, Microsoft Hololens, Daqri Smart Helmet, Metavision Meta 2 e Magic Leap s˜ao os exemplos mais proeminentes de HMDs de Realidade Aumentada.

Figura 2.3: Usu´ario interagindo com o jogo Minecraft em realidade aumentada utilizando o Microsoft Hololens

Fonte: [33]

A Figura 2.3 mostra um usuário jogando uma versão especial do jogo Minecraft em realidade aumentada através de um Microsoft Hololens. Através desse dispositivo de realidade aumentada, o usuário passa a ter acesso ao conteúdo virtual, proporcionado pelo jogo, sobreposto ao mundo real. Nesse exemplo, o mundo virtual existente no jogo Minecraft é sobreposto ao mundo real sobre uma mesa e em uma parede da sala na qual o usuário se encontra. Além disso, o usuário consegue interagir com o conteúdo virtual realizando simples gestos com as mãos, sem a necessidade de utilizar um dispositivo de controle remoto.

2.2 Sistemas de Realidade Aumentada

O desenvolvimento de sistemas de realidade aumentada envolve o uso de um conjunto de tecnologias para permitir a visualiza¸cão de um ambiente real combinado com os elementos virtuais. Os principais componentes desses sistemas são sensores, unidades de processamento e displays [3]. Os sensores podem ser utilizados para capturar diferentes informa¸cões de contexto, sejam elas imagens, coordenadas de GPS ou outros dados de orienta¸cão e navega¸cão. As unidades de processamento são responsáveis por gerar e

(43)

renderizar as informa¸cões virtuais que devem ser apresentadas aos usuários. Os displays devem exibir essas informa¸cões sobrepostas no ambiente real aos usuários. Existem três tipos de displays que podem ser utilizados para prover conteúdo em RA para os usuários: Hand-Held Display (HHD), Spatial Display (SD), e Head-Mounted Display (HMD) [3].

De acordo com o tipo de display utilizado, é poss´ıvel definir se um dispositivo de RA será vest´ıvel ou não.

Dispositivos Não-Vest´ıveis: Entre os dispositivos de RA não-vest´ıveis se destacam os SDs fixos e os HHDs. Os SDs são projetores digitais capazes de sobrepor os obje-tos reais com informa¸cões virtuais, ideais para tarefas colaborativas. Um exemplos de aplica¸cão desse dispositivo é mostrado em [34]. Já os HHDs são os dispositivos de RA que os usuário devem segurar em suas mãos durante o uso, como tablets e smartphones. Exemplos de aplica¸cão desses dispositivos são apresentados em [35] e [36].

Dispositivos Vest´ıveis: Entre os dispositivos de RA vest´ıveis se destacam os HMPDs (Head-Mounted Projector Displays) e os HMDs. Os HMPDs consistem em um tipo de SD, montado na cabe¸ca do usuário, que é capaz de sobrepor os objetos reais com informa¸cões virtuais de acordo com o ponto de vista desse usuário. Um exemplo de aplica¸cão desse dispositivo é detalhado em [37]. Já os HMDs são dispositivos vest´ıveis, como óculos e capacetes inteligentes, que permitem a exibi¸cão constante de conteúdo em realidade aumentada ou virtual no campo de visão do usuário. Exemplos de aplica¸cão desses dispositivos são apresentados em [38] e [39].

Os HHDs e os HMDs são dois dos tipos de dispositivos de RA mais explorados na literatura [40]. Estudos comparativos sobre esses dois equipamentos indicam que a RA vest´ıvel oferece mais benef´ıcios e melhor experiência de usuário do que a RA n˜ ao-vest´ıvel [4–6]. Desta forma, o presente trabalho tem seu foco nos HMDs de RA. A seguir, a Se¸cão 2.3 apresenta uma visão detalhada sobre esse tipo de equipamento.

2.3 Head-Mounted Displays para Realidade Aumentada

Esta Se¸cão apresenta uma visão geral sobre Head-Mounted Displays para realidade au-mentada. A classifica¸cão dos HMDs sob diferentes perspectivas, assim como, as carac-ter´ısticas e limita¸cões desses dispositivos são apresentadas. Além disso, são discutidas

(44)

algumas questões relevantes sobre a experiência de usuário em HMDs de RA.

Desde o final da década de 1960, quando foi lan¸cado o primeiro Head Mounted Dis-play, houveram, por parte dos fabricantes e pesquisadores, diversas tentativas de se desenvolver uma variedade de HMDs voltados para aplica¸cões em realidade virtual, re-alidade aumentada, e para computadores vest´ıveis. Os HMDs têm uma variedade de aplica¸cões em RA incluindo aplica¸cões militares, industriais, em medicina, em educa¸cão, em treinamento, em navega¸cão e em entretenimento. Alguns dos principais aspectos e caracter´ısticas que devem ser observados durante o desenvolvimento de um HMD para uma aplica¸cão espec´ıfica são: o tipo de display e a ocularidade demandados pela aplica¸cão; a resolu¸cão exigida; a amplitude do campo de visão; a capacidade de oclusão e a profundidade de campo requisitadas pela aplica¸cão; a latência, o efeito paralaxe, as dis-tor¸cões e aberra¸cões introduzidos pela arquitetura escolhida; e as questões relacionadas `

a aceita¸cão e à experiência de usuário.

2.3.1 Classifica¸

c˜

ao dos HMDs

Os Head-Mounted Displays de realidade aumentada podem ser classificados de acordo com diversos parâmetros. Sendo assim, nesse trabalho serão tratados os três parâmetros principais que foram sugeridos por [9] e [15]: o tipo de display, o tipo de ocularidade e o projeto ótico empregados no desenvolvimento dos HMDs.

2.3.1.1 Tipo de Display

De maneira geral, existem dois tipos principais de displays em realidade aumentada: Optical See-Through e Video See-Through.A Figura 2.4 apresenta o diagrama de funci-onamento de cada um desses tipos de displays.

Optical See-Through: Através de um display do tipo Optical See-Through, conforme apresentado pela Figura 2.4a, as imagens real e virtual são combinadas utilizando um dispositivo ótico que é parcialmente transmissivo e reflexivo. A imagem do mundo real é vista de maneira integral através desse combinador ótico, enquanto que a imagem virtual ´

(45)

(a) Optical See-Through

(b) Video See-Through

Figura 2.4: Tipos de displays Fonte: Imagens adaptadas a partir de [9]

e instantânea do mundo real, e estruturas geralmente simples e leves [9]. Um HMD que utilize essa configura¸cão é denominado como um Optical See-Through Head-Mounted Display (OST-HMD). Alguns exemplos de OST-HMDs são: Google Glass, Optinvent Ora, Espson Moverio e Microsoft HoleLens [9, 12, 15, 41].

(46)

Video See-Through: Utilizando um display do tipo Video See-Through, conforme apresentado pela Figura 2.4b, a imagem do mundo real é primeiramente capturada por uma câmera de v´ıdeo, então, a imagem capturada e a imagem virtual (sintética) são combinadas digitalmente, e finalmente a combina¸cão das imagens é mostrada ao usuário através de um display de v´ıdeo, como uma tela de LCD ou de LED. As vantagens desse tipo de display em rela¸cão ao anterior incluem a consistência de cor, a sobreposi¸cão exata da imagem virtual sobre a imagem real e a disponibilidade de inúmeras técnicas de processamento de imagens [9]. Um HMD que utilize essa configura¸cão é denominado como um Video See-Through Head-Mounted Display (VST-HMD). Os trabalhos desen-volvidos em [42] e [43] mostram HMDs que utilizam displays do tipo Video See-Through para prover a realidade aumentada ao usuário. O EyeTap, um HMD desenvolvido por Steve Mann [44], também pode ser classificado como um VST-HMD.

2.3.1.2 Ocularidade

Outro critério utilizado para categorizar os HMDs é a ocularidade. Existem três tipos de ocularidade: monocular, biocular e binocular. Um HMD monocular tem um único display, seja esse do tipo Optical See-Through ou do tipo Video See-Through, e é reco-mendado para aplica¸cões em que visualiza¸cão estereoscópica não é necessária, como em HMDs de propósito geral e de uso diário. O Google Glass, o Optinvent Ora e o EyeTap são exemplos de HMDs monoculares [15, 39, 41]. Um HMD biocular provê uma única imagem para os dois olhos, enquanto um HMD binocular possui dois displays separados com dois canais de entrada, um para cada olho [9]. Um HMD binocular pode funcio-nar como um HMD estereoscópico somente quando duas fontes de imagens diferentes forem utilizadas. Os HMDs binoculares são altamente recomendados para a maioria das aplica¸cões em realidade aumentada, devido à capacidade de gera¸cão de imagens estereoscópicas [9]. O Epson Moverio e o Microsoft HoloLens são exemplos de HMDs binoculares [12, 15].

2.3.1.3 Projeto ´Otico

Quanto aos projetos óticos, os HMDs podem ser divididos em duas arquiteturas: com forma¸cão de pupila e sem forma¸cão de pupila. A Figura 2.5 apresenta o diagrama de

(47)

funcionamento de cada uma dessas arquiteturas de projeto ´otico.

(a) Projeto ´otico com forma¸c˜ao de pupila

(b) Projeto ´otico sem forma¸c˜ao de pupila

Figura 2.5: Arquiteturas de projeto ´otico Fonte: Imagens adaptadas a partir de [15]

Com Forma¸cão de Pupila: A arquitetura que apresenta forma¸cão de pupila, mos-trada na Figura 2.5a, tem sido frequentemente utilizada desde os primeiros HMDs para permitir amplo campo de visão, apesar de apresentar tamanho e peso maiores. Essa ar-quitetura produz pelo menos uma imagem intermediária e a pupila de sa´ıda é colimada pela ocular. A existência de uma imagem intermediária faz com que o projeto ótico seja flex´ıvel em rela¸cão ao tamanho do dispositivo gerador de imagens [9, 14].

Sem Forma¸cão de Pupila: A partir do surgimento de displays pequenos com alta resolu¸cão, as arquiteturas sem forma¸cão de pupila, mostradas na Figura 2.5b, se tor-naram mais comuns. O uso desses dispositivos permitiu um campo de visão moderado com uma estrutura leve e compacta. Porém, em arquiteturas sem forma¸cão de pupila, o projeto ótico é menos flex´ıvel [9, 14]. Os prismas de forma livre, os elementos óticos holográficos e os guias de onda óticos são exemplos de projetos óticos que utilizam a arquitetura sem forma¸cão de pupila. Alguns HMDs recentes, como Google Glass, Op-tinvent Ora, Epson Moverio e Microsoft HoloLens, utilizam projetos baseados em guias

(48)

de onda ´oticos [9, 12, 15, 41].

2.3.2 Caracter´ısticas dos HMDs

As principais caracter´ısticas dos HMDs (como a resolu¸cão da imagem, a amplitude do campo de visão, a capacidade de oclusão, a profundidade de campo e o projeto ´

otico) estão intrinsicamente relacionadas às limita¸cões atualmente existentes da tecno-logia (como consistência de cor, conflito entre vergência e acomoda¸cão, latência, efeito paralaxe, distor¸cões e aberra¸cões). Após analisar os aspectos construtivos dos HMDs, é importante definir quais caracter´ısticas são exigidas pela aplica¸cão alvo e tentar mini-mizar as limita¸cões tecnológicas relacionadas.

2.3.2.1 Resolu¸c˜ao

A resolu¸cão do display determina a integridade da imagem virtual em rela¸cão à imagem real. A resolu¸cão do total do sistema é limitada pelo projeto ótico, pelo dispositivo gerador de imagem e, possivelmente, pela resolu¸cão da câmera (no caso de HMDs com displays do tipo Video See-Through). Em rela¸cão à resolu¸cão da imagem virtual, um HMD ideal precisará ter até 12000 x 7200 pixels para competir com a visão humana (60 pixels por grau – PPD, do inglês Pixel Per Degree – para o campo de visão total de 200o na horizontal e 120o na vertical) [9]. Como não é poss´ıvel atingir esse valor de PPD com as tecnologias atuais, é preciso fazer um trade-off entre resolu¸cão angular e amplitude do campo de visão para conseguir uma solu¸cão viável. No entanto, como a resolu¸cão das telas aumentam a cada ano, esse trade-off entre resolu¸cão angular e amplitude do campo de visão deve desaparecer no futuro [9]. É importante ressaltar que apenas a visualiza¸cão do mundo aumentado sofre pela resolu¸cão limitada em displays do tipo Optical See-Through, enquanto que em displays do tipo Video See-Through tanto a visualiza¸cão do mundo real quanto do aumentado sofrem com a resolu¸cão limitada [14].

2.3.2.2 Campo de Vis˜ao

Em Head-Mounted Displays para realidade aumentada, o campo de visão (FOV, do inglês Field of View ) trata-se de um importante parâmetro que normalmente é medido em graus. A medi¸cão do campo de visão representa a amplitude da visualiza¸cão aumentada (mundo aumentado) do ponto de vista do usuário. Geralmente, HMDs para aplica¸cões de

(49)

realidade aumentada, como o Microsoft HoloLens, requerem um campo de visão amplo e estereoscópico, enquanto que HMDs para aplica¸cões de Smart Glasses, como o Google Glass, podem ter um campo de visão estreito e monocular [9, 15].

2.3.2.3 Profundidade de Campo

A profundidade de campo refere-se à distância focal de um plano ou um objeto em rela¸cão ao olho (ou em rela¸cão a uma câmera). No mundo real, a acomoda¸cão e a vergência dos olhos são ajustadas automaticamente para focalizar um objeto de acordo com a profundidade de campo desse objeto, de forma que os objetos fora dessa profundidade aparentam estar levemente distorcidos. Por outro lado, um objeto virtual geralmente é observado a uma distância de acomoda¸cão fixa e a uma distância de vergência que varia de acordo com visão estereoscópica fornecida pelo HMD. Essa distância focal fixa repre-senta um problema, pois a acomoda¸cão e a vergência do sistema de visão humano estão intrinsecamente ligadas. Dessa forma, ajustar apenas um desses aspectos, mantendo o outro fixo, pode gerar fadiga ocular [9, 14, 15, 45]. Esse problema também é conhecido como conflito entre vergência e acomoda¸cão [14, 45] e está ilustrado na Figura 2.6.

(a) (b) (c)

Figura 2.6: Possibilidades de conflito entre vergência e acomoda¸cão: (a) Sem conflito; (b) Distância de vergência menor que distância de acomoda¸cão; (c) Distância de vergência maior que distância de acomoda¸cão.

Fonte: Imagem adaptada a partir de [46]

Esse problema pode ser minimizado atrav´es de uma nova tecnologia conhecida como Light-Field Display, entretanto ela demanda um hardware de alto-custo e com alto poder

(50)

computacional capaz de renderizar as imagens de Light-Field [47, 48]. Dessa forma, n˜ao ´

e vi´avel utilizar esse tipo de display em conjunto com sistemas embarcados mais comuns, que possuem baixo poder computacional.

2.3.2.4 Oclus˜ao

Outra caracter´ıstica desejada em HMDs de RA trata-se da capacidade de oclusão. Um HMD com capacidade de oclusão pode introduzir um objeto virtual entre outros objetos reais fornecendo uma importante informa¸cão relacionada à profundidade dos objetos presentes na cena aumentada [9, 49]. A oclusão ocorre de tal maneira que o objeto virtual é oclu´ıdo pelo objeto real a sua frente e oclui o objeto real que está atrás. É importante observar que a capacidade de oclusão é mais fácil de ser alcan¸cada em VST-HMDs do que em OST-VST-HMDs [9, 49, 50].

2.3.3 Limita¸

c˜

oes dos HMDs

Algumas das principais limita¸cões dos Head-Mounted Displays são: latência, efeito para-laxe, consistência entre imagens reais e virtuais, distor¸cões e aberra¸cões. Essas restri¸cões estão relacionadas com o projeto ótico escolhido, assim como, com outras questões de hardware, e devem ser minimizadas. Alguns desses problemas podem ser mais dif´ıceis de lidar em projetos que utilizem o display do tipo Optical See-Through do que em projetos com display do tipo Video See-Through, e vice-versa. A seguir, cada uma das limita¸cões listadas é descrita em detalhes.

2.3.3.1 Latˆencia

Em OST-HMDs, a latência afeta apenas a imagem virtual, gerando erros no posiciona-mento da imagem virtual em rela¸cão ao mundo real [9,14]. Esse erro varia de acordo com o movimento da cabe¸ca do usuário e pode causar problemas como náuseas e sensa¸cão de desorienta¸cão. O uso de um sistema inercial de Head Tracking 1 fixado ao HMD é uma forma de minimizar o erro de posicionamento em tempo-real [9].

Em VST-HMDs, a latˆencia afeta tanto a imagem real quanto a imagem virtual.

1

Sistemas de Head Tracking são capazes de detectar a pose e orienta¸cão da cabe¸ca do usuário através de unidades de medi¸cão inercial (conjunto de sensores como acelerômetros e giroscópios) fixas em rela¸cão `

(51)

Normalmente, for¸ca-se a sincroniza¸cão entre as imagens real e virtual de forma que não ocorra o erro de posicionamento devido à latência. Entretanto, a intera¸cão do usuário com o ambiente real pode ser prejudicada pela latência total do sistema [14].

2.3.3.2 Efeito Paralaxe

Ao contrário dos OST-HMDs, os VST-HMDs apresentam maior dificuldade para elimi-nar o efeito paralaxe, que é gerado pela diferen¸ca entre o ponto de vista do olho do usuário e o ponto de vista da câmera [9]. A montagem de uma câmera estéreo acima do HMD introduz uma paralaxe vertical, causando uma falsa sensa¸cão de altura. A paralaxe horizontal introduz erros na percep¸cão de profundidade [9]. É desejável que as lentes da câmera estejam oticamente posicionadas na mesma região dos olhos do usuário para minimizar a paralaxe. [43] e [42] propõem o desenvolvimento de VST-HMDs sem paralaxe.

2.3.3.3 Consistˆencia de Cor

A consistência de cor entre as imagens reais e virtuais é importante para o senso de realidade, bem como para a visibilidade das informa¸cões de sobreposi¸cão. Por exemplo, o brilho e o contraste da imagem virtual devem ser ajustados para que se assemelhem ao brilho e ao contraste da imagem real. Em um OST-HMD, é dif´ıcil combinar o brilho e contraste das imagens virtual e real para uma ampla faixa de valores de luminosi-dade da cena real. Em VST-HMDs, a consistência entre as imagens é mais facilmente alcan¸cada [9].

2.3.3.4 Distor¸c˜oes e Aberra¸c˜oes

As distor¸cões da imagem e as aberra¸cões, em realidade aumentada, podem causar re-gistro incorreto da imagem virtual, renderiza¸cão incorreta da profundidade dos objetos (virtuais e reais), fadiga ocular e, até mesmo, desorienta¸cão do usuário [9].

Em um HMD binocular, as diferen¸cas entre as distor¸cões da imagem da esquerda e da direita devem ser minimizadas para que seja poss´ıvel alcan¸car a visão estereoscópica correta. O movimento rápido da cabe¸ca também pode gerar um incômodo pela separa¸cão de cores em dispositivos que usam um sistema sequencial de cores [9].

(52)

Três tipos principais de aberra¸cões podem ocorrer em HMDs de realidade aumentada: aberra¸cões óticas, cromáticas e esféricas. Lentes e espelhos curvos podem introduzir uma variedade de aberra¸cões óticas. É poss´ıvel corrigir as distor¸cões óticas eletronicamente, bastando distorcer a imagem original, de maneira corretiva, antes de transmiti-la pelo dispositivo responsável por gerar as imagens virtuais. Aberra¸cões cromáticas ocorrem devido ao poder de refra¸cão das lentes. Para compensar, lentes acromáticas são nor-malmente utilizadas. Considerando que displays full-color na verdade têm apenas as três componentes RGB, as aberra¸cões cromáticas podem ser compensadas fazendo uma pré-distor¸cão de forma separada em cada um dos canais R, G e B. Aberra¸cões esféricas são causadas pela forma esférica da superf´ıcie da lente. Com o deslocamento lateral do olho, a imagem fica distorcida e emba¸cada. Nesses casos, as técnicas de pré-distor¸cão da imagem não são eficientes para corrigir o problema, logo é prefer´ıvel o uso de lentes asféricas e/ou acromáticas para evitar tal problema [9, 14, 49].

2.3.4 Quest˜

oes de Experiˆ

encia de Usu´

ario em HMDs

Idealmente, um HMD deve apresentar um campo de visão de 200o na horizontal e de 125o na vertical, com alta resolu¸cão angular (PPD), com uma taxa de atualiza¸cão de 120Hz e possuir um design de um óculos comum [9, 10]. Entretanto, atingir todas essas especifica¸cões ao mesmo tempo tem se mostrado uma tarefa extremamente dif´ıcil. Considerando a ergonomia, um HMD deve ser o mais leve, pequeno e confortável de usar quanto poss´ıvel. Além disso, o visual e a aparência dos HMDs devem satisfazer os requisitos da aplica¸cão. O centro de massa de um HMD deve ser posicionado o mais próximo poss´ıvel da cabe¸ca do usuário. Um HMD pesado e bem equilibrado pode parecer muito mais leve para o usuário do que um HMD leve e mal equilibrado [9, 50]. Os HMDs utilizados de forma inadequada podem fazer com os usuários apresentem sintomas indesejáveis, como dores de cabe¸ca e enjoos.

Ao contrário de smartphones ou smartwatches, um HMD pode se tornar um incômodo caso os usuários tenham que colocá-lo e tirá-lo com frequência. Uma perspectiva futura para os HMDs é que eles se tornem leves, pequenos e confortáveis, de modo que os usuários possam usá-los por um longo per´ıodo de tempo durante o dia e para diversas finalidades. No entanto, um HMD poderá ser inútil ou mesmo prejudicial, quando o conteúdo que ele estiver mostrando não for relevante para o contexto atual do usuário. Este problema é menos proeminente quando se trata de aplica¸cões não-imersivas, onde o campo de visão do HMD é relativamente pequeno e mostrado fora do centro de visão do

(53)

usuário. Entretanto, em aplica¸cões imersivas, onde a realidade aumentada cobre todo o campo de visão central do usuário, esse problema passa a ser mais significativo. Em tais situa¸cões, o sistema de realidade aumentada deve ter conhecimento do ambiente no qual o usuário está inserido, modificando dinamicamente seu conteúdo e estilo de apresenta¸cão de acordo com contexto [9, 44].

As questões de seguran¸ca são de igual importância. Por sua natureza, as aplica¸cões realidade aumentada tendem a distrair a aten¸cão do usuário em rela¸cão ao que acontece ao seu redor através da sobreposi¸cão de imagens virtuais sobre o ambiente real. Para evitar maiores problemas, as aplica¸cões de realidade aumentada devem apresentar o m´ınimo de informa¸cão e, ao mesmo tempo, auxiliar a realiza¸cão da tarefa-alvo de maneira satisfatória. Quando a questão da seguran¸ca do usuário é considerada como de prioridade máxima, os HMDs com display do tipo Optical See-Through são recomendados, em detrimento dos HMDs com display do tipo Video See-Through. Isso se deve ao fato de que os VST-HMDs podem restringir a visão periférica e, até mesmo, bloquear a visão central do usuário em caso de falha do dispositivo [9, 49, 50].

Outro problema comum em aplica¸cões de RA está relacionado ao fato de que nem sempre o HMD estará posicionado de uma mesma forma sobre a cabe¸ca do usuário. Como as imagens virtuais devem ser geradas de acordo com a perspectiva do usuário, essa mudan¸ca de posicionamento do HMD faz com que o sistema tenha que ser ca-librado frequentemente e, além disso, para cada usuário é necessária uma calibra¸cão diferente [19]. Geralmente, a calibra¸cão do HMD envolve a determina¸cão de parâmetros do dispositivo (relacionados à câmera e ao display do HMD) e do usuário (relacionados ao posicionamento do olho e à dire¸cão de olhar) [18, 19].

2.4 M´

etodos de Gaze Tracking

Esta Se¸cão apresenta uma visão geral sobre os métodos de Gaze Tracking e demons-tra a importância da informa¸cão da dire¸cão do olhar do usuário para os sistemas de Head-Mounted Displays para realidade aumentada. Além disso, é disponibilizada uma classifica¸cão dos métodos de Gaze Tracking. As caracter´ısticas principais, as vantagens e desvantagens de cada tipo método são brevemente descritas.

(54)

2.4.1 M´

etodos de Gaze Tracking em HMDs de Realidade

Aumen-tada

A dire¸cão de olhar do usuário trata-se de uma informa¸cão importante para diversas aplica¸cões e pesquisas relacionadas à visão computacional. Essa informa¸cão é comu-mente utilizada em aplica¸cões como intera¸cão humano-computador, controle de dispo-sitivos por pessoas deficientes, deteçcão da aten¸cão do usuário [51]. Além disso, com o surgimento de diversos modelos de Head-Mounted Displays (HMDs) para realidade aumentada, essa informa¸cão da dire¸cão do olhar apresenta um importante papel nos sis-temas de Gaze Tracking e de deteçcão do ponto de interesse 2 do usuário [14, 52]. Esses sistemas, em conjunto com os sistemas de Head Tracking, são responsáveis por aprimorar a sobreposi¸cão da imagem virtual sobre o ambiente real, garantindo o posicionamento correto das informa¸cões aumentadas de acordo com o ponto de vista do usuário. Esses sistemas também podem ser utilizados para amenizar um problema conhecido como con-flito entre vergência e acomoda¸cão [14, 53, 54], que ocorre na maioria dos dispositivos de realidade aumentada e realidade virtual com displays estereoscópicos, e para determinar alguns parâmetros do usuário durante a etapa de calibra¸cão dos HMDs [19].

O uso de técnicas de reconhecimento de padrões e visão computacional em aplica¸cões que envolvem sistemas de hardware embarcados e exigem processamento em tempo real, como os HMDs de RA, trata-se de uma tarefa complexa. Dessa forma, o uso de imagens de baixa resolu¸cão como entrada dos algoritmos de visão de computacional e de reconhe-cimento de padrões consiste em uma alternativa viável para possibilitar o processamento em tempo real, sem que haja um aumento no custo do hardware do sistema.

2.4.2 Classifica¸

c˜

ao dos M´

etodos de Gaze Tracking

Diversos métodos para Gaze Tracking utilizando imagens de baixa resolu¸cão já foram propostos na literatura. Eles geralmente utilizam a informa¸cão do centro do olho em conjunto com um ponto de âncora 3 para calcular o vetor centro-âncora e, então, con-seguem estimar a região para onde o usuário está olhando através de um modelo de regressão, como uma Regressão Polinomial ou um SVR (Support Vector Regression),

2

O ponto de interesse corresponde à coordenada tridimensional que representa o ponto do espa¸co no qual o usuário está focado.

3

O ponto de âncora trata-se de um ponto fixo e estável presente na face do usuário. Normalmente, são utilizados os cantos do olhos ou reflexos de luz infravermelha (gerada por LEDs de infravermelho) nas córneas do usuário.

(55)

ou de classifica¸cão, como uma Rede Neural Artifical ou um SVC (Support Vector Clas-sification) [52, 55, 56]. Além disso, os métodos de Gaze Tracking podem ser divididos basicamente em três categorias: métodos baseado em modelo, métodos baseado em atributo e métodos h´ıbridos [51, 52, 57, 58].

2.4.2.1 M´etodos baseados em Modelo

Os métodos baseados em modelo utilizam informa¸cões globais a respeito da aparência do olho e da face. Essas abordagens frequentemente utilizam a classifica¸cão de um conjunto de atributos ou o aprendizado de um determinado modelo para determinar a localiza¸cão dos olhos. Através da utiliza¸cão da aparência global, os métodos baseados em modelo alcan¸cam vantagens de robustez e precisão na deteçcão da localiza¸cão do olho. Entretanto, como o sucesso desses métodos exige a localiza¸cão correta de diversos atributos ou a convergência de um modelo completo, a importância da localiza¸cão do centro do olho é normalmente reduzida, devido a sua variabilidade, e, dessa forma, é interpretada apenas como ponto central do modelo do olho ou como o ponto central entre dois cantos do olho. Sendo assim, esses métodos não são muito precisos em situa¸cões em que o centro do olho pode se mover de maneira repentina, pois o cálculo do vetor centro-âncora pode ser afetado [52].

2.4.2.2 M´etodos baseados em Atributo

Os métodos baseados em atributos utilizam propriedades conhecidas a respeito dos olhos para detectar as poss´ıveis localiza¸cões do centro e do canto do olho a partir de simples atributos locais da imagem (como bordas do olho e gradiente da imagem), sem exigir o uso de modelos ou de alguma forma de aprendizado. Dessa forma, métodos baseados em atributos não são confundidos por ru´ıdos ou por sobreposi¸cão de atributos e podem atingir resultados bem precisos para localiza¸cão do centro do olho. Entretanto, como muitas vezes os atributos detectados podem estar errados, os métodos baseados em atributo são menos estáveis do que os métodos baseados em modelo [51, 52].

2.4.2.3 M´etodos H´ıbridos

Como uma forma de unir as vantagens de ambos os métodos anteriores, foram desen-volvidos alguns métodos denominados como métodos h´ıbridos. Nos métodos h´ıbridos,