Trabalhos Relacionados
3.1.2 Optical See-Through Head-Mounted Displays (OST-HMDs)
Fuchs et al. [16] argumentam que o mercado de HMDs de realidade virtual cresceu em propor¸c˜ao muito maior do que o de HMDs de realidade aumentada. Dessa maneira, em contraste aos HMDs de RV, os OST-HMDs existentes no mercado n˜ao se desenvolveram de forma significante e, geralmente, possuem alta latˆencia e campo de vis˜ao estreito, limitando as suas aplica¸c˜oes e a ado¸c˜ao de usu´arios.
Sendo assim, eles tamb´em prop˜oem a modifica¸c˜ao do Oculus VR Rift para prover a realidade aumentada com campo de vis˜ao amplo e baixa latˆencia. Entretanto, a estrat´egia adotada neste trabalho difere completamente daquelas adotadas nos estudos anteriormente apresentados. Atrav´es da adapta¸c˜ao do Oculus Rift e sua integra¸c˜ao com
um combinador ´otico, os autores desenvolveram um prot´otipo de Optical See-Through Head-Mounted Display para realidade aumentada. Vale ressaltar que essa arquitetura tamb´em pode ser empregada para construir um OST-HMD baseado em smartphone, bastando substituir o Oculus Rift por um smartphone e realizar as devidas altera¸c˜oes na estrutura f´ısica do HMD, de forma que ela se mantenha mecanicamente est´avel.
Fuchs et al. [16] testaram dois projetos ´oticos diferentes para constru¸c˜ao desse dis- positivo. Em primeiro lugar, avaliou-se o uso de um espelho plano e semitransparente, junto com um par de lentes de Fresnel, para realizar a fun¸c˜ao do combinador ´otico. Essa estrat´egia possibilitou a amplia¸c˜ao das imagens virtuais geradas, por´em limitou o campo de vis˜ao do HMD em 35o, devido ao diˆametro da lente de Fresnel que foi em- pregada nessa essa arquitetura. Em segundo lugar, avaliou-se o uso de espelhos curvos e semitransparentes, sem a necessidade de lentes. Essa estrat´egia permite maior campo de vis˜ao, apesar de introduzir pequenas distor¸c˜oes ´oticas. Utilizando essa ´ultima con- figura¸c˜ao foi poss´ıvel construir um OST-HMD de realidade aumentada com campo de vis˜ao amplo e baixa latˆencia.
Itoh et al. [17] realizaram uma avalia¸c˜ao da consistˆencia temporal no posicionamento de objetos virtuais em um OST-HMD cuja arquitetura ´e idˆentica `a primeira proposta de Fuchs et al. [16]. Atrav´es dessa avalia¸c˜ao, foi confirmada que a baixa latˆencia do Oculus Rift permite o posicionamento temporalmente consistente de objetos virtuais no ambiente de realidade aumentada proporcionado pelo OST-HMD. Apesar disso, devido `a arquitetura utilizada no prot´otipo, tanto a distˆancia de acomoda¸c˜ao quanto a amplitude do campo de vis˜ao foram reduzidas.
O primeiro prot´otipo de OST-HMD desenvolvido no presente trabalho e descrito no Cap´ıtulo 5 apresenta algumas vantagens e desvantagens se comparado com os trabalhos relacionados. Primeiramente, por ser baseado em um smartphone, o prot´otipo apresenta a vantagem da mobilidade, uma vez que n˜ao precisa estar conectado a um computador pessoal para funcionar. Pelo mesmo motivo, a resolu¸c˜ao, o campo de vis˜ao do HMD s˜ao dependentes da tela do smartphone, o que pode representar uma vantagem ou uma desvantagem, de acordo com o dispositivo utilizado. Por outro lado, a dependˆencia do smartphone faz com que o prot´otipo tenha uma latˆencia maior do que a latˆencia do Oculus Rift, caracterizando uma desvantagem. Assim como os trabalhos relacionados, o prot´otipo pode ser classificado como um HMD Binocular, que ´e o mais recomendado para aplica¸c˜oes de realidade aumentada. O custo reduzido do prot´otipo, devido `a utiliza¸c˜ao de materiais de baixo-custo, pode ser considerado uma vantagem caso o smartphone utilizado tenha um pre¸co inferior ao do Oculus Rift. Um outro prot´otipo que se assemelha
ao projeto desenvolvido no presente trabalho, foi proposto por Keynejad [89]. Esse dispositivo tamb´em se baseia na visualiza¸c˜ao OST e no uso de smartphone, entretanto, como ele n˜ao ´e montado na cabe¸ca, o usu´ario deve segur´a-lo com as pr´oprias m˜aos para conseguir visualizar o conte´udo em realidade aumentada.
Apesar das in´umeras vantagens para aplica¸c˜oes de realidade aumentada, todas essas vers˜oes de OST-HMD Binocular possuem um peso bastante elevado, prejudicando a experiˆencia de usu´ario e a usabilidade. Considerando que o smartphone e o Oculus Rift s˜ao os principais respons´aveis por esse problema, a substitui¸c˜ao dos mesmos por pequenos displays de OLED (Organic Light-Emitting Diode) ou LCOS (Liquid Crystal On Silicon) podem reduzir consideravelmente o peso de cada um desses equipamentos. Entretanto, essa solu¸c˜ao cria a necessidade do uso de sistemas embarcados espec´ıficos para o controle desses displays.
Como uma alternativa leve e de baixo-custo (aproximadamente US$ 90), Mauer [90], propˆos um desenvolvimento de um OST-HMD baseado na plataforma de desenvolvi- mento Arduino2. O prot´otipo desenvolvido nesse trabalho ´e constitu´ıdo por um display de OLED de baixa resolu¸c˜ao, um sistema ´otico simples (composto apenas por lentes e espelhos), um Arduino Pro Micro, um m´odulo de comunica¸c˜ao com Bluetooth 4.0, e uma bateria com o circuito para recarreg´a-la. A plataforma de desenvolvimento utilizada ´e respons´avel por toda a l´ogica da aplica¸c˜ao, incluindo o controle do display de OLED.
O prot´otipo em quest˜ao pode ser classificado como um OST-HMD Monocular. Essa classe, apesar de n˜ao ser ideal para aplica¸c˜oes de realidade aumentada com conte´udo imersivo, ´e suficiente para aplica¸c˜oes que consistem na exibi¸c˜ao de informa¸c˜oes de con- texto e notifica¸c˜oes, como no caso de um dispositivo utilizado para aux´ılio em ma- nuten¸c˜ao de equipamentos. Al´em disso, essa ´e a arquitetura recomendada quando a atividade a ser realizada envolve situa¸c˜oes de risco para o usu´ario.
Esse equipamento, concebido por Mauer [90], foi criado com o intuito de exibir, em realidade aumentada, as medi¸c˜oes feitas atrav´es de um mult´ımetro. Com o valor medido sendo mostrado constantemente em seu campo de vis˜ao, o usu´ario do HMD n˜ao precisa mudar seu foco enquanto executa a inspe¸c˜ao ou a manuten¸c˜ao de um painel el´etrico, reduzindo assim a probabilidade de ocorrer algum tipo de acidente de trabalho, como um choque el´etrico.
Os trabalhos desenvolvidos por Magesh [91], Chowdhury [92], Fung [93] e Shugar-
2
man [94] tamb´em utilizam a mesma arquitetura de HMD Monocular e tˆem um baixo- custo de fabrica¸c˜ao. A principal distin¸c˜ao entre eles reside no projeto ´otico empregado. Os prot´otipos propostos por Magesh [91] e Chowdhury [92] s˜ao compostos por displays de OLED e usam arquitetura OST. Enquanto isso, os equipamentos feitos por Fung [93] e Shugarman [94] possuem displays de LCOS e utilizam uma arquitetura diferente, que n˜ao possibilita a transparˆencia da tela e bloqueia parcialmente a vis˜ao do usu´ario.
O segundo prot´otipo de OST-HMD desenvolvido no presente trabalho e descrito no Cap´ıtulo 6 tamb´em utiliza a arquitetura monocular e foi baseado no projeto proposto por Mauer [90]. As principais diferen¸cas entre os trabalhos s˜ao referentes `as especi- fica¸c˜oes dos componentes do sistema ´otico e `a placa de desenvolvimento utilizada. Em rela¸c˜ao `a parte ´otica, um display de OLED maior e uma lente biconvexa com menor distˆancia focal, especificamente projetada para esse HMD, foram utilizados. Essas mu- dan¸cas proporcionam um campo de vis˜ao ligeiramente mais amplo mantendo a distˆancia de acomoda¸c˜ao confort´avel para usu´ario. Em rela¸c˜ao `a placa de desenvolvimento, fo- ram escolhidas plataformas com suporte nativo `a conectividade sem fio, como WiFi ou Bluetooth. Essa escolha dispensa o uso de um segundo componente dedicado para a comunica¸c˜ao, reduzindo o custo de fabrica¸c˜ao e o peso do prot´otipo.
3.2
Calibra¸c˜ao de HMDs de Realidade Aumentada
Esta Se¸c˜ao aborda alguns estudos relacionados `a calibra¸c˜ao dos Head-Mounted Displays de realidade aumentada.
Um problema comum em aplica¸c˜oes de RA est´a relacionado ao fato de que nem sempre o Head-Mounted Display estar´a posicionado de uma mesma forma na cabe¸ca do usu´ario e de que a informa¸c˜ao exibida no display sempre deve ser gerada de acordo com a perspectiva do usu´ario. Sendo assim, o sistema de realidade aumentada deve ser calibrado frequentemente e depende, entre outros fatores, de caracter´ısticas ´unicas de cada usu´ario. Caso essa calibra¸c˜ao exija intera¸c˜ao com o usu´ario, essa tarefa pode se tornar cansativa e pode distra´ı-lo de sua atividade principal. Al´em disso, a introdu¸c˜ao de erros dependentes do usu´ario no sistema pode reduzir a aceita¸c˜ao de usu´ario dos OST-HMDs [19].
Como forma de contornar esse problema, Itoh et al. [19] propuseram um m´etodo que utiliza a medi¸c˜ao dinˆamica da localiza¸c˜ao 3D do olho atrav´es de um Eye Tracker
combinada com parˆametros est´aticos e pr´e-computados de calibra¸c˜ao do display. Dessa maneira, uma vez que o Eye Tracker detecta a mudan¸ca da localiza¸c˜ao 3D do olho, basta reajustar os parˆametros de calibra¸c˜ao de acordo com essa nova localiza¸c˜ao, sem necessidade de intera¸c˜ao do usu´ario. Os resultados apresentados mostram que o m´etodo proposto ´e mais est´avel do que os m´etodos mais utilizados na literatura. Entretanto, o m´etodo proposto ainda n˜ao cumpre o requisito de execu¸c˜ao em tempo real, impres- cind´ıvel para sua utiliza¸c˜ao em sistemas embarcados de baixo poder computacional. Portanto, por exigir hardware mais avan¸cado, seu uso pr´atico em HMDs de baixo-custo para RA ´e prejudicado.
A proposta de Plopski et al. [18] trata-se de outro trabalho que aborda o problema de calibra¸c˜ao autom´atica de HMDs. Nesse trabalho ´e utilizado o reflexo de uma imagem nas c´orneas do usu´ario para possibilitar a calibra¸c˜ao do HMD de realidade aumentada. Os resultados s˜ao levemente superiores ao trabalho anteriormente apresentado. Entretanto, como o m´etodo tamb´em exige alto poder de processamento, ele se torna invi´avel para a aplica¸c˜ao em sistemas embarcados de baixo poder computacional.
3.3
M´etodos de Eye Tracking e Gaze Tracking
Esta Se¸c˜ao apresenta algumas metodologias para realiza¸c˜ao de Eye Tracking e Gaze Tracking e a importˆancia do uso desses m´etodos em aplica¸c˜oes de HMDs de RA.
Atrav´es da an´alise dos m´etodos propostos nos trabalhos anteriormente citados, foi poss´ıvel perceber que o posicionamento do olho e a dire¸c˜ao do olhar do usu´ario contˆem informa¸c˜oes importantes para calibra¸c˜ao do HMD de realidade aumentada. Sendo assim, se tornou necess´ario o estudo de m´etodos para realiza¸c˜ao de Eye Tracking (respons´avel por identificar o posicionamento do olho) e Gaze Tracking (respons´avel por determinar a dire¸c˜ao de olhar do usu´ario) que fossem vi´aveis para a aplica¸c˜ao em sistemas embarcados de baixo poder computacional.
Conforme ´e mostrado por Gupta et al. [95], al´em de auxiliar na calibra¸c˜ao de HMDs, os m´etodos de Eye Tracking e Gaze Tracking tamb´em podem fornecer informa¸c˜oes signi- ficativas para aplica¸c˜oes de colabora¸c˜ao remota em HMDs. Dessa forma, o estudo desses m´etodos aplicados a HMDs se torna cada vez mais importante e necess´ario.
O m´etodo proposto por Valenti et al. [51,58], cujo objetivo ´e a localiza¸c˜ao do centro do olho em imagens de baixa resolu¸c˜ao atrav´es de padr˜oes invariantes isocˆentricos, respeita
as condi¸c˜oes de exigˆencia de baixo poder computacional e, portanto, pode ser aplicado em sistemas embarcados para realiza¸c˜ao do Eye Tracking.
Basicamente, o m´etodo utiliza as curvas de n´ıvel de luminosidade, tamb´em chamadas de isofotas, como atributo local para a determina¸c˜ao do centro do olho. A partir da obten¸c˜ao dessas curvas de n´ıvel de luminosidade, ´e poss´ıvel calcular o centro do olho como sendo o centro das curvas de n´ıvel de mesma luminosidade. Para determinar a coordenada que representa o centro do olho, ´e proposto um sistema de vota¸c˜ao onde cada pixel pertencente a uma curva de n´ıvel de luminosidade indica qual ´e a coordenadas do centro dessa curva. Dessa forma, ´e criado um mapa no qual a coordenada que acumula a maior quantidade de votos ´e considerada como a coordenada do centro do olho. Esse mapa com o resultado das vota¸c˜oes ´e chamado de centermap, cada uma de suas coordenadas ´e chamada de isocentro, e cada isocentro armazena um valor que corresponde `a quantidade recebida de votos. O sistema de vota¸c˜ao ´e ponderado de acordo com o grau de curvatura das isofotas. Assim, quanto maior ´e o grau de curvatura de uma isofota, maior ser´a o peso do voto dos pixels pertencentes a essa curva no sistema de vota¸c˜ao. Valenti et al. [51,58] propuseram trˆes variantes desse algoritmo: um m´etodo b´asico, um m´etodo intermedi´ario e um m´etodo aprimorado.
O m´etodo b´asico se baseia no sistema de vota¸c˜ao do centro das curvas de n´ıvel de mesma luminosidade, considera o isocentro com maior quantidade de votos como coordenada do centro do olho e ´e denominado como M´aximo Isocentro (MIC).
O m´etodo intermedi´ario consiste numa uni˜ao do m´etodo b´asico (MIC) com o algo- ritmo Mean-Shift (MS) [96]. Nessa variante, o intuito ´e buscar pela regi˜ao do centermap que apresenta a maior densidade de votos e, dentro dessa regi˜ao, estipular qual isocentro corresponde `as coordenadas do centro do olho na imagem.
O m´etodo aprimorado utiliza uma variante do descritor SIFT (Scale Invariant Feature Transform) [97] para identificar os isocentros que apresentam a maior probabilidade de ser o centro do olho. A partir disso, ´e utilizado um classificador k-NN (k-Nearest Neigh- bor) [98], previamente treinado, para determinar qual desses isocentros corresponde `a coordenada real do centro do olho na imagem.
De todos os m´etodos apresentados, apenas o m´etodo aprimorado n˜ao respeita as restri¸c˜oes de baixo custo computacional e, assim, n˜ao pode ser facilmente aplicado em sistemas embarcados com baixo poder de processamento.
et al. [99] propuseram uma adapta¸c˜ao que possibilitou sua aplica¸c˜ao no problema de Gaze Tracking em imagens de baixa resolu¸c˜ao. Entretanto, o uso do algoritmo de Gaze Tracking se mostrou inst´avel em rela¸c˜ao aos m´etodos encontrados no estado-da-arte. Portanto, no presente trabalho, buscou-se o aprimoramento desse algoritmo para ob- ten¸c˜ao de resultados de Gaze Tracking mais est´aveis.
Uma observa¸c˜ao importante est´a relacionada ao fato de que ambas as vers˜oes do algoritmo, tanto para Eye Tracking quanto para Gaze Tracking, n˜ao foram propostas para o uso em dispositivos vest´ıveis, como os HMDs. Dessa forma, no presente trabalho foram realizadas diversas adapta¸c˜oes nesses algoritmos para que eles pudessem ser uti- lizados no cen´ario de Eye Tracking e Gaze Tracking em Head-Mounted Displays. Ainda assim, conforme ´e descrito no Cap´ıtulo 5, algumas limita¸c˜oes, como a alta sensibilidade `a ilumina¸c˜ao e instabilidade na detec¸c˜ao da regi˜ao do olho, foram encontradas e precisam ser superadas para viabilizar a aplica¸c˜ao desse algoritmo no cen´ario apresentado.