Universidade de Trás-os-Montes e Alto Douro
Visualização de dados sensoriais em aplicações de Realidade
Aumentada
Dissertação de Mestrado em Comunicação e Multimédia
Por
Nuno Filipe Frutuoso Ribeiro
Orientador: Doutor Luís Gonzaga Mendes Magalhães
Co-orientador: Doutor Emanuel Soares Peres Correia
Universidade de Trás-os-Montes e Alto Douro
Visualização de dados sensoriais em aplicações de Realidade
Aumentada
Dissertação de Mestrado em Comunicação e Multimédia
Por
Nuno Filipe Frutuoso Ribeiro
Orientador: Doutor Luís Gonzaga Mendes Magalhães
Co-orientador: Doutor Emanuel Soares Peres Correia
i
Orientação Científica:
Doutor Luís Gonzaga Mendes Magalhães
Professor Auxiliar com Agregação do
Departamento de Engenharias da Escola de Ciências e Tecnologia Universidade de Trás-os-Montes e Alto Douro
Doutor Emanuel Soares Peres Correia
Professor Auxiliar do
Departamento de Engenharias da Escola de Ciências e Tecnologia Universidade de Trás-os-Montes e Alto Douro
iii
“Problemas não são obstáculos, mas oportunidades ímpares de superação e evolução” Maurício Rodrigues de Morais
v
RESUMO
O dia-a-dia é afetado pela constante evolução tecnológica. Uma tecnologia que tem vindo a ganhar destaque explora a interatividade em tempo real, com a criação de sistemas que possibilitam a substituição de grande parte ou até mesmo toda a experiência do utilizador no espaço físico. Esta tecnologia, denominada Realidade Virtual (RV), deu origem à Realidade Aumentada (RA) que, ao invés da RV, não procura substituir a totalidade do mundo real mas sim completá-lo, sobrepondo-lhe objetos virtuais.
A motivação desta dissertação surge da perceção da inexistência de um sistema que interligue RA, dispositivos móveis e sistemas de aquisição de dados sensoriais e, visto esta ser uma área pouco explorada, entende-se ser um trabalho que bem explorado pode originar um sistema com bastante interesse e utilidade para o utilizador. Desta forma, o objetivo deste trabalho é a criação de um sistema que interligue estas três tecnologias: RA, dispositivos móveis e sistemas de aquisição de dados sensoriais.
Neste trabalho fez-se o planeamento de um sistema de visualização de dados sensoriais em aplicações de RA para dispositivos móveis, composto por três componentes: contextualização sensorial, gestão de dados sensoriais e visualização de modelos virtuais contextualizados. Estes componentes estão responsáveis, respetivamente, pela aquisição de dados sensoriais de contexto, gestão dos dados adquiridos e pela visualização dos mesmos em modelos virtuais apresentados na aplicação executada no dispositivo móvel, influenciando ou condicionando o rendering desses modelos virtuais. Depois do planeamento do sistema, foi concebido e desenvolvido um sistema com as características já referidas e este foi testado num caso de uso, através da implementação de um protótipo de uma sala e da utilização de dois parâmetros sensoriais: intensidade de iluminação e temperatura. Contudo, o componente de contextualização sensorial foi simulado, tendo sido criado uma plataforma web que simula as aquisições dos dados através de botões, ao invés da sua aquisição no espaço físico. Após a sua conceção, os resultados obtidos foram os pretendidos: influenciar ou condicionar a visualização de modelos virtuais baseados nos valores sensoriais de contexto utilizados, sendo possível alterar a iluminação de um candeeiro presente no modelo virtual com base no valor atual da iluminação simulada e da alteração das
vi
texturas desse modelo virtual de acordo com a temperatura atual, sendo utilizados cinco intervalos de temperatura: muito frio, frio, normal, quente e muito quente, aos quais estão associadas as cores azul-escuro, azul, verde, laranja e vermelho, respetivamente. Desta forma, após a conclusão deste caso de estudo, mostrou-se que é possível condicionar a visualização de um determinado modelo virtual através da utilização de parâmetros de entrada sensorial, relativos ao contexto real acerca do local onde de desenvolve a visualização.
Palavras-chave – Realidade Aumentada, Realidade Virtual, Vuforia, Android, Single
vii
ABSTRACT
The day-to-day life is affected by constant technological evolution. A technology that has gained prominence explores interactivity in real time, with the creation of systems that allow the replacement of most or even the whole user experience in physical space. This technology, named Virtual Reality (VR), gave origin to Augmented Reality (AR) that unlike the VR, doesn’t seek to replace the real world entirely but to supplement it, overlapping it with virtual objects.
The motivation of this dissertation comes from the perception of the lack of a system interlinking AR, mobile devices and sensory data acquisitions systems, and since this is an area underexplored, is meant to be a work that might originate a system with great interest and utility to the user. This way, the objective of this work is the creation of a system that interconnects these three technologies: AR, mobile devices and sensory data acquisition systems.
In this work was made the planning of a sensory data visualization system in AR applications to mobile devices, composed of three components: sensory contextualization, sensory data management and visualization of sensory virtual contextualized models. These components are responsible, respectively, for the acquisition of sensory data context, acquired data management and their visualization acquired in virtual models presented in the application running on the mobile device, influencing or conditioning the rendering these virtual models.
After the planning of the system, was designed and developed a system with the characteristics mentioned above and it was tested in a case of use, through the implementation of a prototype of a room and the use of two sensory parameters: illumination intensity and temperature. However, the sensory contextualization component was simulated, having been created a web platform that simulates the acquisition of data via buttons instead of purchase in physical space.
After its design, the desired results were obtained: influence or condition the visualization of virtual models based on the sensory context values used, being able to change the lighting of a lamp present in the virtual model based on the current value of
viii
simulated lighting and change of textures of this virtual model according to the current temperature, being used five temperature ranges: very cold, cold, normal and hot, which are associated with the colors dark blue, blue, green, orange and red, respectively. Therefore, after completing this case study, it was shown that it is possible to condition the viewing of a particular virtual model through the use of sensory input parameters relative to the real context about the location where is developed the visualization.
Keywords – Augmented Reality, Virtual Reality, Vuforia, Android, Single Board Computer, Unity3D, acquisition of sensory data
ix
Agradecimentos
A realização desta dissertação apenas foi possível graças ao auxílio e apoio prestado por diversas pessoas. Gostava de aqui deixar os meus sinceros agradecimentos a todas elas porque direta ou indiretamente, contribuíram para a conclusão deste trabalho. A todas as pessoas que me motivaram, que me ajudaram a ultrapassar todas as dificuldades encontradas ao longo deste percurso, que me incentivaram a concluir mais esta importante etapa da minha vida. Agradeço então:
À UTAD, a mui nobre academia que me acolheu ao longo de cinco anos e me disponibilizou todas as condições para a minha formação académica, especialmente durante o último ano.
Aos meus orientadores, Professores Luís Magalhães e Emanuel Peres, pela excelente orientação desde o início, pelo empenho e disponibilidade que sempre demonstraram, pela paciência, dedicação, simpatia e rigor. Sem eles não seria possível a conclusão desta dissertação.
À minha família, pais e irmã, que sempre me apoiaram nos momentos mais difíceis e demonstraram imensa compreensão. Às avós, padrinhos, tios, primos e afilhada, pelo espírito de união que nos envolve.
À família Meo House, Nuno Severino, Victor Martins, José Rego, Daniel Coelho, Nádia Pimenta, Miguel Pereira, Tiago Rodrigues, Susana Lavrador, Samuel Neto e Margarida Sousa, por todos os momentos inesquecíveis ao longo de cinco anos e que levo na bagagem para toda a vida.
À família académica, Liliana Couto, Vítor Santos, Sara Faria, Marisa Ferreira, Filipa Simão, Rita Mota, Sandra Matos, Cláudia Vieira, Mariana Santos, Martinha Sousa e Isabel Lima, que enriqueceram a minha vida académica.
Às pessoas de sempre, da “Terrinha”, com as quais preservo uma amizade inabalável, Tânia Monteiro, André Sousa, Liliana Monteiro, Jorge Lima, Diana Saraiva, Elísia Lopes, Nuno Pinto e Gabriela Moreira.
x
Aos meus amigos e futuros Doutores Telmo Adão, Miguel Melo e Martinho Gonçalves, pela disponibilidade que sempre demonstraram quando as dúvidas tomavam conta de mim.
Aos amigos de Vila Real, que de uma ou outra forma interagiram comigo e marcaram o meu percurso académico. De entre outros, um especial agradecimento à Andreia Matos, Milene Esteves, Liliana Lei, Alexandra Rodrigues, Davide Borges, Lopo Rego, Pedro Bessa, Ricardo Rodrigues, Flávia Castro, Célia Ribeiro e Susana Sério.
Ao meu patrão, Tiago Costa, pela simpatia e compreensão e aos meus colegas da AGE+, um muito obrigado por me acolherem e por todo o profissionalismo e espírito de aprendizagem que me permitem disfrutar.
Aos meus colegas do PIEJ: Projeto de Inovação e Empreendedorismo da Juventude, que comigo voluntariamente lutam para transformar o concelho de Marco de Canaveses.
Por fim, a todos aqueles que direta ou indiretamente permitiram que esta dissertação fosse um sucesso.
A todos, um muito obrigado do fundo do coração!
Nuno Ribeiro, UTAD, Vila Real 18 Dezembro de 2013
xi
Índice
RESUMO ... V ABSTRACT ... VII AGRADECIMENTOS ... IX ÍNDICE DE TABELAS ... XIII ÍNDICE DE FIGURAS ... XV GLOSSÁRIO, ACRÓNIMOS E ABREVIATURAS ... XVII 1- INTRODUÇÃO ... 1 2- ESTADO DA ARTE ... 9
2.1-REALIDADE AUMENTADA 9
2.1.1-CONCEITO DE REALIDADE VIRTUAL 9
2.1.2-CONCEITO DE REALIDADE AUMENTADA 11
2.1.3–APLICAÇÕES DA RA E DA RV 14
2.1.4-FERRAMENTAS DE RA 18
2.1.5-FERRAMENTAS DE RA PARA DISPOSITIVOS MÓVEIS 20
2.1.6–APLICAÇÕES DE RA PARA DISPOSITIVOS MÓVEIS 25
2.1.7–UNITY3D 27
2.2-HYPERTEXT MARKUP LANGUAGE 29
2.2.1-INTRODUÇÃO E HISTÓRIA DO HTML 29 2.2.2-A NOVA VERSÃO:HTML5 32 2.3-ANDROID 40 2.3.1-INTRODUÇÃO E ESTATÍSTICAS 40 2.3.2-ARQUITETURA 44 2.3.3-DESENVOLVIMENTO EM ANDROID 46 2.4-COMPUTAÇÃO FÍSICA 47
2.4.1-INTRODUÇÃO À COMPUTAÇÃO FÍSICA 47
2.4.2-DISPOSITIVOS DE AQUISIÇÃO DE DADOS SENSORIAIS 48 2.4.3-GRANDEZAS A MEDIR NA MODELAÇÃO DE AMBIENTES VIRTUAIS 53 2.4.4-TÉCNICAS DE LOCALIZAÇÃO INDOOR E DETEÇÃO DE PRESENÇA 55
2.5-APLICAÇÕES PARA O CASO DE ESTUDO: AS IMOBILIÁRIAS 61
2.5.1-APLICAÇÕES WEB PARA IMOBILIÁRIAS 61
xii
3- SISTEMA DE RA COM CONTEXTUALIZAÇÃO SENSORIAL ... 65 3.1–ARQUITETURA DO SISTEMA 65
3.1.1-CONTEXTUALIZAÇÃO SENSORIAL 66
3.1.2-GESTÃO DE DADOS SENSORIAIS 67
3.1.3-VISUALIZAÇÃO DE MODELOS VIRTUAIS CONTEXTUALIZADOS 68
3.2–PROPOSTA DE LAYOUT 69
3.3–PROTÓTIPO 71
3.4.1–CASOS DE USO 71
3.4.2–BLOCO FUNCIONAL GESTÃO DE DADOS SENSORIAIS 74
3.4.3–BLOCO FUNCIONAL CONTEXTUALIZAÇÃO SENSORIAL 75
3.4.4-BLOCO FUNCIONAL VISUALIZAÇÃO DE MODELOS VIRTUAIS CONTEXTUALIZADOS 77
3.4.5–BASE DE DADOS 86
3.4.6–DISPOSITIVOS MÓVEIS UTILIZADOS NA CONSTRUÇÃO DO PROTÓTIPO 87 4 – CASO DE ESTUDO ... 89 5 – RESULTADOS E CONCLUSÕES ... 97 REFERÊNCIAS BIBLIOGRÁFICAS ... 99
xiii
Índice de tabelas
Tabela 1: Condições ideais para o conforto do Homem. Adaptado de (Labour, 2007). ... 54 Tabela 2: Exemplo de aplicação de textura a um objeto do Modelo Virtual... 79 Tabela 3: Exemplificação do código para acionar o objeto "candeeiro" ... 81 Tabela 4: Cores associadas às texturas dos níveis de temperatura... 81 Tabela 5: Implementação do Split dos diferentes níveis de temperatura no Unity3D. ... 82 Tabela 6: Implementação da propriedade GUI.Box, exibindo informação sensorial ... 83 Tabela 7: Criação de um botão nos scripts do Unity3D... 84
xv
Índice de figuras
Figura 1: Realidade Virtual não imersiva (à esquerda) e imersiva (à direita) (Tori, R., et
al 2006). ... 10
Figura 2: Realidade mista (Adaptado de Milgram and Kishino, 1994). ... 13
Figura 3: Captura em tempo real dos batimentos cardíacos (Bucioli et al., 2007). ... 15
Figura 4: Animação do coração (Bucioli et al., 2007). ... 15
Figura 5: Visualização do modelo sobreposto no paciente (Lab & Hospital, 1999). ... 16
Figura 6: Interação do utilizador com a Wii através do Wii Remote (GameGuru, 2006). . 17
Figura 7: A marca de RA e respetivo objeto do EyePet (Fahey, 2010). ... 17
Figura 8: Diagrama de funcionamento do ARToolKit (Adaptado de (Sinclair, 2001)). ... 19
Figura 9: Diagrama de Fluxo de Dados do SDK Vuforia num Ambiente de Aplicação (Qualcomm Technologies, 2013b). ... 22
Figura 10: Visão geral do processo de desenvolvimento de aplicações na plataforma Vuforia (Qualcomm Technologies, 2013a). ... 23
Figura 11: Geo Layer do Jardim Botânico da UTAD na aplicação Layar, que permite interagir com 18 pontos de interesse. ... 24
Figura 12: Visão geral do Ingress (Bit, 2013). ... 26
Figura 13: O protocolo HTTP, responsável pela comunicação entre o browser do utilizador e o servidor web. ... 31
Figura 14: Menu principal (esquerda) e aplicação Google Play do sistema operativo Android (direita). ... 42
Figura 15: Top 8 de sistemas operativos móveis utilizados entre Setembro de 2012 e Setembro de 2013. Figura obtida de (Stats, 2013). ... 44
Figura 16: Arquitetura do Google Android (Google, 2012b). ... 45
Figura 17: Modelo B do Raspberry Pi. ... 49
Figura 18: Visão geral dos componentes que compõem o Raspberry Pi. Figura adaptada de (Pi, 2011). ... 50
Figura 19: Arduino Mega. Imagem adaptada de (Arduino, 2012a). ... 52
Figura 20: Interruptores fotoelétricos (à esquerda), detetor de movimento (centro) e interruptor magnético (à esquerda). Figura adaptada de (O'Sullivan & Igoe, 2004). ... 57
Figura 21: Trilateração utilizando três pontos de ancoragem (Sanchez et al., 2012). .... 59
Figura 22: Aplicação Vodafone Praia permite escolher uma praia de Portugal e visualizar dados sensoriais em tempo real ou baseado no histórico. ... 63
Figura 23: Estimativas sensoriais para a Praia de Espinho, na aplicação BeachCam... 64
Figura 24: Arquitetura da aplicação para visualização de dados sensoriais em aplicações de realidade aumentada. ... 66
Figura 25: Fluxo do componente de contextualização sensorial. ... 67
Figura 26: Bloco de operação do Webservice. ... 67
Figura 27: Fluxo de dados do bloco de operação Dispositivo Móvel ... 69
Figura 28: Divisão da interface da aplicação. ... 70
Figura 29: Casos de uso da aplicação concebida. ... 72
Figura 30: Visão geral do simulador de dados sensoriais. ... 76
Figura 31: Esquema do processo de desenvolvimento no Unity3D. ... 77
Figura 32: Exemplo da construção de um pedido ao Webservice. ... 80
xvi
Figura 34: Dispositivos móveis utilizados durante a construção do protótipo. ... 88
Figura 35: Mensagem de erro, apresentada no dispositivo móvel quando não é possível comunicar com o Webservice. ... 89
Figura 36: Interface da aplicação concebida. ... 90
Figura 37: Marca de Realidade Aumentada Stones, disponibilizada pela Vuforia. ... 90
Figura 38: Rendering do Modelo Virtual. ... 91
Figura 39: Captura da marca através de diferentes ângulos permite visualizar o modelo virtual de outras perspetivas. ... 91
Figura 40: Rendering do modelo virtual, com o candeeiro ligado com intensidade 1 ... 92
Figura 41: Rendering do modelo virtual, com o candeeiro ligado com intensidade 7 ... 92
Figura 42: Visualização do modelo virtual nos cinco níveis de temperatura. ... 93
Figura 43: Rendering do modelo virtual com os parâmetros de temperatura e iluminação ligados em simultâneo. ... 94
Figura 44: Apresentação da legenda dos níveis de temperatura. ... 95
Figura 45: Interface do dispositivo móvel com o parâmetro da temperatura desativado pelo administrador. ... 95
xvii
Glossário, acrónimos e abreviaturas
Lista de acrónimos
Sigla Expansão
.NET .NET Framework
2G Rede de 2ª geração
3D Imagem a três dimensões
3G Rede de 3ª geração
4G Rede de 4ª geração
ADT Android Development Tools
AJAX Asynchronous Javascript and XML
API Application Programming Interface
APK (.APK) Android Application Package file
ARM Advanced RISC Machine
AS ActionScript
AS3 ActionScript, versão 3
AVI Audio Video Interleave
BD Base de dados
BMP Windows Bitmap
CSS Cascading Style Sheets
CSS3 Cascading Style Sheets, versão 3
DMS Degree Minute Second
DOF Degrees of Freedom
FTP File Transfer Protocol
g Grama
Gb Gigabyte
GIF Graphics Interchange Format
GPS Global Positioning System
GPU Graphics Processing Unit
GWG Geolocation Working Group
HD High-definition video
HDMI High-Definition Multimedia Interface
HMD Head-Mounted Display
HTC High Tech Computer Corporation
HTML HyperText Markup Language
HTTP Hypertext Transfer Protocol
IDE Integrated Development Environment
IP Internet Protocol
JDK Java Development Kit
JPEG Joint Photographic Experts Group
JS JavaScript
m/s Metros por segundo
m2 Metros quadrados
Mac Macintosh
MAME Multiple Arcade Machine Emulator
MB Megabyte
MHz Mega-hertz
xviii
MP3 MPEG Layer 3
MP4 MPEG Layer 4
MySQL My Structured Query Language
NTFS New Technology File System
ºC Graus Celsius
OHA Open Handset Alliance
OOP Object-oriented programming
OpenGL Open Graphics Library
OS Operative System
PHP “PHP:Hypertext Preprocessor”
Anteriormente “Personal Home Page”
PNG Portable Network Graphics
QR-Code Quick Response Code
RA Realidade Aumentada
RAM Random Access Memory
RCA Radio Corporation of America
RF Radio frequency, Radiofrequência
RFID Radio-Frequency IDentification
RM Realidade Mista
RV Realidade Virtual
SBC Single Board Computer
SDK Software Development Kit
SGBD Sistema de Gestão de Base de Dados
SGML Standard Generalized Markup Language
SO Sistema Operativo
SQL Structured Query Language
SVG Scalable Vector Graphics
UARTs Universal Asynchronous
Receiver/Transmitter
URI Uniform Resource Identifier
USB Universal Serial Bus
UTAD Universidade de Trás-os-Montes e Alto
Douro
UV Ultravioleta
V Volts
VNC Virtual Network Computing
VRML Virtual Reality Modeling Language
W3C World Wide Web Consortium
WHATWG Web Hypertext Application Technology
Working Group
WWW World Wide Web
X3D Extensible 3D
XHTML eXtensible Hypertext Markup Language
xix Lista de abreviaturas
Abreviatura Significado(s)
e.g. por exemplo
et al. e outros (autores)
etc. etecetera, outros
1
1- Introdução
Neste capítulo serão abordados os principais conceitos tecnológicos em que se baseou esta dissertação, assim como a motivação deste trabalho e os seus respetivos objetivos. Por fim, será explicada a organização da dissertação.
Há uma tecnologia que tem vindo a evoluir ao longo dos últimos anos, que visa a interatividade em tempo real, com a criação de sistemas que possibilitam a substituição de grande parte ou até mesmo toda a experiência do utilizador no mundo físico com materiais tridimensionais, como gráficos e som (Feiner, Macintyre, & Seligmann, 1993). Esta tecnologia, denominada RV, apesar de ser vista como algo inovador, na verdade surgiu em 1960, quando Ivan Sutherland construiu o Sketchpad, o primeiro sistema de computação gráfica, passando de seguida a trabalhar no Ultimate Display (Packer & Jordan, 2002), o primeiro capacete de RV, apresentado no final dessa década e que ainda hoje é a base das pesquisas dentro deste tema. A RV pode ser definida como um ambiente tridimensional gerado por computador que possibilita ao utilizador navegar e interagir, em tempo real, com este ambiente, recorrendo a dispositivos multissensoriais, como luvas, óculos ou capacetes de RV, aumentando desta forma a sensibilidade dos sentidos do utilizador, sendo que se pode classificar a RV em função da presença do utilizador no mundo real, sendo considerada imersiva quando o utilizador está completamente imerso no ambiente virtual e não imersiva quando o utilizador tem noção do espaço que o rodeia (Tori, Kirner, & Siscoutto, 2006). Milgram et al engloba RA como uma parte da RV (Milgram, Takemura, Utsumi, & Kishin, 1994). Apesar de parecerem a mesma coisa e estarem interligadas, são duas coisas distintas. Enquanto a RV pretende substituir o mundo real, a RA procura apenas aumentá-lo, ou seja, acrescentar-lhe elementos virtuais, criando uma mistura dos dois em tempo real (R. T. Azuma, 1997). Quando comparados, a RA requer menos aparato tecnológico que a RV, sendo apenas necessária uma câmara de vídeo que capture o mundo real, integrando nessa captura os elementos virtuais em tempo real. Milgram criou uma relação entre os ambientes virtuais e real, à qual chamou de Virtuality Continuum, que coloca o ambiente completamente virtual e o completamente real como
2
extremos e, a tudo o que se encontra entre estes dois extremos, chama Realidade Mista (Milgram et al., 1994).
O dia-a-dia é afetado pela constante evolução tecnológica. Hoje, logo pela manhã, sente-se a necessidade de verificar a caixa de email, ver as principais notícias ou até mesmo aceder às redes sociais. Com o aparecimento dos dispositivos móveis, estas tarefas tornaram-se mais simples e deixaram de estar limitadas fisicamente, sendo o acesso possível a partir de qualquer lugar. O mundo dos dispositivos móveis ficou marcado quando, em 2007, a Apple lançou o iPhone: um smartphone completamente táctil e que se tornou um símbolo de luxo para a população (Hall & Anderson, 2009). Contudo, no decorrer desse mesmo ano, a Google anunciou um sistema operativo open source que prometia revolucionar o mercado dos smartphones: o Android. Andy Rubin, criador do Android e diretor das plataformas móveis da Google, afirmou que não deve haver nada que os utilizadores possam fazer num computador que não seja possível no seu dispositivo móvel (BBC, 2008). Segundo a Google, existem atualmente centenas de milhões de dispositivos com este sistema operativo (SO) ativos, espalhados por mais de 190 países. Estes números não param de aumentar, sendo diariamente ativos milhões de novos dispositivos (Google, 2012a). O Android dispõe de uma loja de aplicações gratuitas e/ou pagas, denominada Google Play, que possibilita que os utilizadores partilhem as suas próprias aplicações com o resto desta comunidade.
Atualmente já é possível conceber aplicações de RA para dispositivos móveis com alguma facilidade, existindo uma panóplia de ferramentas que nos possibilitam criá-las, com maior ou menor detalhe, conforme as nossas necessidades. A framework Vuforia é uma ferramenta poderosa, desenvolvida pela Qualcomm Technologies, Inc, que nos permite conceber aplicações para dispositivos móveis com o SO Android ou iOS. Um grupo de investigadores afirma que esta framework utiliza o dispositivo móvel como um portal para um mundo aumentado onde a realidade e a virtualidade parecem coexistir (Balint, Kiss, Magyari, & Simon, 2012). Enquanto a maioria das ferramentas de RA se limita a marcas com limites negros e uma figura geométrica simples, o Vuforia possibilita a utilização de marcas naturais não aparentes (markerless), ou seja, possibilita que qualquer imagem ou objeto possa ser a nossa marca, como por exemplo uma fotografia, uma caixa, um rótulo, entre outros, desde que respeitem determinadas regras impostas pelo algoritmo de deteção da plataforma (Forte, Silva, & Marengoni, 2012). Contudo, existem ferramentas que requerem menos conhecimentos de
3
programação disponibilizando, na maioria dos casos, interfaces gráficas que facilitam a conceção de aplicações de realidade aumentada. A Layar é uma ferramenta que utiliza o recetor de Global Positioning System (GPS) do dispositivo para detetar e posteriormente sobrepor informações virtuais à imagem capturada pela câmara do dispositivo móvel em tempo real, sendo que estas informações não são mais que pontos de interesse para o utilizador, como restaurantes, espaços de diversão, culturais, transportes públicos, entre outros. Para Scott, esta ferramenta é bastante útil para quem está numa cidade que não conhece, fornecendo-lhe dicas de locais a visitar, podendo ainda o utilizador descarregar novas Geo Layers, desenvolvidas por qualquer pessoa, sem necessidade de utilização de código (Scott, 2010). Outra ferramenta semelhante à Layar é a Wikitude que, além das funcionalidades já referidas, possibilita também a visualização de conteúdos publicados perto do utilizador, como por exemplo tweets do Twitter, artigos da Wikipedia, vídeos do Youtube e Flickr. Além disso, disponibiliza também um sistema de jogos em realidade aumentada, entre a câmara do dispositivo e o mundo virtual.
É assim notório que a RA está cada vez mais presente nos dispositivos móveis. Existem diversas aplicações que utilizam este conceito em prol de entreter ou até mesmo orientar o utilizador, aumentando desta forma a popularidade deste tipo de aplicações (Fröhlich, Oulasvirta, Baldauf, & Nurminen, 2011). A Google possui um jogo multiplayer que explora as potencialidades da RA, chamado Ingress que, apesar de ainda se encontrar em fase beta, possui já uma grande legião de fãs. Este jogo tem como enredo a luta pelo controlo das mentes de todos os habitantes deste planeta e utiliza o mundo real como cenário. Proporcionando uma nova visão do ambiente urbano, o jogador percorre o mundo à procura de energia, que lhe possibilitará posteriormente aceder a portais. Estes portais, virtualmente associados a objetos públicos, estátuas e monumentos ou até mesmo peças de museus, são controlados por uma das duas equipas que o utilizador pode escolher quando inicia o jogo: os iluminados (The Enlightened) e a resistência (The Resistance), que, em equipa, procuram pela sua cidade vestígios da equipa adversária, combatendo-a com o auxílio do seu smartphones e das armas virtuais disponibilizadas pela aplicação. Um outro jogo que combina o mundo real com a virtualidade chama-se X-Rift. Neste jogo, são capturadas frames de vídeo através da câmara do dispositivo móvel e, com base em coordenadas GPS, são adicionados elementos virtuais que o utilizador deverá destruir, como monstros e outros obstáculos. Mas a RA nos dispositivos móveis não se limita aos jogos, mas também a aplicações
4
que facilitam ou enriquecem as atividades do utilizador. A aplicação Word Lens Translator utiliza também a câmara do dispositivo móvel para, em tempo real, detetar palavras e frases em inglês e automaticamente fazer a tradução para um dos cinco idiomas disponíveis, entre os quais o português. Por outro lado, a Augment - 3D Augmented Reality utiliza as potencialidades do smartphone para fazer o rendering de objetos virtuais animados no mundo virtual, sendo possível posicioná-los em qualquer parte do ecrã, sendo esta aplicação bastante útil para, por exemplo, simular como fica um móvel numa sala de uma casa. Contudo, a RA também pode ser uma mais-valia relativamente à segurança rodoviária. iOnRoad Augmented Driving é uma aplicação que exibe informações relativamente à circulação automóvel do utilizador. O dispositivo móvel é estrategicamente colocado na parte da frente do veículo e é calculada a velocidade atual a que este circula e posteriormente determinado o tempo de distância para o veículo que se encontra à sua frente, alertando o utilizador para aumentar a distância, caso tal seja necessário, de forma a circular de forma mais segura.
Apesar de todas as inovações que a RA nos proporcionou, a evolução dos sistemas informáticos não se ficaram por aqui, tendo surgido novos equipamentos para aumentar a experiência disponibilizada ao utilizador. O’Sullivan e Igoe definem computação física como a interação entre o mundo físico e o mundo do computador (O'Sullivan & Igoe, 2004). Esta interação procura ser o mais invisível possível, criando um ambiente pervasivo. A ideia de computação pervasiva é transformar um ambiente num ambiente autónomo, capaz de obter informações do meio à sua volta e utilizá-las para controlar, configurar e ajustar uma aplicação, de forma completamente invisível e impercetível para o utilizador (Araujo, 2003). Atualmente existem já uma grande quantidade de casas que utilizam esta tecnologia, denominadas “casas inteligentes”, que utilizam a disseminação de sensores em larga escala para a perceção das atividades diárias dos seus habitantes, como por exemplo sensores de posicionamento ou até mesmo sensores nas cadeiras que detetam quando uma pessoa se senta. Desta forma, a casa consegue reagir à presença do utilizador, de acordo com as suas rotinas, sabendo quando tem de fazer o café, que temperaturas têm de ter as diferentes divisões da habitação ou até mesmo encomendar automaticamente artigos em falta no frigorífico. Um outro sistema pervasivo integra sensores no vestuário que, entre outras funcionalidades, monitorizam os sinais vitais e são capazes de se adaptar à temperatura do corpo da pessoa. Existem imensas ferramentas que possibilitam a criação de sistemas
5
pervasivo. Apesar de serem sistemas bastante caros, têm surgido alguns dispositivos, denominados Single Board Computer (SBC), que possibilitam a aquisição de dados sensoriais no espaço físico. Dois exemplos de SBC são o Raspberry Pi e o Arduino, dois equipamentos do tamanho de um cartão de crédito com elevadas capacidades de processamento, que permitem a acoplação de sensores. Além de muitas outras funcionalidades, estes SBC são capazes de sentir o ambiente através de sensores e comunicar as informações recolhidas utilizando ligações sem fios (Barroca et al., 2013). Um exemplo de dados sensoriais que estes dispositivos podem captar são a temperatura, humidade, iluminação e índices ultravioleta, sendo que podem posteriormente ser utilizados para auxiliar na luta contra problemas sociais, tais como determinar os índices de poluição, medir os níveis de radioatividade, analisar o tráfego em tempo real, ruído, humidade e temperatura (Mendez, Labrador, & Ramachandran, 2013).
A motivação desta dissertação surge quando analisamos estas três tecnologias, com um elevado potencial e se constata que ainda estão pouco exploradas, quando interligadas. Entende-se que um sistema de RA para dispositivos móveis, que possibilite a aquisição e incorporação de dados sensoriais, poderá tornar-se numa mais-valia importante para os utilizadores. Desta forma, o objetivo deste trabalho é a criação de um sistema que interligue estas três tecnologias: RA, dispositivos móveis e sistemas de aquisição de dados sensoriais. Em primeiro lugar, pretende-se desenvolver um sistema de aquisição de dados sensoriais e registar alguns parâmetros, que serão posteriormente armazenados numa base de dados (BD), recorrendo a webservices. Depois disso, ir-se-á conceber uma aplicação de RA para dispositivos móveis onde seja possível aceder aos dados recolhidos e utilizá-los para alterar propriedades em modelos virtuais, fazendo a simulação dos parâmetros sensoriais a que correspondem. Por fim, existirá uma área de administração, onde será possível fazer a gestão dos parâmetros que podem ser utilizados e também para visualização de históricos dos dados sensoriais adquiridos. Em Portugal existem, pelo menos, dois sistemas deste género que utilizam o contexto das praias e costa marítima portuguesa (Vodafone Praia em Direto e Moche BeachCam), fazendo a aquisição de diversos parâmetros sensoriais, como a temperatura do ar, temperatura da água, velocidade e direção do vento, entre outros, e as disponibilizarem aos seus utilizadores, juntamente com dados estatísticos para determinados períodos de tempo. Considera-se que estas três tecnologias podem ser exploradas noutras áreas, de forma a conceber mais soluções que complementem a vida dos utilizadores.
6
Para que este trabalho seja desenvolvido com sucesso, foram estabelecidas algumas metas:
Revisão do estado da arte relativo às tecnologias e ferramentas disponíveis para a criação de sistemas de RA para dispositivos móveis, assim como dos dispositivos de aquisição de dados sensoriais;
Estudo de aplicações de RA e de aquisição de dados sensoriais já existentes para dispositivos móveis;
Conceber e desenvolver um sistema e implementar um protótipo que permita ao utilizador visualizar um modelo virtual, associado a uma marca de RA e, com base em valores sensoriais, altera-lo dinamicamente, simulando características sensoriais;
Realização de testes para avaliar o funcionamento do protótipo desenvolvido.
De forma a demonstrar o funcionamento deste sistema, será criado um caso de estudos, implementando o protótipo no contexto imobiliário. Após a pesquisa de aplicações de RA para imobiliárias, constatou-se que é uma área praticamente inexplorada e que, apesar de haverem algumas aplicações de RA, as mesmas não estão disponíveis em Portugal. É o caso da HomeSpotter (Apps, 2012), uma aplicação para iOS que utiliza a câmara e o recetor GPS do dispositivo para, com base na sua localização, sobrepor às imagens capturadas, informações sobre casas para venda ou aluguer, assim como um radar que mostra a distância para outras casas que se encontrem nesta situação. Esta mesma empresa, possui também uma aplicação que usa QR-Code que, após serem analisados, redirecionam para a página do respetivo imóvel na sua aplicação web. A ARHouse é outra aplicação de RA para iOS, que permite às agências imobiliárias simularem um modelo virtual tridimensional de um imóvel diretamente em cima da secretária, descartando os antigos e complicados projetos em papel. Além disso, também permite uma configuração do que é visualizado, podendo-se escolher entre a vista interior ou exterior do imóvel, assim como ter uma vista panorâmica de qualquer um deles. Quando falamos de aplicações RA de imobiliárias em Portugal, não encontramos nenhuma específica, sendo que as únicas que existem utilizam os browsers de RA Layar e Wikitude, criando packs de informação que são adicionados às restantes destas aplicações. Duas plataformas de imobiliárias bastante conhecidas em Portugal são a Casa Sapo e o Imovirtual, que possuem versões para
7
dispositivos Android e iOS. Contudo, estas aplicações normalmente não passam de uma otimização da página web, mais limpa e com menos detalhe, de forma a facilitar a sua utilização.
Após este estudo, constatou-se que não existe um sistema que junte estas três tecnologias e permita a alteração de um modelo virtual, em tempo real, através das entradas recebidas de uma rede sensorial in situ.
Esta dissertação encontra-se organizada em quatro capítulos. Além deste capítulo introdutório, no capítulo 2 é feito um levantamento do estado da arte relativo às tecnologias e ferramentas existentes em relação à RA, Android, HTML5 e computação pervasiva, onde são analisados e descritos os principais conceitos de cada um destes temas, assim como as suas vantagens e desvantagens, de forma a perceber as melhores opções para a conceção, especificação e desenvolvimento do sistema pretendido neste trabalho.
No capítulo 3 é planeado o sistema, assim como a especificação dos blocos funcionais que o definem. São também apresentados os detalhes da sua implementação e por fim são explicadas todas as funcionalidades do protótipo, assim como o caso de estudo em imobiliárias.
No capítulo 4 são apresentadas as conclusões deste trabalho, bem como a justificação da utilização ou não utilização de algumas tecnologias estudadas e por fim algumas considerações para um trabalho futuro.
Neste primeiro capítulo foi feito um breve enquadramento tecnológico do estado da arte e das ferramentas disponíveis para a conceção de um sistema de RA para dispositivos móveis interligada com dispositivos de aquisição sensorial, assim como dados alguns exemplos de cada um. Por fim, foi explicada a motivação deste trabalho, assim como estabelecidas algumas metas para o seu êxito.
9
2- Estado da Arte
Neste capítulo é feita uma revisão bibliográfica de algumas tecnologias, de forma a perceber quais as que poderão serão utilizadas com a conceção do sistema de visualização de dados sensoriais em aplicações de realidade aumentada, em dispositivos móveis, assim como as limitações e vantagens de cada uma delas. Desta forma, neste capítulo são abordados os conceitos de RV e RA, HTML, Android e computação física.
2.1- Realidade Aumentada
Desde primórdios que o ser humano convive com representações da realidade ou da imaginação, expressando-se através de pinturas rupestres, artes plásticas, jogos tradicionais, atividades culturais e outras expressões artísticas. Com o aparecimento do computador, estas ações ganharam outro dinamismo e originaram a multimédia, integrando sons, imagens e fotografias, textos, vídeos e animações e permitiram a criação de aplicações mais interativas. Com o avanço da tecnologia, as aplicações superaram a barreira do monitor permitindo hoje gerar ambientes tridimensionais ultra interativos com o utilizador.
2.1.1 - Conceito de Realidade Virtual
Apesar de parecer antagónico, a origem da Realidade Virtual (RV) não é tão recente como se imagina. Em 1960, Ivan Sutherland construiu o Sketchpad, o primeiro sistema de computação gráfica, passando logo depois a trabalhar no primeiro capacete de RV, apresentando-o no final dessa década, com o nome Ultimate Display (Packer & Jordan, 2002), sendo ainda hoje a base das pesquisas dentro deste tema. Na década de 80, Jaron Lanier utilizou pela primeira vez o termo “Realidade Virtual”, de forma a diferenciar os mundos virtuais por ele criados (Lanier, 1984), surgindo posteriormente diversas definições para este termo. Segundo Burdea, a RV "é um mundo sintetizado não estático, mas sim, que responde às ordens do utilizador sejam eles gestos, vozes, etc" (Burdea & Coiffet, 2003). Dito isto, retira-se o seu conceito base: interatividade em tempo real. Além disso, o termo RV é muitas vezes usado para descrever sistemas que tentam substituir grande parte ou toda a experiência do utilizador do mundo físico com materiais sintetizados em 3D, tais como gráficos e som (Feiner et al., 1993). Além
10
disso, esta tecnologia é um ambiente tridimensional gerado por computador que possibilita ao utilizador navegar e interagir em tempo real com esse ambiente, através de dispositivos multissensoriais, como luvas, óculos ou capacetes de RV, aumentando desta forma a sensibilidade dos sentidos do utilizador, permitindo-lhe ver, ouvir, sentir e viajar de forma mais intensa do que é possível no mundo real (Tori et al., 2006). Já Vallino afirma que a RV é uma tecnologia que engloba um amplo espectro de ideias e define-a como um ambiente tridimensional gerado por computador e interativo, onde o utilizador é imerso (Vallino, 1998). Gobbetti e Scateni afirmam que o seu objetivo é colocar o utilizador num ambiente de simulação em tempo real, imersos num mundo autónomo e sensível às suas ações (Gobbetti & Scateni, 1998).
A RV pode ser classificada em função da presença do utilizador no mundo real: imersiva ou não imersiva (Tori et al., 2006). Considera-se imersiva quando o utilizador está completamente desligado do mundo real e interage com o ambiente virtual através de dispositivos multisensoriais. Estes dispositivos captam os seus movimentos e comportamentos e espoletam alterações no ambiente virtual. Já num ambiente não emersivo o utilizador está dividido entre o mundo real e o virtual, sendo necessária a utilização de, por exemplo, um monitor para ser transportado para o mundo virtual, continuando assim ter percepção do que se passa no mundo real. Na Figura 1 vê-se um exemplo de RV imersiva e não imersiva.
FIGURA 1:REALIDADE VIRTUAL NÃO IMERSIVA (À ESQUERDA) E IMERSIVA (À DIREITA)(TORI,R., ET AL
2006).
De acordo com as definições anteriormente dadas, o aspeto mais importante da RV é a interação que esta tecnologia possibilita, estando relacionada com a capacidade do computador detetar as ações ou movimentos do utilizador e reagir imediatamente, provocando alterações ou impulsionar eventos no ambiente virtual. A interação mais simples consiste na navegação, onde o utilizador se move no ambiente virtual
11
recorrendo a um dispositivo de realidade aumentada, obtendo assim visualização de novos pontos de vista do ambiente (Tori et al., 2006). Segundo os autores citados anteriormente, uma interação propriamente dita ocorre quando o utilizador explora, manipula, aciona ou altera objetos virtuais dentro do ambiente virtual.
Os sistemas de RV são complexos e são capazes de suportar interações em tempo real entre vários componentes de hardware e software. No que diz respeito a hardware, a utilização de sistemas computacionais é imprescindível, já que um sistema de realidade virtual envolve dispositivos de entrada, responsáveis por captar as interações do utilizador e as transmitir ao sistema. Entre esses dispositivos, pode-se mencionar: luvas, reconhecedores de voz, teclados 3D, entre outros. Como dispositivos de saída, responsáveis por transmitir o ambiente virtual, podem-se encontrar os dispositivos óticos, acústicos e hápticos. Em relação ao software, a realidade virtual utiliza linguagens de programação, sendo as mais conhecidas o VRML (Virtual Reality Modeling Language) e o seu sucessor X3D (Extensible 3D Graphics), podendo recorrer a bibliotecas gráficas como o OpenGL, Java 3D, entre outros.
2.1.2- Conceito de Realidade Aumentada
A RA e a RV podem parecer a mesma coisa, mas apesar de interligadas são coisas distintas.
Enquanto a RV leva o utilizador para um ambiente tridimensional gerado por computador e interativo em tempo real, a RA pode definir-se como a integração do mundo real com elementos virtuais tridimensionais gerados com a ajuda de um computador. No entanto, este conceito é muito geral. Segundo Ronald Azuma, RA é um ambiente que envolve tanto RV como elementos do mundo real, criando uma mistura dos dois em tempo real, não se limitando à visão mas sim a todos os sentidos (R. T. Azuma, 1997).
O termo “Realidade Aumentada” foi cunhado pelo Prof. Thomas Caudell durante uma visita à empresa Boeing, referindo-se a um dispositivo de RV que apoiava os funcionários na montagem de equipamentos eletrónicos de aviões (Ribeiro & Zorzal, 2011).
12
O objetivo da RA não é substituir o mundo real, mas sim aumentá-lo e acrescentar ainda mais informação disponível para o utilizador, através da sobreposição de elementos sensoriais no ambiente real e em tempo real (Obst & Tröller, 2009).
Azuma afirma também que para um sistema ser considerado RA deve combinar objetos reais e virtuais num ambiente real, ser interativo e em tempo real e alinhar objetos reais e virtuais entre si (R. T. Azuma, 1997). Outro aspeto importante na definição de RA por Azuma é que ele considera que RA não se restringe às tecnologias que utilizam displays HMD (Head Mounted Display).
Na RA certas aplicações têm a necessidade de ocultar objetos existentes quando novos objetos são adicionados a esse ambiente virtual. Por exemplo, ao adicionar um objeto virtual na frente de um real, esse objeto sobrepõe-se. Enquanto vários investigadores utilizam o termo “Realidade Diminuída” para esta característica, um grupo de investigadores prefere dizer que é um subconjunto da RA (R. Azuma et al., 2001).
Uma proposta foi apresentada por Broll para classificar as técnicas de interação que podem ser utilizadas em ambientes de RA (Broll et al., 2005):
Interação espacial (spatial interaction);
Interação baseada em comandos (command-based interaction);
Interação por controlo virtual (virtual control interaction);
Interação por controlo físico (physical control interaction).
A interação espacial baseia-se na manipulação das propriedades espaciais dos objetos físicos, através de interfaces táteis, onde o utilizador interage com o objeto físico através do real.
Já a interação baseada em comandos recebe e descodifica gestos espontâneos, simbólicos ou comandos de voz do utilizador. Normalmente, estes sistemas impõem algumas restrições na composição da cena, como o fundo, a cor dos objetos a serem reconhecidos, condições de iluminação e de outras características físicas.
A interação por controlo virtual permite ao utilizador interagir com o sistema através da manipulação de gráficos tridimensionais, como por exemplo um menu tridimensional.
13
Por fim, a interação por controlo físico recorre às ferramentas e interfaces físicas de forma a controlar não só os objetos físicos mas também os virtuais.
Milgram criou uma relação entre os ambientes virtuais e reais à qual chamou “Virtuality Continuum ”ou ”Contínuo de Virtualidade”, que coloca como extremos o ambiente completamente virtual e o completamente real, chamando a tudo o que se encontra entre os dois extremos, Realidade Mista (RM) (Figura 2) (Milgram et al., 1994). Milgram separa Virtualidade Aumentada e RA. Enquanto o primeiro é um mundo virtual onde são adicionados objetos reais, o segundo é um mundo real onde são adicionados objetos virtuais.
FIGURA 2:REALIDADE MISTA (ADAPTADO DE MILGRAM AND KISHINO,1994).
Segundo Tori, Virtualidade Aumentada pode ser definida como um detalhe da RM quando o ambiente predominante for o virtual, enriquecendo-o com elementos reais pré-capturados ou em tempo real, como objetos estáticos ou dinâmicos (e.g. mãos e pessoas), sendo estes últimos capturados através de dispositivos de captura de vídeo e reconstruídos em tempo real (Tori et al., 2006).
Apesar da RV e RA partilharem algumas características, existem algumas diferenças entre elas. A primeira refere-se ao nível de imersão no sistema. Enquanto na RV o utilizador é transportado para um mundo virtual gerado por computador, onde se abstrai por completo do mundo real, na RA apenas são adicionados elementos virtuais ao mundo real, fazendo com que o utilizador não perca a noção daquilo que o rodeia mas consiga interagir com esses elementos. Desta forma é possível apontar outra diferença: o material necessário. Na RV é gerado um mundo completo que “arrasta” o utilizador para o seu interior. Para isto são necessários equipamentos que permitam cria-lo o mais interativo e fiel possível à realidade, ou seja, equipamentos que podem ser dispendiosos. Já na RA, o objetivo não é substituir o ambiente real mas sim adicionar-lhe objetos virtuais, bastando um simples computador e uma webcam para essa tarefa, o que a torna uma tecnologia bastante acessível.
14
Outra diferença refere-se ao alinhamento entre os objetos reais e os objetos virtuais (Barreira, 2010). Para que a cena seja corretamente analisada pelo sistema de RA, os objetos virtuais precisam de estar perfeitamente posicionados em relação ao mundo real. Nos sistemas de RV este fator não tem importância, pois o cenário é todo construído artificialmente.
Desde orientar um turista numa cidade desconhecida, auxiliar um piloto aéreo informando-o da rota correta, apoiar uma equipa médica ou simplesmente adicionar elementos a um vídeo capturado em tempo real, as possibilidades desta tecnologia são cada vez mais e pode ser aplicada em diversas áreas como a medicina, entretenimento e jogos, educação, comércio, forças armadas, entre outras.
2.1.3 – Aplicações da RA e da RV
Apesar de todos os avanços que a medicina tem diariamente, a RA tem-se mostrado um precioso auxílio ao trabalho dos profissionais desta área. Existem já alguns projetos envolvendo RA e medicina, como o ARBioMed.
O ARBioMed, desenvolvido na Universidade Federal de Uberlândia, destina-se à visualização e simulação de sinais de eletrocardiogramas. Estes eletrocardiogramas podem ser simulados a partir de um batimento cardíaco fixo definido pelo utilizador, capturados em tempo real (Figura 3) a partir do sensor lógico ou baseado num eletrocardiograma real, seja através de arquivos de texto que contêm um vetor gráfico com os respetivos valores ou simplesmente a partir de uma imagem real (jpeg; bmp; png; gif.) (Bucioli, Jr., Cardoso, & Kirner, 2007).
Depois de selecionado um dos métodos de entrada é simulado um coração (Figura 4) com base nos dados introduzidos, respeitando a velocidade e mostrando possíveis anomalias o mais fiel possível, visto que as taxas de amostragem dos sinais eletrocardiográficos são superiores ao número de frames por segundo que as placas gráficas conseguem reproduzir (Bucioli et al., 2007).
Neste projeto destaca-se a captação e simulação dos batimentos cardíacos em tempo real, através de um sensor lógico, que envia para o sistema um bit a cada pulsação, calculando a velocidade média do coração a partir das últimas 5 amostras recebidas do sensor.
15
FIGURA 3:CAPTURA EM TEMPO REAL DOS BATIMENTOS CARDÍACOS (BUCIOLI ET AL.,2007).
FIGURA 4:ANIMAÇÃO DO CORAÇÃO (BUCIOLI ET AL.,2007).
Um outro projeto, desenvolvido em conjunto pelo Massachusetts Institute of Technology e Surgical Planning Laboratory of Brigham and Women’s Hospital, pretende criar ferramentas de apoio a cirurgia guiada através de imagem. Estas ferramentas permitem aos cirurgiões visualizar, em tempo real, estruturas internas do corpo do paciente através da sobreposição automática de reconstruções 3D. Um exemplo da aplicação deste projeto é na remoção de tumores cerebrais.
Para o perfeito funcionamento deste projeto, o paciente tem de passar por quatro etapas (Bucioli et al., 2007): a construção de um modelo tridimensional do cérebro e crânio do paciente através de ressonância magnética e tomografia axial computadorizada; a determinação da posição exata do paciente na mesa de cirurgia, analisando a posição do couro cabeludo usando lasers de baixa potência e câmaras de vídeo. Estes dados têm uma precisão elevada, com um erro inferior a um 1 milímetro (Lab & Hospital, 1999). Utilizando os dados obtidos no processo anterior e algoritmos de otimização, posiciona-se o modelo virtual do crânio sobre o paciente; Por fim, a
16
última etapa consiste na visualização do modelo sobreposto ao paciente real num ecrã presente na sala de operações, permitindo ver a estrutura interna do crânio do utilizador e desta forma uma maior precisão na deteção do tumor. A Figura 5 ilustra este processo.
FIGURA 5:VISUALIZAÇÃO DO MODELO SOBREPOSTO NO PACIENTE (LAB &HOSPITAL,1999).
Na área do entretenimento existem bastantes aplicações de realidade aumentada, nomeadamente nos jogos virtuais. Cada vez mais gigantes da indústria, como por exemplo a Sony e a Nintendo, com a PlayStation e a Wii respetivamente, apostam nas tecnologias de RA para oferecer um novo conceito e mais interatividade e diversão aos seus consumidores finais.
A Nintendo construiu a Wii, uma plataforma com um conceito de jogo diferente, onde pretende aliar a diversão ao exercício físico. Possui um comando sem fios, o Wii Remote, que tem incorporado um motor de vibração e um acelerómetro que é capaz de detetar movimentos em três dimensões e interage com a consola através de infravermelhos, mas é possível ligá-lo a outros dispositivos, como um computador, através da tecnologia Bluetooth (Lee, 2008). Quando o comando é detetado pela consola, o utilizador é representado no vídeo através de um avatar, que consegue controlar com os seus movimentos em tempo real (Wuang, Chiang, Su, & Wang, 2011). A Figura 6 representa a interatividade entre o utilizador e a consola em tempo real, através do wii remote.
17
FIGURA 6:INTERAÇÃO DO UTILIZADOR COM A WII ATRAVÉS DO WII REMOTE (GAMEGURU,2006).
Outra consola com bastante destaque e que utiliza o conceito de RA é a PlayStation 3, através do equipamento PlayStation Eye, semelhante a uma webcam tradicional mas com uma objetiva incorporada que suporta zoom duplo. A primeira definição permite a formação de imagens na parte superior do tronco. A segunda é uma grande angular que possibilita a formação de imagens de corpo inteiro (Marks, 2007). Este equipamento possuiu um microfone que suporta comunicações de voz de alta qualidade e a captura de vídeo é possível mesmo com baixa luminosidade. Um jogo que utiliza este conceito é o EyePet. Destinado a crianças, simula um animal de estimação com a qual é possível interagir em tempo real. Esta interação é possível através de gestos e de uma marca de RA impressa. Conforme a Figura 7, a PlayStation Eye analisa-a e, em tempo real e com base na orientação da marca, adiciona o objeto que lhe está associado.
18
2.1.4- Ferramentas de RA
Um dos primeiros projetos de RA, o Rekimoto’s 2D Matrix Code (Rekimoto, 1998), era baseado no uso de uma câmara e marcas. Estas marcas, quadradas, são limitadas por uma margem preta (Iwasaki, Nishimura, Hamada, & Kozono, 2010). Dentro desse limite encontra-se uma figura que, de forma a ser facilmente reconhecida, é desenhada através de formas geométricas, desenhos simples e/ou textos. Este conceito originou várias ferramentas para o desenvolvimento de aplicações de RA, das quais se destacam o ARToolKit (ARToolKit, 2009), o ARToolKitPlus (Wagner & Schmalstieg, 2007) e o ARTag (Fiala, 2005).
O ARToolkit é um dos softwares mais utilizados para criar aplicações de RA (Romano, 2010) e foi originalmente desenvolvido em 1999 por Hirokazu Kato, do Instituto de Ciência e Tecnologia de Nara. É uma biblioteca baseada nas linguagens C e C++, suportando também objetos virtuais criados nas linguagens VRML e OpenGL (Bucioli et al., 2007), que permite o desenvolvimento de aplicações de RA através da identificação de características das marcas, que permite processar a imagem e recolher algumas informações relacionadas com a deteção, além de estimar a sua posição e orientação em relação ao ambiente, através do relacionamento das coordenadas da marca e da câmara (Ribeiro & Zorzal, 2011). Após capturada, a imagem é convertida em valores binários (preto e branco) e comparada com os símbolos existentes. Quando a imagem for reconhecida, o sistema sobrepõe-lhe o objeto virtual que lhe está associado e analisa possíveis movimentos, alterações de distância e rotações, permitindo também a utilização de ações pré-definidas através de dispositivos de entrada (e.g. teclado) (Ribeiro & Zorzal, 2011). Segundo Jong-Chih, , o ARToolkit está limitado pela associação estática entre as marcas e os modelos virtuais tridimensionais definidos para essa aplicação e propõe um sistema que, através utilização de códigos de barras unidimensionais e da ligação a uma base de dados online, permite armazenar e manipular remotamente uma maior variedade de marcas e modelos tridimensionais, aumentando assim a quantidade e variedade das mesmas (Jong-Chih, Hoang-Yang, Lin-Sen, Yi-Sheng, & Li-Chang, 2010). A Figura 8 representa as várias fases do processo do ARToolKit.
19
FIGURA 8:DIAGRAMA DE FUNCIONAMENTO DO ARTOOLKIT (ADAPTADO DE (SINCLAIR,2001)).
O ARToolKitPlus (Wagner & Schmalstieg, 2007) é uma biblioteca que possibilita o desenvolvimento de aplicações de RA, baseada no ARToolKit mas otimizada para dispositivos móveis. Possui algumas melhorias em relação ao ARToolKit, entre as quais o facto de utilização de aplicações computacionais com ponto fixo em vez do ponto flutuante (Barreira, 2010) que, principalmente em dispositivos móveis, requeria demasiado tempo para a operação (Wagner & Schmalstieg, 2007). O processo de captura de imagem do ARToolKitPlus é feito em 3 passos (Jia, Qi, & Zuo, 2010): os dados são capturados numa escala de cinzas, sendo que o ARToolKitPlus permite a alteração automática do limiar de iluminação conforme as condições de luz, de seguida, as marcas são detetadas e posteriormente todas elas são corrigidas de acordo com a distorção da lente. Por fim, são estimadas as posições das marcas válidas. O ARToolKitPlus apenas fornece funções para tracking das marcas, não disponibilizando funções nem para o rendering dos objetos virtuais nem para a obtenção do ambiente real.
Uma outra forma de desenvolver aplicações de RA é através do ARTag. Em contraste com o ARToolKit, a deteção das marcas é feita através da técnica edge based approach, ou seja, através da deteção da proximidade às arestas (Jia et al., 2010). Este método melhora a desempenho e dispensa a necessidade de lidar com as diferentes condições de iluminação. As arestas detetadas servem de base para o processo de deteção da marca e estão ligados em segmento que, por sua vez, são agrupados em
20
quadriláteros e utilizados para calcular uma homografia onde o interior das marcas é representado (Hirzer, 2008).
Quando se fala de aplicações de RA para integrar em páginas web, surgem as aplicações baseadas em ActionScript (AS), como o FLARToolKit, PaperVision3D, SLARToolKit e o FLARManager. O FLARToolKit é uma adaptação do ARToolKit para AS3 fornecido por Saqoosha e permite integração com outros motores de ActionScript, como o PaperVision3D (Dankov, Rzepka, & Araki, 2011). Numa breve comparação (Nee, Ong, Chryssolouris, & Mourtzis, 2012), o FLARToolKit é utilizado para desenvolver aplicações de RA baseadas na web, o FLARManager aplicações para o Adobe Flash e o SLARToolKit disponibiliza uma biblioteca para o desenvolvimento de aplicações com o Silverlight. Além destas, também o ARToolKitPlus poderia ser aqui incluído.
2.1.5- Ferramentas de RA para dispositivos móveis
A visualização e processamento de vídeo, em tempo real, capturado através da câmara de dispositivos móveis, tornaram-se suficientemente eficientes para suportarem uma variedade de aplicações de RA para estes dispositivos, possibilitando o conceito de presença dupla de informações, ou seja, os aspetos do plano físico capturado pela câmara sobrepostos, simultaneamente, com as informações adicionais no ecrã do dispositivo, permitindo uma compreensão ampliada do ambiente do utilizador (Morrison et al., 2011). Desta forma, a popularidade das aplicações de RA para dispositivos móveis tem vindo a aumentar (Fröhlich et al., 2011).
Para os dois principais sistemas operativos de dispositivos móveis mais utilizados no ano de 2012 (Stats, 2013), Google Android e Apple iOS, existem já bastantes aplicações de RA que, utilizando todas as funcionalidades do dispositivo, conseguem complementar a informação espacial com informação virtual através da RA. De entre estas aplicações, destacam-se a Vuforia, o Layar, a Wikitude e a Aurasma.
A plataforma de desenvolvimento Vuforia, desenvolvida pela Qualcomm Technologies, Inc, é uma plataforma que fornece as ferramentas necessárias, simples e poderosas para desenvolver aplicações de RA para dispositivos móveis, Android ou
21
iOS. Este Software Development Kit (SDK), cujo diagrama de fluxo de dados é representado na Figura 9, utiliza o dispositivo móvel como um portal para um mundo aumentado onde a realidade e a virtualidade parecem coexistir (Balint et al., 2012). Com base na imagem capturada, são aplicados vários algoritmos para a deteção de targets, tendo assim uma melhor precisão para a deteção de alvos (Balint et al., 2012). Renato Lopes afirma que, ao capturar a imagem, a câmara garante que cada frame seja capturada e transmitida de forma eficiente para o tracker, sendo simultaneamente convertida para a resolução e tamanho exigidos pelo dispositivo, através do Pixel Format Converter, que efetua a conversão do formato da câmara (i.e. YUV12) para um formato adequado ao rendering em ES OpenGL (i.e. RGB565) e para o tracking (i.e. luminância) (Lopes & Cardoso, 2012). O tracker contém algorítmos de visão computacional que detetam e analisam os objetos do mundo real, nas imagens capturadas pela câmara, recorrendo a diferentes algoritmos, com o objetivo de detetar alvos e/ou marcas e avaliar possíveis botões virtuais (Ibañez & Figueras, 2013; Lopes & Cardoso, 2012). O tracker suporta vários datasets, mas apenas um pode estar ativo de cada vez.
22
FIGURA 9:DIAGRAMA DE FLUXO DE DADOS DO SDKVUFORIA NUM AMBIENTE DE APLICAÇÃO
(QUALCOMM TECHNOLOGIES,2013B).
As marcas do Vuforia, ao contrário das marcas RA a que estamos habituados, não se limitam a uma borda negra com uma figura geométrica o mais simples possível. Ao invés disso, utiliza marcas naturais não aparentes (markerless), sendo possível usar qualquer imagem ou objeto como referência para o registo no sistema, como por exemplo produtos, caixas, rótulos, fotografias, entre outros (Forte et al., 2012). Qualquer um destes objetos pode ser uma marca de RA na plataforma Vuforia, desde que obedeçam a um determinado conjunto de regras impostas pelo algoritmo de deteção da plataforma. Estas marcas são geradas online, no sítio da Qualcomm Vuforia (Qualcomm Technologies, 2013a). O utilizador envia a imagem que pretende utilizar como marca, o sistema processa a imagem e cria um ficheiro XML e um ficheiro binário que o utilizador irá utilizar na aplicação. O SDK Vuforia fornece uma biblioteca (objeto partilhado libQCAR.so no Android e biblioteca estática libQCAR.a no iOS) que deverá estar ligada à aplicação. A Figura 10 representa todo este processo.
23
FIGURA 10:VISÃO GERAL DO PROCESSO DE DESENVOLVIMENTO DE APLICAÇÕES NA PLATAFORMA
VUFORIA (QUALCOMM TECHNOLOGIES,2013A).
O Vuforia possui ainda uma extensão para o Unity3D, um sistema de desenvolvimento orientado para simulação que permite a construção multiplataformas, de forma mais simples e rápida, devido ao poderoso Game Engine que disponibiliza (Ibañez & Figueras, 2013; Qualcomm Technologies, 2013a).
Layar é um browser de RA que utiliza o recetor de GPS incorporado no dispositivo para mostrar o que está geograficamente próximo, exibindo informações em tempo real, sobre a imagem que está a ser capturada e permitindo interagir em tempo real com essas informações. David Meerman Scott afirma que este browser é bastante útil para quem está numa cidade que não conhece, sendo apenas necessário apontar a câmara para a rua e em tempo real surgem diversas informações, desde restaurantes, espaços de diversão, espaços culturais, estações de transportes públicos entre muitos outros (Scott, 2010). Scott define ainda o Layar como um mashup entre a câmara do dispositivo, a localização GPS e um enorme conjunto de dados. Além dos pontos de interesse padrão, é possível descarregar e adicionar novas Geo Layers desenvolvidas por qualquer pessoa, através da ferramenta disponibilizada pelos seus criadores. Um exemplo de Geo Layer é o Jardim Botânico da UTAD, exibido na Figura 11. Esta aplicação permite também interagir com materiais impressos, como revistas e jornais,
