Realidade Aumentada. Introdução. Introdução. Introdução. Realidade Aumentada 06/08/2013. Prof. Sementille 1

(1)

Realidade Aumentada

Prof. Dr. Antonio Carlos Sementille

Departamento de Computação/FC

semente@fc.unesp.br

Sumário da Apresentação

I – VISÃO GERAL DE REALIDADE VIRTUAL

E REALIDADE AUMENTADA



Introdução - Interfaces



Realidade Virtual: Definição e

Caracterização



Realidade Combinada e Realidade

Aumentada (RA)



Realidade Aumentada X Realidade Virtual



Componentes de um Sistema RA Típico



Principais Áreas de Aplicação da RA

1 – VISÃO GERAL DE

REALIDADE VIRTUAL E

REALIDADE AUMENTADA

Introdução



Antes do advento do computador

eletrônico: uso de interfaces naturais

(sentidos)



Computador eletrônico

◦

Novo processo de interação

◦

Abstração

◦

Treinamento



Convergência de dois conceitos

antagônicos: fusão do real com o virtual

Introdução



Interfaces:

◦

Décadas de 40 e 50



Chaves e lâmpadas

Introdução



Ex.: UNIVAC – década de 50

(2)

Introdução



Interfaces:

◦

Década de 60



Consoles sem vídeo – saída impressa

Introdução



Interfaces:

◦

Década de 60



Terminais com vídeo – primeiras interfaces gráficas

rudimentares

Introdução



Interfaces:

◦

Décadas de 70 e 80



Popularização do Microcomputador



Inicialmente: interface baseada em texto



Interface gráfica e uso de recursos multimídia

Interface Gráfica do computador Xerox Alto

Interface texto –

Sistema DOS

Introdução



Interfaces:

◦

Décadas de 70 e 80



Interface gráfica e uso de recursos multimídia

Interface Gráfica do computador

Macintosh de 1984

Interface – Windows 1.0

Realidade Virtual



Termo criado por Jaron Lanier – final

década de 80



Convergência de dois conceitos

antagônicos: fusão do real com o virtual

Definição de Realidade Virtual

É uma

interface avançada

para aplicações

computacionais, onde o usuário pode

navegar

e

interagir

, em

tempo real

, em um

ambiente tridimensional gerado por

computador

, usando

dispositivos

multisensoriais

(3)

Histórico



Histórico

◦

Meados da década de 50



Sensorama

◦

Mort Heilig (cineasta)



Visão tridimensional, som estéreo, vibração, vento,

aroma passeando por NY

Histórico - Sensorama

Morton Heilig's Sensorama (Interview).mov(360p_H.264-AAC).mp4 - Atalho.lnk

Histórico - Cinemascope

Histórico

◦

1962 - Ivan Sutterland – Sketch Pad

Sketchpad, by Dr. Ivan Sutherland with comments by Alan Kay.avi - Atalho.lnk

Histórico

◦

1968 - Ivan Sutterland, Univ. de Harvard, capacete com

imagens geradas por computador

(4)

Histórico

◦

1977 a 1982 - Primeiras luvas

CARACTERIZAÇÃO DE

REALIDADE VIRTUAL (RV)

Junção de três idéias básicas:

◦

Imersão

◦

Interação

◦

Envolvimento



Estas três idéias deverão coexistir em um

sistema de Realidade Virtual



Imersão

◦

Sentimento proporcionado por estar dentro

do ambiente sintético

◦

Depende do dispositivo externo empregado



Com capacete (imersivo)



Limitações técnicas e problemas no uso do capacete



Sem capacete (não imersivo)



Acompanha a evolução dos computadores



Interação

◦

Capacidade do computador detectar as

entradas do usuário e modificar

instantaneamente o mundo virtual e as ações

sobre ele

◦

Capacidade reativa



Envolvimento

◦

Grau de motivação para o engajamento de

uma pessoa a uma atividade

O que é e o que não é RV

O que não é RV:

◦

Filmes

◦

Desenhos animados

◦

Efeitos especiais

(5)

O que é e o que não é RV

O que é RV:

◦

Alguns Videogames tridimensionais

◦

Sistemas de visualização 3D e Simuladores de

Vôo (desde que permitam interação em

tempo real)

Alguns Dispositivos de Entrada de

um Sistema de RV (não

convencionais)

Mouse 3D

Luvas de Dados

(DataGlove)

Vestimentas com

rastreadores corporais

Exoesqueleto

Alguns Dispositivos de Entrada de um

Sistema de RV (não convencionais)

Motion Capture – expressões

faciais

Alguns Dispositivos de Entrada de um Sistema

de RV (não convencionais)

VirtuSphere

Virtusphere 3D Game Interface(medium_H.264-AAC).avi - Atalho.lnk

Dispositivos de Saída:

Tecnologias de Display



O mais simples

◦

Monitor comum (RV não imersiva)



Head Mounted Displays (HMD)

◦

Imersivo



Para fazer estéreo, uma imagem diferente

para cada olho

◦

Trivial nos HMDs

◦

Uso de “shutter glasses”



left & right imagens entrelaçadas

◦

Óculos polarizados ou óculos red/blue



left & right imagens superpostas

(ótica)

Dispositivos de Saída:

Tecnologias de Display



Projection displays

◦

CAVE-type

◦

ImmersaDesk (Univ. de Chicago)

ImmersaDesk

Cave VR

(6)

Dispositivos de Saída:

Tecnologias de Display

◦

CAVE-type

CAVE® - A Virtual Reality Theater - 1993(240p_H.264-AAC).mp4 - Atalho.lnk

Dispositivos de Saída:

Tecnologias de Display



Exemplo de CAVE - iCube

EON Reality - Virtual Reality Solutions(360p_H.264-AAC).mp4 - Atalho.lnk

REALIDADE COMBINADA (Mixed

Reality)

Pode ser definida como a

sobreposição

de

objetos virtuais tridimensionais

, gerados

por computador,

com o ambiente físico

,

mostrada ao usuário

com apoio de

algum dispositivo tecnológico

, em

tempo real

REALIDADE COMBINADA

Realidade Aumentada

é um sistema que

suplementa o

mundo real

com

objetos

virtuais

gerados

por

computador,

parecendo coexistir no mesmo espaço

AZUMA et al (2001).

REALIDADE AUMENTADA (RA)

Uma Definição



Uma “área de investigação” que pretende

Desenvolver

mundos que combinem

◦

O

mundo real

observado pelo usuário

◦

Com

uma cena virtual

gerada por

computador e que aumente o mundo

real com informação adicional.



E com os quais o usuário possa

interagir em

Tempo Real

(7)

Objetivo Principal da RA



Criar um sistema tal que o usuário

não

consiga distinguir o mundo real

do virtualmente aumentado



Ao usuário de tal “utopia”

parecer-lhe-ia estar num mundo

perfeitamente real

Realidade Aumentada

Um exemplo

O Bule

está

absolutamente

inserido

no Mundo Real

Virtualidade Aumentada (V.A.)

Sistemas onde

imagens e

objetos reais são

inseridos em um

mundo

predominanteme

nte gerado por

computador.

ISMAR_TEATRO_INTERATIVO_MI2.avi - Atalho.lnk

RA versus RV



Realidade Virtual Imersiva:

a

imersão no mundo virtual

é

total.

◦

Ao usuário é completamente negado o

acesso ao mundo real



Realidade Aumentada:

a imersão

no

mundo real

é total.

◦

O usuário vê o mundo real que o

rodeia...mas com objetos virtuais

embutidos nesse mundo real

RA versus “Hollywood Movies”



Muitos dos efeitos especiais recorrem à

composição de imagens reais e virtuais



Mas:

◦

Os efeitos especiais são aplicados quadro a

quadro sobre um “produto acabado”

◦

O espectador não pode interagir com o filme



Não é

Realidade Aumentada

Outro exemplo:

RA com efeitos especiais

(8)

Tecnologias



Interfaces com o

Usuário



Visualização



Rastreamento

Ra str e a m en to

Interfaces com o Usuário



Visual



Acústica



Haptic/Tangível

Interfaces com o Usuário: Visual



Reconhecimento de

Gestos



Exemplo:

◦

MIT‘s KidsRoom (1996):

Integração Temporal

Interfaces com o Usuário: Visual

◦

Leap Motion

Leap Motion(720p_H.264-AAC).mp4 - Atalho.lnk

Interfaces com o Usuário: Acústica



2 Partes

◦

Síntese de Voz

◦

Reconhecimento de Voz



Interfaces acústicas

são combinadas com

outras modalidades

1st Augmented Reality Voice Recognition- Starring Hatsune Miku.mp4 - Atalho.lnk

Interfaces com o Usuário:

Haptic/Tangível



Joystick, 3D-Mouse



Objetos tangíveis

◦

Exemplos:

CAR, SHEEP e o PIP do

Studierstube

(9)

Visualização: Formas de Visualização



Dispositivos de visualização

◦

HMDs

◦

PDAs

◦

Projeção

◦

Monitores



Tridimensionalidade

◦

Displays separados

◦

Projeção polarizada

◦

Projeção com anaglifo

◦

Divisão de tempo

Tecnologias para Visualização

Baseadas em monitor (fish tank)

Mundo

Real

Sistema

Gráfico

Posição da

Câmera

Imagem

Video

Misturador

de Video

Realidade

Aumentada

(opcionalmente em Stereo)

Video

Aumentado

Objetos

Virtuais

Capacete de RA

Video See Through

Mundo

Real

Sistema

Gráfico

Imagem

Video

Misturador

de Video

Objetos

Virtuais

Posição da

Cabeça

Video

Aumentado

Monit

ores

Visão

do

Usuário

Tecnologias para Visualização

Video See Through

Tecnologias para Visualização

Optical See Through

Mundo

Real

Sistema

Gráfico

Capacete de RA

Objetos

Virtuais

Posição da Cabeça

Monitores

Visão

do

Usuário

Lente

(Mistura

Óptica)

Tecnologias para Visualização

Tecnologias de Apresentação

(10)

Tecnologias de Apresentação

Optical See Through

Tecnologias de Apresentação

Optical See Through

Google Glass – Demo

Google Glasses Project Glass demo(720p_H.264-AAC).mp4 - Atalho.lnk

Tecnologias de Apresentação

Optical See Through

Google Glass – teste Veja

Testamos o Google Glass(720p_H.264-AAC).mp4 - Atalho.lnk

Tecnologias de Apresentação

Optical See Through

Head-mounted display projects

directly onto the retina

Head-mounted display projects directly onto the retina _ DigInfo(720p_H.264-AAC).mp4 - Atalho.lnk

Optical versus Video



prós

◦

o mundo real é “realmente” observado em tempo

real e diretamente pelo olho humano



contras:

◦

é mais difícil controlar as defasagens porque só o

canal virtual é processado eletronicamente



conclusão:

◦

aparentemente mais simples torna-se de utilização

mais limitada

◦

Tem sido abandonado em favor do Video See

through

Optical See-Through

Optical versus Video



prós

◦

Podemos compensar o alinhamento e a latência porque

tanto o mundo real (video) como o virtual são

processados eletronicamente.



contras:

◦

O mundo real observado está sempre atrasado em

relação ao mundo real de fato (pelo menos um quadro

ou 30 ms)



conclusões:

◦

Aparentemente mais complexo é mais controlável

◦

Tem ganho preponderância sobre o Optical See

through

(11)

Realidade Aumentada Espacial

Exemplo 1 – Digital AirBrushing

Digitial Airbrushing with Spatial Augmented Reality(360p_H.264-AAC).mp4 - Atalho.lnk

Realidade Aumentada Espacial

Exemplo 2 – Opera com RA Espacial

A Spatially Augmented Reality Opera Performance(360p_H.264-AAC).mp4 - Atalho.lnk

Visualização: Combinando Real e Virtual



Optical see through



Video see through

◦

Chroma keying



Problema da Oclusão

◦

Rastrear todos os objetos reais

◦

Construção de Mapas de Profundidade a

partir de imagens estéreo

◦

Técnicas especiais de projeção

Visualização: Desafios



Contraste



Brilho



Resolução



Campo de Visão



Segurança

Rastreamento: Métodos

Rastreamento

Óptico



Marcadores

◦

Esferas IR

◦

Cartões

(marcadores

passivos)

◦

Formas e/ou

texturas existentes

no ambiente

(12)

Rastreamento: Desafios



Erros Estáticos

◦

Distorções ópticas

◦

Configuração imprópria

◦

Desalinhamento

mecânico

◦

Estratégias



Cuidado



Algoritmos para

Autocalibração



Erros Dinâmicos

◦

Atrasos relacionados ao

Hardware

◦

Atrasos relacionados ao

software

◦

Estratégias



Aumentar a velocidade de

processamento



Renderização avançada



Predizer o futuro

Tecnologias de Rastreamento



Tecnologias de Radiolocação



Fraca precisão… mas aplicáveis em grandes espaços



Tecnologias Magnéticas



Objetos metálicos introduzem erros...(abandonada...)



Tecnologias Ópticas



Diodos sensíveis à luz no teto emissores luminosos no HMD

-algoritmo calcula deslocamentos.



Metodologias Gráficas (RA sem calibragem)



Cálculos e transformações geométricas com base na imagem.

Só para Video See Through.



Tecnologias Híbridas



Tecnologia Óptica (rude) - Métodos Gráficos (fino)



Tecnologias de radiolocação - Ópticas e Gráficas (para grandes

espaços)

Vemos

demasiado bem!

Um Sistema Típico

Enfrenta Um Grande Problema

Distinguimos o

real do virtual

Melhor desempenho

dos sistemas gráficos

leva a mundos virtuais

mais realistas

Defasagem

Espacial

entre o mundo real

e o objeto virtual

(registration)

Defasagem

Temporal

entre o mundo real

e o objeto virtual

(latency)

Principal Campo de Investigação

na Realidade Aumentada

Realidade Aumentada

Principais

Aplicações

Realidade Aumentada

Domínios aplicacionais



Educação



Entretenimento



Manutenção e reparo



Televisão



Comércio



Militar



Projetos de Engenharia



Robótica e Telerobótica



Medicina

Aplicações de Realidade Aumentada

Educação

Interactive Media

Systems Group,

Vienna University

of Technology)

Ambiente colaborativo

do sistema

Construct3D

(13)

http://www.cs.columbia.edu/graphics/projects/karma

PS3 – EYE OF JUDGEMENT

Aplicações de Realidade Aumentada

Entretenimento - Games

Jogo de Batalha baseado em Cards

Realidade Virtual Colaborativa

PS3 – EYE OF JUDGEMENT

Aplicações de Realidade Aumentada

Entretenimento - Games

Eye of Judgement Overview (HD)(720p).avi - Atalho.lnk

Parrot AR.Drone

Aplicações de Realidade Aumentada

Entretenimento - Games

Parrot AR.Drone

(video 1) – visão geral

Aplicações de Realidade Aumentada

Entretenimento - Games

Flight Recorder GPS Tutorial(720p_H.264-AAC).mp4 - Atalho.lnk

Parrot AR.Drone

(video 2) – Realidade Aumentada

Aplicações de Realidade Aumentada

Entretenimento - Games

NEW GAME_ AR.RESCUE 2 _Free App_(720p_H.264-AAC).mp4 - Atalho.lnk http://www.cs.columbia.edu/graphics/projects/karma Grupo de Steve Feirner

-Columbia University

KARMA- (Knowledge-based Augmented Reality for Maintenance Assistance)

Durante a manutenção de

uma impressora Laser o

usuário vê como remover

tabuleiro de alimentação

de papel através da

imagem em “fio de arame”

gerada por computador.

Aplicações de Realidade Aumentada

(14)

Aplicações de Realidade Aumentada

Sistemas de Manutenção/Treinamento

Augmented Reality Training Demonstration - by Scope AR using the Epson Moverio BT-100(720p_H.264-AAC).mp4 - Atalho.lnk

Aplicações de Realidade Aumentada

Outdoor Systems/GPS Tour

Augmented Reality GPS Tour Beyond Tomorrow(Medium).avi - Atalho.lnk

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

GMD Digital Media Lab:

The Virtual Studio

O estúdio Virtual, ao

recorrer a técnicas

de RA, permite

ultrapassar os

problemas do

tradicional

chroma-keying

Fundo e

Máscara do fundo

Plano real e

Máscara do plano real

Mistura e

Máscara da mistura

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

No blue-room tradicional:

a câmera é estática

e o fundo também.

Como a

câmera

e o

fundo não

estão

correlacionados

se a câmera se

movimenta, notar-se-iam distorções de

perspectiva

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

No blue-room virtual:

a câmera pode mover-se

e o fundo é um cenário virtual

3D gerado por computador.

A

posição da câmera tem de ser seguida

de maneira a manter as relações entre

esta e o fundo

(15)

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

Vantagens do blue-room virtual:

As

pessoas

frente às cameras

podem mover-se

livremente.

Os

cenários virtuais

são

facilmente

alteráveis

tanto antes

como durante a produção.

Os

cenários

são

transportados

…

no disco

do PC e não na

carroceria de um caminhão..

Aplicações de Realidade Aumentada

Televisão:

Chroma-Keying

Stargate Studios Virtual Backlot Reel 2009(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade Aumentada

Cinema: Preview

SIMUL-CAM

Aplicações de Realidade Aumentada

Cinema: Preview – Avatar Simulcam

Avatar Simul Cam(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade Aumentada

Second Life Aumentado

Aplicações de Realidade Aumentada

Comércio e Publicidade



Decoração de Interiores

◦

Superimposição de peças

decorativas virtuais nos interiores

reais



Vestuário

◦

Experimentar vestidos virtuais e

executar as alterações nesses

vestidos



Institutos de Beleza

◦

Experimentar cortes de cabelo e

executá-los sobre o modelo virtual

(16)

Aplicações de Realidade Aumentada

Design de Produto

Augmented Reality applied to Industrial Design(360p_H.264-AAC).avi - Atalho.lnk

Aplicações de Realidade Aumentada

Design e Arquitetura

Augmented Reality for architects (English version)(720p_H.264-AAC).mp4 - Atalho.lnk