3D User Interfaces Aula 01 Introdução Tipos de interface 1980s interfaces 1990s interfaces

(1)

Alberto Raposo

Tecgraf, Depto de Informática., PUC-Rio - Rio de Janeiro

3D User Interfaces

http://www.tecgraf.puc-rio.br/~abraposo/inf2791/

Aula 01 – Introdução

abraposo@

Tipos de interface

1980s interfaces

Command WIMP/GUI

1990s interfaces

Advanced graphical (multimedia, virtual reality, information visualization) Web

Speech (voice) Pen, gesture, and touch Appliance

2000s interfaces

Mobile Multimodal

(2)

User Experience

• Como o produto se “comporta” e como é usado pelas pessoas no mundo real

– Opinião das pessoas sobre o produto e sua satisfação ao usá-lo, olhá-lo, manuseá-lo, etc.

– “todo produto que é usado por alguém provê uma

experiência de usuário: jornais, garrafas de catchup, roupas, etc.” (Garrett, 2003)

• Não se pode projetar uma experiência de usuário, mas se pode projetar para uma experiência de usuário

User Experience

experiências

aplicações

ferramentas APIs, frameworks, etc.

Interaction Usability, accessibility

(3)

Digital < Interfaces > Real

Command Line GUI

GUI Desktop Metaphor

GUI + Visual &

Interactions inspired in physical laws

TUI

Multi-touch WIMP

Virtual | Real

Real Desktop + Virtual data

Forms 3D

Hybrid interfaces

Interfaces de comandos

• Commands such as abbreviations (e.g., ls) typed in at the prompt to which the system responds (e.g., listing current files)

• Some are hard wired at keyboard, e.g., delete

• Efficient, precise, and fast

• Large overhead to learning set of commands

• Form, name types and structure are key research questions

(4)

WIMP/GUI interfaces

• Xerox Star: first WIMP

• Windows

– could be scrolled, stretched, overlapped, opened, closed, and moved around the screen using the mouse

• Icons

– represented applications, objects, commands, and tools that were opened when clicked on

• Menus

– offering lists of options that could be scrolled through and selected

• Pointing device

– a mouse controlling the cursor as a point of entry to the windows, menus, and icons on the screen

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

(5)

Desktop PC

• Display do computador como representação visual de uma mesa onde documentos e pastas são organizados

• Vantagem: organização!

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

(6)

Leis físicas

Denoue (2003) WebBook - Card(1996) WebForager- Card(1996)

BumpTop (2006) (bumptop.flv)

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

(7)

3D interfaces

• Espaço de um único display é pequeno. Se

considerássemos a equivalência a um desktop físico:

• Soluções:

– Múltiplos monitores – 3D interfaces

3D interfaces Microsoft’s Task Gallery

3D Desktops

Windows Vista

(8)

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

Escritoire

• Papéis digitais tratados como reais

– Aparência similar

– Interação similar (caneta rastreada)

(9)

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

TUI - Tangible User Interfaces

MetaDESK (1997)

(10)

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

Multi-Touch

Microsoft Surface (2007)

(11)

Command Line GUI

GUI + Visual &

TUI

Multi-touch WIMP

Virtual | Real

Forms 3D

Hybrid interfaces

Interface híbridas

• Diferentes formas de interação em um único espaço de interação

Butz, et al. (1999) Rekimoto and Saitoh (1999)

(12)

E ainda...

• Mobile

• Mobile + AR

• Mobile + touch

E ainda...

• Shareable (interfaces compartilhadas)

(13)

E ainda...

• Wearable

E ainda...

• Robotic

Giraffe Video Conferencing Robot

(14)

Alguns contínuos que ajudam a entender

• Milgram & Kishino 1994

Mixed Reality (MR)

Virtual Environment

Real Environment Augmented

Virtuality (AV)

Augmented Reality (AR)

Definições

• Realidade Virtual (VR):

– “computer generated interactive tridimensional environment, into which a person is immersed”

– “immersive and interactive experience based on 3D graphical images generated in real-time by computers

”

– “a form of post-WIMP

(15)

Definições

• Realidade Virtual:

– Combinação de 4 elementos

• Mundo virtual

– Espaço imaginário geralmente manifestado através de um meio

• Imersão – Mental

– Física: estímulo sintético de sentidos do corpo

• Feedback sensorial

– Baseado na posição física do usuário

» Geralmente feedback visual, às vezes auditivo e háptico (toque)

• Interatividade

– Capacidade de afetar o mundo virtual

Definições

• Realidade Aumentada (AR):

– Um sistema de AR apresenta as seguintes caracterísitcas

• combina objetos reais e virtuais em um ambiente real

• opera interativamente, em tempo real

• registra (alinha) objetos reais e virtuais

(16)

Alguns contínuos que ajudam a entender

• Molina 2008

Mixed Reality (MR)

Virtual Environment

Real Environment Augmented

Virtuality (AV)

Augmented Reality (AR) Mixed Virtuality (MV)

Digital

Environment Hybrid 2D/3D interfaces

Molina´s continuun

(17)

(18)

E, afinal, o que é 3DUI ?

(19)

Definição formal de 3DUI

• 3DUIs geralmente não são chamadas por este nome, mas por outros termos como, por

exemplo, post-WIMP, non-WIMP, post-PC, Virtual Reality (VR), Virtual Environments (VE), Augmented Reality (AR), interactive 3D graphics, ou simplesmente 3-D.

• Todos esses termos estão relacionados ao uso de tecnologia 3D como uma interface entre o usuário e o computador, como entrada, saída, ou ambos.

• 3D como entrada

– Mouse 3D

– Rastreamento

• Cabeça

• Mãos

• Movimentos, gestos

– Mapeamento de 3D em dispositivos 2D

• 3D como saída

(20)

• Uma definição formal para 3DUI

…a human-computer interface in which the language used by the user to introduce commands and information into the computer, and/or the language used by the computer to present

information to the user, are based on the physical space and its three dimensions.

• Cobre as várias maneiras em que 3DUI pode aparecer em diferentes tipos de aplicações.

BRETAM: Modelo de Evolução da Tecnologia

kownledge

(21)

BRETAM: Modelo de Evolução da Tecnologia

VR AR

BRETAM: VR

1960’s

1970’s-1980’s

1980’s – 1990’s 1990’s – 2000’s

Now

1990’s – 2000’s

(22)

BRETAM: AR

1970’s 1980’s – 1990’s

Now

Exercício para a próxima aula

• Assim como foi feito para VR e AR, “desenhar” o modelo BRETAM para o desenvolvimento de 3DUIs, indicando em que fase nos encontramos hoje e como os exemplos históricos se encaixam nas fases

anteriores do BRETAM

– Refs sobre BRETAM

• http://pages.cpsc.ucalgary.ca/~gaines/reports/MFIT/InfSci/index.ht ml

(23)

Avaliação do curso

3D User Interfaces Aula 01 Introdução Tipos de interface 1980s interfaces 1990s interfaces

abraposo@

• Como o produto se “comporta” e como é usado pelas pessoas no mundo real

• Não se pode projetar uma experiência de usuário, mas se pode projetar para uma experiência de usuário

• Papéis digitais tratados como reais

• Diferentes formas de interação em um único espaço de interação

• Mobile

• Mobile + AR

• Mobile + touch

• Shareable (interfaces compartilhadas)

• Wearable

• Robotic

• Milgram & Kishino 1994

• Realidade Virtual (VR):

”

• Realidade Aumentada (AR):

• Molina 2008

E, afinal, o que é 3DUI ?

• 3DUIs geralmente não são chamadas por este nome, mas por outros termos como, por

exemplo, post-WIMP, non-WIMP, post-PC, Virtual Reality (VR), Virtual Environments (VE), Augmented Reality (AR), interactive 3D graphics, ou simplesmente 3-D.

• Todos esses termos estão relacionados ao uso de tecnologia 3D como uma interface entre o usuário e o computador, como entrada, saída, ou ambos.

• 3D como entrada

• 3D como saída

• Trabalhos pequenos (toda aula) - TP

• Trabalho grande (para apresentar no final do curso no final do curso) – TG

• Nota Final:

NF = (média TPs + 2*TG)/3