U
NIVERSIDADE DE
L
ISBOA
Faculdade de Ciências
Departamento de Informática
INTERACÇÃO POR TOQUE
EM MÚLTIPLAS SUPERFÍCIES
António Ricardo Bengelsdorff Regueiras Neto
MESTRADO EM ENGENHARIA INFORMÁTICA
Arquitectura, Sistemas e Redes de Computadores
U
NIVERSIDADE DE
L
ISBOA
Faculdade de Ciências
Departamento de Informática
INTERACÇÃO POR TOQUE
EM MÚLTIPLAS SUPERFÍCIES
António Ricardo Bengelsdorff Regueiras Neto
DISSERTAÇÃO
Trabalho orientado pelo Prof. Dr. Carlos Alberto Pacheco dos Anjos Duarte
MESTRADO EM ENGENHARIA INFORMÁTICA
Arquitectura, Sistemas e Redes de Computadores
Agradecimentos
Agradeço ao Professor Carlos Duarte, por me ter orientado e acompanhado ao longo de todo este trabalho, por me motivar e continuar a dar ideias, quando as não tinha, e ajudar no desenvolvimento deste projecto.
Agradeço a todos os meus amigos e colegas da equipa de investigação HCIM pela constante troca de ideias, em especial aos meus colegas Luís Duarte por todos os conselhos ao longo do projecto e ao Tiago Reis pelas ideias que me deu.
Agradeço a todos os amigos e colegas da Faculdade de Ciências da Universidade de Lisboa, pelos bons momentos passados ao longo dos últimos anos.
Agradeço à Faculdade de Ciências e ao LaSIGE por todas as condições disponibilizadas ao longo do ano que me permitiram realizar este projecto.
i
Resumo
Actualmente, com o preço dos pixéis a diminuir, os ecrãs de computador tendem a aumentar de tamanho. Os ecrãs de parede e outras superfícies de interacção de grande dimensão são agora uma opção para muitos utilizadores. Esta tendência levanta várias questões a serem investigadas na área da interacção pessoa-máquina.
A aproximação simplista de transferir os principais conceitos de interacção do paradigma clássico WIMP (Windows, Icon, Menu, Pointer / Janela, Ícone, Menu, Dispositivo Apontador), baseado nos dispositivos tradicionais de entrada, rato e teclado, rapidamente conduz a problemas inesperados.
Nos últimos anos também se assistiu à emergência dos primeiros produtos comerciais a suportarem interacções multi-toque. É expectável que a tecnologia do toque se torne brevemente standard, o que já é visível em alguns mercados específicos, como o dos telemóveis.
Se juntarmos as possibilidades criadas pela recente “revolução táctil” e a transição a que assistimos nos últimos anos para ecrãs de grande dimensão, estamos agora em condições de explorar como a interacção gestual pode contribuir para minimizar os problemas com o paradigma clássico WIMP em ecrãs de grande dimensão.
Neste trabalho é explorado o campo da interacção gestual em ecrãs de grande dimensão. Foram conduzidos vários estudos, onde os utilizadores experimentaram interacção gestual, em várias aplicações adequadas para ecrãs de grande dimensão. Os resultados demonstram que a manipulação directa através de interacção gestual é apelativa aos utilizadores para alguns tipos de aplicações e acções, enquanto para outros tipos, os gestos não são a modalidade preferida de interacção.
Posteriormente, introduziu-se o uso da interacção gestual para cenários cooperativos, discutindo a sua adequação a algumas tarefas, e a forma como os utilizadores decidem cooperativamente que tarefas realizar baseados nas modalidades de entrada disponíveis e nas características das tarefas.
Palavras-chave: Gestos, Ecrãs de Grande Dimensão, Técnicas de Interacção, Ecrãs
iii
Abstract
Nowadays, with pixels getting cheaper, computer displays tend toward larger sizes. Wall sized screens and other large interaction surfaces are now an option for many users and this trend raises a number of issues to be researched in the user interface area.
The simplistic approach of transferring the main interaction concepts of the classic WIMP (Window, Icon, Menu, Pointer) design paradigm, based on the traditional mouse and keyboard input devices, quickly led to unexpected problems.
In recent years we also witnessed a revolution with the emergence of the first commercial products supporting multi-touch interaction. It is expected that the use of touch technology will soon become standard, and this is already visible in some specific markets, such as mobile phones.
If we put together the possibilities opened up by the recent “touch revolution” and the transition we have been witnessing for the past few years to large screen displays, we are now able to explore how the use of gestural interaction can contribute to overcome the problems with the classical WIMP paradigm in large screen displays.
In this work we explore the field of gestural interaction on large screen displays, conducting several studies where users experience gestural interaction in various applications suited for large displays. Results show how direct manipulation through gestural interaction appeals to users for some types of applications and actions, while demonstrating that for other types, gestures should not be the preferred interaction modality.
Afterward, we introduce the use of gestural interaction for cooperative scenarios, discussing how it is more suited for some tasks, and hypothesizing on how users cooperatively decide on which tasks to perform based on the available input modalities and task characteristics.
Keywords: Gestures, Large Displays, Interaction Techniques, Touch Screens,
v
Tabela de
Conteúdos
Capítulo 1 Introdução... 1
1.1 Enquadramento ... 2
1.2 Objectivos ... 3
1.3 Metodologia e Plano de Trabalho ... 4
1.4 Síntese dos Resultados e Contribuições ... 6
1.5 Organização do documento ... 7
Capítulo 2 Estado da Arte ... 9
2.1 Contexto e Conceitos ... 9
2.1.1 Quadro Interactivo – SmartBoard ... 9
2.1.2 Ecrã táctil – TouchScreen ... 11
2.1.3 Reconhecimento Gestual ... 12
2.1.4 Paradigma WIMP ... 13
2.2 Interacção com Ecrãs de Grande Dimensão ... 14
2.2.1 Rastreamento do Cursor ... 14 2.2.2 Selecção de Objectos ... 17 2.2.3 Gestão de Tarefas ... 22 2.2.4 Componentes de Controlo ... 23 2.2.5 Ecrãs Tácteis ... 25 2.3 Interacção Gestual ... 29 2.3.1 Estilo de Gestos ... 29 2.3.2 Tecnologia Envolvida ... 31 2.3.3 Domínios Aplicacionais ... 32 2.4 Sumário e Discussão ... 33
Capítulo 3 Interacção Gestual com Uma Superfície ... 37
3.1 Utilização de Gestos em Ecrãs de Grande Dimensão... 37
3.1.1 Enquadramento e Preparação do Estudo ... 37
vi
3.1.3 Procedimento ... 39
3.1.4 Resultados ... 40
3.1.5 Discussão ... 42
3.2 Técnicas de Interacção para Ecrãs de Grande Dimensão ... 44
3.2.1 Metodologias Avaliadas ... 44
3.2.2 Procedimento ... 46
3.2.3 Resultados ... 47
3.2.4 Discussão ... 48
3.3 Comparação de Modalidades de Interacção ... 50
3.3.1 Descrição do Estudo ... 50
3.3.2 Resultados ... 51
3.3.3 Discussão ... 52
Capítulo 4 Interacção Gestual em Cenários Cooperativos... 55
4.1 Cooperação com várias modalidades de interacção ... 56
4.1.1 A Aplicação Colaborativa ... 57
4.1.2 Descrição do Estudo ... 57
4.1.3 Resultados ... 59
4.1.4 Discussão ... 61
4.2 Cooperação através de Interacção Gestual ... 62
4.2.1 Evolução da Aplicação Colaborativa ... 62
4.2.2 Descrição do Estudo ... 63
4.2.3 Resultados ... 65
4.2.4 Discussão ... 66
Capítulo 5 Conclusões e Trabalho Futuro... 69
5.1 Conclusões ... 69
5.2 Trabalho Futuro ... 72
vii
Lista de Figuras
Figura 1: Calendarização ... 5
Figura 2: SmartBoard ... 9
Figura 3: Microsoft Surface ... 11
Figura 4: Apple iPhone ... 11
Figura 5: “Spotlight” ... 15
Figura 6: "Windows Mouse Trail" Vs "High-density Cursor" ... 16
Figura 7: "Bubble Cursor" ... 18
Figura 8: "Drag-and-pop" ... 19
Figura 9: "VisionWand" ... 21
Figura 10: “Scalable Fabric” ... 23
Figura 11: "VisionWand" menu. ... 24
Figura 12: “Dual Finger Selections” ... 26
Figura 13: “Shadow Reaching” ... 27
Figura 14: "TouchLight" ... 28
Figura 15: A taxonomia gestual proposta. ... 29
Figura 16: Domínios de estudo ... 34
Figura 17: Os cinco Cenários ... 38
Figura 18: Exemplos de gestos utilizados para a acção “Colar”... 42
Figura 19: Exemplos de gestos utilizados para a acção “Restaurar” ... 42
Figura 20: Exemplos de gestos utilizados para a acção “Imprimir” ... 42
Figura 21: Exemplos de gestos utilizados para a acção “Cortar” ... 42
Figura 22: Selecção baseada em Gestos, Selecção Um a Um ... 45
Figura 23: Confirmação baseada em Botão, Confirmação baseada em Menu ... 45
Figura 24: “Drag-and-Pop”, “Drag/Push-and-throw” ... 46
Figura 25: Os quatro cenários ... 47
Figura 26: Aplicação de quadro branco interactivo v1.0 ... 57
viii
Figura 28: Aplicação de quadro branco interactivo v2.0 ... 63 Figura 29: Dicionário Gestual da aplicação ... 64 Figura 30: Os quatro documentos a replicar ... 65
ix
Lista de Tabelas
Tabela 1: Gestos Similares para o cenário Manipulação de Objectos ... 40
Tabela 2: Gestos Similares para o cenário Manipulação de Janelas ... 40
Tabela 3: Gestos Similares para o cenário Google Earth ... 40
Tabela 4: Gestos Similares para o cenário Visualização de Imagens ... 41
Tabela 5: Gestos Similares para o cenário Leitor Multimédia ... 41
Tabela 6: Acções sem padrão gestual ... 41
Tabela 7: Técnicas de Selecção preferidas para cada cenário ... 47
Tabela 8: Técnicas de Confirmação preferidas para cada acção ... 47
Tabela 9: Técnicas de Visualização preferidas para cada acção ... 48
Tabela 10: Paradigmas de Arrastamento ... 48
Tabela 11: Manipulação de Objectos ... 51
Tabela 12: Google Earth ... 51
Tabela 13: Visualização de Imagens ... 51
Tabela 14: Manipulação de Janelas ... 52
1
Capítulo 1
Introdução
“In five years we’ll have many tens of millions of people sitting browsing their photos, browsing their music, organizing their lives using touch interfaces.” Bill Gates 07/01/2008
Nos últimos anos assistiu-se a uma revolução com a emergência dos primeiros produtos comerciais a suportarem interacção por toque, algo a que o público anteriormente só tinha “acesso” através de filmes. É esperado que em breve, a utilização desta tecnologia se torne standard, e isso já é actualmente visível em alguns mercados específicos, como no mercado dos telemóveis.
Com o advento dos primeiros produtos com suporte a tecnologia multi-toque, surge a oportunidade de explorar mais profundamente a interacção gestual. Os gestos, apesar de serem um elemento central na comunicação entre as pessoas, têm visto a sua importância negligenciada nas interfaces tradicionais. As interfaces baseadas em reconhecimento de gestos oferecem uma alternativa ao uso dos tradicionais menus, teclado e rato, abrindo o caminho para diferentes abordagens de “manipulação de objectos”. A capacidade de especificar objectos, operações e outros parâmetros com um simples gesto é intuitiva e tem sido o foco de muitas investigações.
Este trabalho explora as possibilidades que as superfícies sensíveis ao toque oferecem, nomeadamente a combinação de várias dessas superfícies para cenários cooperativos, através de uma interface baseada em reconhecimento de gestos. A instituição de acolhimento deste trabalho foi o DI (Departamento de Informática), na unidade LASIGE (Laboratório de Sistemas de Informação de Grande Escala) e na equipa de investigação HCIM (Human-Computer Interaction and Multimedia).
2
1.1 Enquadramento
Os gestos são um meio de fornecer uma forma natural e intuitiva de interagir com os computadores, em muitos, se não em todos, os domínios aplicacionais. Este trabalho procura compreender de que forma a interacção gestual pode contribuir para melhorar a interacção com ecrãs de grande dimensão, particularmente em cenários e aplicações colaborativas.
Actualmente, a interacção baseada em gestos está cada vez mais presente, devido ao aumento da disponibilidade de periféricos e dispositivos capazes de os interpretar. O primeiro segmento tecnológico a adoptar genericamente a interacção baseada em gestos foi o segmento dos dispositivos móveis. Periféricos como os “Palm”, seguidos pelos PDA‟s baseados em “Windows Mobile”, foram os primeiros a oferecer capacidades de reconhecimento de gestos, que foram inicialmente utilizadas para reconhecer a escrita à mão. Os gestos eram realizados através de uma caneta, ou “stylus”, num ecrã resistivo. Os desenvolvimentos tecnológicos seguintes permitiram realizar gestos directamente com os dedos no ecrã do dispositivo. Mais recentemente o “iPhone” introduziu às massas a tecnologia multi-toque, permitindo que a interacção gestual atingisse uma audiência ainda mais vasta.
Hoje em dia, com a introdução de novos dispositivos, como a “Microsoft Surface Table”, que complementam outros já existentes, como os ecrãs tácteis de parede, existe um conjunto de dispositivos que estão a tornar a interacção gestual acessível numa nova classe de cenários, capazes de oferecer capacidades de interacção e colaboração que não eram viáveis com os dispositivos móveis pessoais.
Apesar da emergência de produtos inovadores que suportam gestos, existe ainda um grande caminho a percorrer, visto não existirem estudos nem experiências consistentes de utilização deste tipo de interacção, o que não permite desenhar interfaces para eles que tenham um nível de usabilidade idêntico ou superior ao que já foi atingido nas interfaces tradicionais. A abordagem simplista de transferir os principais paradigmas das interfaces tradicionais levou rapidamente a alguns problemas, existindo bastantes cenários em que essa adopção não se revelou correcta do ponto de vista de utilização. A usabilidade da interface gestual está associada ao contexto e cenário de utilização. A interface desenhada para dispositivos móveis, não deverá ser necessariamente a mesma interface para se interagir com uma mesa táctil, ou um ecrã táctil de parede.
Começam agora a surgir os primeiros estudos e os primeiros produtos e dispositivos que tiram partido consistentemente da interacção gestual. Para tal, numa fase inicial, é necessário perceber como é que as pessoas interagem com os novos dispositivos computacionais, nomeadamente dispositivos que disponibilizem superfícies
3
tácteis de grande dimensão. Algumas das perguntas a que os estudos pretendem responder são: que tipo de gestos as pessoas preferem realizar, quais os gestos que se mostram mais aptos a disparar cada acção, quais as acções mais adequadas para serem realizadas através de gestos, em que cenários os gestos mostram ser uma mais-valia face às interfaces tradicionais.
A partir desta compreensão, será possível construir uma série de recomendações para o desenvolvimento das mais variadas aplicações baseadas em toque. Isto irá permitir aumentar a maturidade deste tipo de interacção, e possibilitar aos novos produtos que suportem este tipo de interacção, uma mais agradável experiência de utilização, e uma melhor usabilidade.
No entanto, deve ser sempre mantido presente que a interacção gestual ou a interacção por toque, não é a solução óptima para todos os problemas. Todos os tipos de interacção são melhores para alguns cenários e piores para outros, sendo um erro pensar que o toque irá substituir o rato ou outra qualquer modalidade de interacção. O rato é excelente para muitas coisas, mas não para tudo. A introdução de texto, por exemplo, será sempre mais eficiente recorrendo a um teclado ou reconhecimento de voz do que através de gestos ou toque. O desafio com a entrada deste novo tipo de interacção é perceber quais os cenários onde é forte, quando as outras modalidades são fracas, servindo assim para as complementar.
1.2 Objectivos
Pretende-se com este trabalho explorar as possibilidades que a interacção por toque oferece, nomeadamente quando se combinam várias superfícies, incluindo superfícies de grandes dimensões, que suportem este género de interacção. Como ferramentas fundamentais para apoiar este trabalho de exploração estão disponíveis dois SmartBoards, quadros digitais interactivos, que respondem ao toque, quer de um dedo, quer de uma caneta.
No seguimento do que foi exposto na secção anterior, a interacção gestual, principalmente com grandes superfícies, não foi ainda caracterizada em detalhe suficiente. Como tal, o objectivo inicial desta tese é contribuir para essa caracterização. Para isso, a primeira fase do trabalho irá focar-se no estudo da forma como um utilizador individual interage, utilizando gestos, com uma superfície de grandes dimensões. Vários estudos serão conduzidos com vista a atingir dois objectivos: primeiro, permitir uma caracterização da interacção sem restrições com superfícies tácteis de grandes dimensões durante a realização de tarefas típicas para cenários que envolvam essas superfícies; segundo, validar os resultados da caracterização realizada, através da implementação de um protótipo que incorpore o conhecimento adquirido.
4
O segundo objectivo desta tese é explorar as possibilidades de cooperação abertas com a disponibilização de múltiplas superfícies que suportem interacção gestual, partindo da base obtida com o estudo de utilizadores individuais. Este objectivo irá ser abordado da mesma forma que o primeiro. Numa primeira fase, um estudo irá contribuir para compreender como é que os utilizadores abordam a interacção num cenário cooperativo que disponibilize superfícies tácteis. Esse estudo deverá tentar identificar não só que tipos de gestos são utilizados, mas também em que actividades os gestos são mais úteis. Numa segunda fase, as técnicas de interacção apreendidas na primeira fase, serão validadas através da construção de um protótipo, que permita a colaboração entre utilizadores em superfícies diferentes.
1.3 Metodologia e Plano de Trabalho
Numa fase inicial, o trabalho focou-se na interacção gestual com uma superfície. Foram conduzidos vários estudos com o objectivo de definir um conjunto de gestos que pudessem ser utilizados nos cenários mais comuns de interacção individual com uma superfície. Um dos objectivos foi a definição de um conjunto de técnicas de interacção, baseadas em gestos, que permitissem a resolução de alguns dos problemas existentes com a adopção do paradigma WIMP (Windows, Ícon, Menu, Pointing Device) em ecrãs de grande dimensão. Posteriormente, foram conduzidos vários estudos que exploravam as possibilidades de cooperação abertas com a disponibilização de múltiplas superfícies com possibilidade de interacção gestual.
Para atingir os objectivos propostos, planeou-se a utilização de uma metodologia iterativa, com duas fases. Numa primeira fase foca-se a interacção gestual com uma única superfície e um único utilizador, e numa segunda fase exploram-se as possibilidades de cooperação abertas com múltiplas superfícies e múltiplos utilizadores. Cada uma das fases está dividida em três sub-fases: pesquisa e investigação de material já existente, realização de um estudo sobre interacção gestual e desenvolvimento e integração dos resultados num protótipo.
A calendarização das principais tarefas executadas no decorrer do projecto é apresentada na figura 1.
5
ID Tarefa Início Fim Duração
2008 2009
Set Out Nov Dez Jan Fev Mar Abr Mai
2 Pesquisa e investigação de 01-09-2008 20-10-2008 7,2w
interacção gestual na literatura.
3 06-10-2008 15-01-2009 14,8w
Realização de um conjunto de estudos focando a interacção gestual com uma superfície.
6w 14-11-2008 06-10-2008
Escrita do relatório preliminar.
4 03-11-2008 17-12-2008 6,6w
Desenvolvimento de um protótipo simples para interacção gestual com uma superfície.
6 02-01-2009 27-02-2009 8,2w
Pesquisa e investigação sobre interacção gestual em cenários cooperativos.
7 02-02-2009 12-06-2009 19w
Realização de um conjunto de estudos focando a interacção gestual em cenários cooperativos.
12,6w 27-05-2009 02-03-2009
Integração dos desenvolvimentos anteriores num protótipo.
10 Escrita do relatório final. 20-05-2009 02-07-2009 6,4w
Jun 9 8 23,2w 12-06-2009 02-01-2009
2ª Iteração: Interacção Gestual em Cenários Cooperativos.
1 1ª Iteração: Interacção gestual 01-09-2008 15-01-2009 19,8w
com uma superfície.
5
6
1.4 Síntese dos Resultados e Contribuições
Deste trabalho resultaram as seguintes contribuições:
I. Definição de um mapeamento de acções/gestos, para serem utilizados nos cenários mais comuns de interacção individual com uma superfície táctil, no contexto de interacção com um ecrã de grandes dimensões.
II. Protótipo de uma aplicação de interacção gestual, que implementa várias técnicas de interacção com ecrãs de grande dimensão.
III. Definição de um mapeamento de acções/gestos, que possibilite a cooperação entre utilizadores em várias superfícies tácteis e não tácteis. IV. Protótipo de uma aplicação de quadro branco interactivo cooperativo, com
base no mapeamento acções/gestos anterior.
Durante este trabalho foram realizadas algumas contribuições para a comunidade científica na forma de artigos científicos em conferências internacionais sobre interacção Pessoa-Máquina e sistemas colaborativos. A lista de publicações de artigos científicos realizadas durante este trabalho apresenta-se de seguida:
António Neto, Carlos Duarte. “A Study on the Use of Gestures for Large Displays”, nas actas da conferência ICEIS 2009 (International Conference on Enterprise Information Systems), Milão, Itália, 6 a 10 de Maio de 2009. António Neto, Carlos Duarte. “Comparing Gestures and Traditional
Interaction Modalities on Large Displays”, nas actas da conferência INTERACT 2009 (IFIP TC13 Conference in Human-Computer Interaction), Uppsala, Suécia, 24 a 28 de Agosto de 2009.
Carlos Duarte, António Neto. “Gesture Interaction in Cooperation Scenarios”, nas actas da conferência CWRIG 2009 (Collaboration Research International Workshop on Groupware), Peso da Régua, Portugal, 13 a 17 de Setembro de 2009.
7
1.5 Organização do documento
Este documento está organizado da seguinte forma:
Capítulo 1 – Introdução
Neste capítulo é apresentado um enquadramento à interacção por toque e interacção gestual. São apresentadas a motivação e objectivos do trabalho. Posteriormente é descrita a metodologia e o plano de trabalho, assim como uma síntese dos resultados alcançados e respectivas contribuições.
Capítulo 2 – Estado da Arte
Neste capítulo é realizada uma contextualização do trabalho, nomeadamente aos conceitos mais importantes. De seguida é apresentado o trabalho relacionado, resumindo a pesquisa e investigação efectuada sobre os ecrãs de grande dimensão e interacção gestual.
Capítulo 3 – Interacção Gestual com Uma Superfície
Neste capítulo são apresentados os três estudos realizados sobre interacção gestual numa superfície, focando a utilização de gestos em ecrãs de grande dimensão, as técnicas de interacção em ecrãs de grande dimensão e a comparação de modalidades de interacção.
Capítulo 4 – Interacção Gestual em Cenários Cooperativos
Neste capítulo são apresentados os dois estudos realizados sobre interacção gestual em cenários cooperativos, nomeadamente a coolaboração recorrendo a gestos e a cooperação entre utilizadores em várias superficies.
Capítulo 5 – Conclusões
Por último, neste capítulo são apresentadas as conclusões do trabalho e as perspectivas de trabalho futuro.
9
Capítulo 2
Estado da Arte
Este capítulo apresenta uma contextualização do tema e dos conceitos em que se baseia este trabalho e um resumo da pesquisa e investigação efectuada na literatura existente, quer sobre interacção com superfícies de grandes dimensões, quer sobre interacção gestual.
2.1 Contexto e Conceitos
A interacção gestual proporciona aos seus utilizadores uma experiencia natural e intuitiva de interacção com sistemas computacionais, em domínios aplicacionais muito vastos. Este trabalho foca-se em particular na interacção gestual com grandes superfícies, procurando contribuir para melhorar a usabilidade onde os paradigmas tradicionais falham, nomeadamente em cenários e aplicações colaborativas. De seguida apresentam-se com maior detalhe alguns dos conceitos em que se baseia este trabalho:
2.1.1 Quadro Interactivo – SmartBoard
Um SmartBoard1 (Figura 2) é um quadro interactivo de grande dimensão, ou seja, é
uma superfície que pode reconhecer a escrita electronicamente e que necessita de um computador para funcionar. Alguns quadros interactivos permitem também a interacção com uma imagem de computador projectada e são geralmente utilizados em escritórios e salas de aula.
1http://www2.smarttech.com/st/en-US/Products/SMART+Boards Figura 2: SmartBoard
10
Os quadros electrónicos são usados para capturar apontamentos escritos na sua superfície, utilizando canetas próprias para tal, e também para controlar (seleccionar e arrastar) ou anotar uma imagem gerada por computador e projectada no quadro, vinda de um projector digital.
O SmartBoard liga-se ao computador por USB, porta série ou Bluetooth. Um projector digital é ligado ao computador e focado sobre a superfície do quadro para projectar uma imagem do computador. Na maior parte dos casos é necessário indicar ao quadro onde é que a imagem projectada está localizada, bastando para isso tocar numa ou mais localizações da superfície do quadro com a caneta digital. Este processo é denominado alinhamento ou calibração.
O quadro interactivo SmartBoard é um quadro interactivo que permite o toque directo do dedo na superfície. O nosso dedo funciona como o tradicional rato do computador, não sendo necessária qualquer caneta ou dispositivo para interagir com o quadro.
Os quadros interactivos estão disponíveis em duas formas: Projecção Frontal ou Projecção Traseira. Os quadros interactivos com Projecção Frontal têm o videoprojector à frente do quadro. A sua principal desvantagem é o facto de que quem está a apresentar ficar em frente ao quadro, o que origina uma sombra na imagem. Existem diversas formas de atenuar este problema, como, por exemplo, a possibilidade de subir ou descer a posição do quadro, adaptando-o ao tamanho do utilizador. Os quadros interactivos com Projecção Traseira têm o videoprojector localizado atrás, para que não surja nenhuma sombra sobre o ecrã. Têm também a vantagem de o apresentador não ter de olhar para a luz do videoprojector enquanto está a comunicar com a audiência. As desvantagens destes sistemas são o facto de serem geralmente mais caros que os de projecção frontal, e estes quadros serem geralmente maiores, não podendo ser afixados na parede.
Os quadros interactivos são usados em muitas escolas como substitutos dos quadros tradicionais, proporcionando aos alunos meios de visualizar material em suporte computacional (software educativo, sites, etc.). Para além disso, os quadros interactivos dão aos professores a oportunidade de guardar material didáctico criado por eles e de mais tarde mostrá-los à turma, podendo assim vir a ser utilizados pelos alunos. Isto pode tornar-se bastante benéfico para alunos repetentes que precisam de rever a matéria dada, para alunos que por motivos de saúde não puderam assistir às aulas, para alunos estudiosos e para a preparação para testes e exames. Os quadros interactivos utilizados no escritório contribuem para uma melhor utilização de aplicações interactivas, como o Microsoft PowerPoint, software CAD, etc.
11
2.1.2 Ecrã táctil – TouchScreen
É um tipo de ecrã sensível à pressão, evitando assim a necessidade de outro periférico de entrada de dados, como o teclado.
A película táctil destes ecrãs pode ser activada com a pressão de um dedo ou de uma caneta. Este tipo de ecrã é ideal para jogos, para desenho no computador, ou outras actividades pedagógicas. São especialmente utilizados em PDAs e em caixas automáticas multibanco. Mais recentemente a sua utilização está a ser expandida a telemóveis e outros dispositivos móveis.
Um ecrã multi-táctil ou multi-toque é uma tecnologia de interacção pessoa-máquina que consiste num ecrã táctil capaz de reconhecer múltiplos pontos de contacto, que são simultaneamente interpretados pelo sistema, possibilitando a vários utilizadores interagirem com o mesmo computador. Outra possibilidade é permitir gestos e interacção através de vários dedos de uma ou mais mãos, aumentando a qualidade da utilização do ecrã, e contribuindo para a manipulação directa através de gestos intuitivos. Dependendo do tamanho do ecrã, alguns dispositivos suportam mais de um utilizador no sistema simultaneamente. A técnica está presente desde 1982 com o trabalho pioneiro da Universidade de Toronto (Mehta 1982) e Bell Labs (Nakatani e Rohrlich 1983), mas só recentemente, em 2007, se tornou acessível em massa, em produtos como Microsoft Surface (Figura 3) e Apple iPhone (Figura 4).
12
2.1.3 Reconhecimento Gestual
Reconhecimento gestual é uma área da informática que se preocupa em desenvolver algoritmos capazes de interpretar gestos. Os gestos podem ser realizados através de qualquer movimento ou estado corporal, mas geralmente são originados na mão.
As abordagens mais clássicas, realizam o reconhecimento de gestos através de entradas não-perceptuais, ou seja, através de dispositivos ou objectos que necessitam de contacto físico. Alguns exemplos deste tipo de abordagens são o rato, caneta, o toque, ecrãs com sensores de pressão, periféricos com sensores electrónicos (vestuário, luvas, objectos com sensores embebidos e interfaces tangíveis), e entrada de som.
Uma das abordagens mais comuns é a entrada de dados baseada em toque, que é similar ao gesticular directamente com dispositivos de entrada. Um dos seus benefícios chave é permitir um estilo de interacção mais natural que os dispositivos intermediários, como o rato, requerem (Gutwin e Penner 2002) (Zeleznik e Forsberg 1999). Os sensores de toque, em particular, têm sido amplamente discutidos na literatura, como entrada de gestos para dispositivos móveis (Brewster, et al. 2003)(Schmandt, et al. 2002) para Tablet PC’s (Jin, et al. 2004)(Ou, et al. 2003), e para interacções gestuais em mesas e superfícies (Rekimoto 2002) (Wu e Balakrishnan 2003) (Rekimoto, Ishizawa, et al. 2003)(Schiphorst, Lovell e Jaffe 2002)
Existem também muitas abordagens recentes (Ullmer e Ishii 1997) (Matsushita e Rekimoto 1997) (Klemmer, et al. 2001) (Wilson 2004) que tentam fazer reconhecimento gestual através da utilização de câmaras e algoritmos de visão computacional para interpretar a linguagem de sinais.
O reconhecimento gestual pode ser visto como uma forma de os computadores começarem a perceber a linguagem corporal humana, e assim, construir uma relação mais rica entre máquinas e humanos do que as interfaces primitivas de texto, ou até que as mais recentes GUI (Graphical User Interfaces), que continuam a limitar a maioria da entrada de dados ao teclado e rato.
O reconhecimento gestual permite ao homem interagir naturalmente, sem qualquer dispositivo mecânico, com a máquina, e assim, potencialmente, converter os tradicionais periféricos de entrada como o rato e o teclado em periféricos obsoletos.
13
2.1.4 Paradigma WIMP
No âmbito da interacção Pessoa-Máquina, WIMP significa Windows (janela),
Icon, Menu, Ponting device (dispositivo apontador) e é o paradigma de interacção
clássico que utilizamos hoje em dia para interagir com os computadores. Foi concebido por Merzouga Wilberts em 1980 (van Dam 1997).
Este estilo de interacção utiliza um dispositivo físico de entrada para controlar a posição do cursor e apresenta informação organizada em janelas e representada por ícones. Os comandos disponíveis são organizados em conjuntos de menus, sendo disparados através do dispositivo apontador, o que reduz a carga cognitiva necessária para lembrar os comandos disponíveis, reduzindo o tempo de aprendizagem. Outros benefícios deste estilo de interacção incluem a sua facilidade de utilização quer para pessoas sem conhecimentos técnicos, quer para novatos, quer para utilizadores com mais experiência.
Interfaces baseadas no estilo WIMP são muito boas a abstrair espaços de trabalho, documentos e as suas acções. As várias analogias desenvolvidas dentro deste paradigma, como a de representar documentos como folhas de papel ou pastas do mundo real, fazem com que as interfaces WIMP sejam fáceis de introduzir para utilizadores novatos. Além disso, as representações básicas, como regiões rectangulares num ecrã plano 2D, fazem das interfaces WIMP uma boa opção para os programadores de ambientes de trabalho multitarefa. Isto explica porque este paradigma se tornou prevalente durante mais de 25 anos, apesar de alguns investigadores HCI considerarem a corrente falta de inovação na procura de novos modelos de interacção um sinal de estagnação no design de interfaces com o utilizador (van Dam 1997).
O paradigma WIMP apresenta alguns problemas em sistemas com ecrãs de dimensão fora do tamanho standard para que foi criado, ou em sistemas sem os periféricos base do paradigma: teclado e rato. Alguns dos problemas referenciados na literatura são: perder o cursor (rastrear visualmente o cursor em ecrãs de grande dimensão torna-se uma tarefa mais difícil), distorções visuais (devido às resoluções superiores), alvos inatingíveis (devido à dimensão elevada), e gestão de tarefas ineficiente (pois existe uma falta de mecanismos eficazes para gerir tarefas em ecrãs de grande dimensão, sendo que o sistema utilizado no paradigma WIMP, as janelas, não demonstra a mesma produtividade) (Robertson, Czerwinski, et al. 2005).
14
2.2 Interacção com Ecrãs de Grande Dimensão
Sempre existiu um grande desejo por sistemas com ecrãs de grande dimensão. Um exemplo dos cenários onde faz todo o sentido a sua utilização é o visionamento público de conteúdo multimédia, uma vez que abrangem um maior ângulo visual de informação. À medida que os ecrãs se foram tornando maiores, também a sua resolução foi aumentando, para maximizar o leque de informação visual disponível. Com uma maior capacidade de visualizar informação, os ecrãs de grande dimensão tornaram-se atractivos para numerosas aplicações, tais como visualização de informação, análise visual e aplicações colaborativas.
É reconhecido que os ecrãs de grande dimensão provocam um novo conjunto de desafios aos profissionais e investigadores de Interacção Pessoa-Máquina (Robertson, Czerwinski, et al. 2005) que vão desde os princípios básicos de selecção e manipulação de objectos, até ao mais alto nível como manipulação de janelas e gestão de tarefas.
As tradicionais metáforas que encontramos na GUI (Graphical User Interface) do WIMP como janelas, ícones, menus e apontadores, nem sempre escalam bem para ecrãs de grande dimensão (Ni, et al. 2006). Para perceber melhor quais os factores que provocam que as técnicas de interacção clássicas falhem na transição para ecrãs de grande dimensão, identificam-se cinco grandes tópicos de usabilidade, nomeadamente: Rastreamento do Cursor, Selecção de Objectos, Gestão de Tarefas, Componentes de Controlo e Ecrãs Tácteis. Nas próximas secções apresentamos uma descrição de cada um destes tópicos, assim como um conjunto de técnicas de interacção que visam minimizar as respectivas falhas apresentadas.
2.2.1 Rastreamento do Cursor
Rastrear visualmente o cursor em ecrãs de grande dimensão torna-se uma tarefa mais difícil (Ni, et al. 2006) (Robertson, Czerwinski, et al. 2005). O cursor é um elemento de interface standard para apontar, seleccionar e manipular e assim sendo, é crucial manter a percepção visual de onde o cursor está localizado, para que outras interacções sejam bem sucedidas.
Com o aumento do tamanho do ecrã, os utilizadores tendem a empregar acelerações maiores, para atravessar o ecrã de grande dimensão com uma velocidade razoável. No entanto quanto maior for a velocidade de movimento, maiores são as hipóteses do utilizador perder o rasto visual do cursor. Nestas situações, o utilizador tem de gastar algum tempo a detectar e a readquirir a posição do cursor. Por vezes o cursor salta visualmente de uma posição para outra, a que se dá o nome de “temporal aliasing” (Dachille e Kaufman 2000). A principal causa deste fenómeno é a representação visual do cursor ser actualizada com a taxa de refrescamento do ecrã. Quando o cursor está em
15
movimento a alta velocidade, a baixa taxa de refrescamento do ecrã provoca lacunas visuais no caminho, que vão ficando cada vez maiores.
Estes problemas limitam a velocidade e a confiança nas operações do rato, uma vez que é difícil ao utilizador rastrear visualmente a posição do cursor, assim como prever a sua trajectória e detectar a sua aproximação ao alvo desejado. Tem sido demonstrado que perder o cursor, enquanto se interage com um ecrã de grande dimensão, é um efeito irritante que reduz a eficiência das tarefas e a satisfação dos utilizadores (Baudisch, 2003b). As estratégias para resolver estes problemas têm sido focadas principalmente em dois campos: melhorar a detecção da posição do cursor e aumentar a previsibilidade da sua trajectória. De seguida descrevem-se duas técnicas de interacção, uma para cada tipo de estratégia: “Spotlight” (Khan, Matejka, et al. 2005), que melhora a detecção da posição do cursor, e “High-Density Cursor” (Baudisch, 2003a), que aumenta a previsibilidade da sua trajectória.
Muitas das aplicações para ecrãs de grande dimensão envolvem a apresentação de dados e resultados, a uma audiência. Numa situação dessas, o apresentador frequentemente deseja chamar a atenção da audiência para uma área específica do ecrã. Para esse fim é comum utilizar o cursor, pelo que a sua posição deve ser facilmente detectada. No entanto, num ecrã de grande dimensão o tamanho do cursor é muito pequeno, relativamente ao tamanho do ecrã, o que faz com que a audiência perca facilmente o rasto da posição do cursor.
Khan et al apresentam a técnica “Spotlight” (Figura 5) para focar a atenção da audiência numa parte do ecrã de grande dimensão (Khan, Matejka, et al. 2005). Baseia-se na metáfora dos holofotes (spotlights) que são utilizados nas produções teatrais.
Figura 5: Os três componentes do Spotlight: a região exterior escurecida, a região interior transparente e um cursor. (Khan A. M., 2005)
16
Quando a técnica “Spotlight” estiver em utilização, o ecrã vai ser escurecido com a excepção da região do “Spotlight”. A posição do cursor é representada pela seta apresentada na maior parte das interfaces gráficas de utilizador. A região interior é um círculo totalmente transparente à volta da posição do cursor. A região exterior tem a sua luminosidade reduzida em cerca de 75%, o que chama a atenção da audiência para a área iluminada.
O rasto do cursor presente no sistema operativo “Microsoft Windows” aumenta a visibilidade do caminho do cursor. Este efeito é atingido deixando a imagem do cursor no ecrã por dois ou mais frames, o que produz o aparente efeito de uma cauda ou pegadas a seguir o cursor. O problema com esta técnica é que dá a indesejável percepção ao utilizador que o cursor não pára, mesmo quando o utilizador pára o movimento, uma vez que as imagens da cauda continuam a mover-se, o que provoca um problema de velocidade de resposta do sistema.
O “High-density cursor”, apresentado por Baudisch et al (Baudisch, 2003a), aumenta a continuidade visual entre as imagens do cursor. O rasto do “High-density cursor” ajuda os utilizadores a detectarem a posição e extrapolarem o caminho com menos esforço. Esta técnica também oferece um escalamento opcional do cursor, baseado na sua velocidade. Ao contrário do “Windows mouse trail”, o “High-density Cursor” evita os problemas de velocidade de resposta do sistema, ao criar um novo conjunto de imagens para cada frame. Uma comparação das duas técnicas é mostrada na Figura 6.
Figura 6: Três capturas de ecrã consecutivas de um movimento do rato, com o "Windows Mouse Trail" (a-c) e com o "High-density Cursor"(x-z)
17
2.2.2 Selecção de Objectos
Ao aumentar o tamanho do ecrã, aceder a ícones, janelas e outros objectos torna-se uma tarefa mais difícil e mais demorada, uma vez que os objectos estão frequentemente mais longínquos (Bezerianos e Balakrishnan 2005)(Ni, et al. 2006) (Robertson, Czerwinski, et al. 2005). Devido a este facto, se nos limitarmos às técnicas de interacção tradicionais, é necessário arrastar o cursor transversalmente ao longo de grandes distâncias, para atingir o alvo pretendido.
Para ecrãs de grande dimensão, com capacidade tácteis ou baseados em interacções de canetas, é mais difícil aceder a informação fora do alcance do braço e é ainda mais complicado quando um utilizador tem de aceder a múltiplos objectos, dispersos ao longo do ecrã de grande dimensão.
Muitos investigadores têm tentado, simplesmente, estender ou modificar certos aspectos das interfaces WIMP, para as tornarem mais usáveis em ecrãs de grande dimensão. A maioria dos investigadores utiliza a lei de Fitt (Fitts 1954)(Mackenzie 1992) como base para as várias hipóteses. Outros procuram extensões criativas que empreguem interfaces com metáforas 2D e existem outros que “apenas” criam interfaces inovadoras. Normalmente, no que diz respeito à selecção de objectos, existem três problemas na interacção com ecrãs de grande dimensão que os investigadores pretendem resolver: selecção rápida do objecto, múltipla selecção e manipulação do objecto.
Matematicamente, a lei de Fitt tem sido formulada de várias formas diferentes. Uma forma comum é a formulação de Shannon (proposta por Scott MacKenzie e chamada assim por sua semelhança com o teorema de Shannon) para movimento sobre uma única dimensão (Mackenzie 1992):
Na fórmula anterior T é o tempo médio necessário para completar o movimento, a e b são constantes determinadas empiricamente, D é a distância desde o ponto inicial até ao centro do objectivo e W é a largura do objectivo.
A partir da equação, temos um compromisso velocidade-precisão relacionado com o acto de apontar, onde os objectivos que são menores ou estão mais distantes necessitam de mais tempo para ser alcançados. Os investigadores podem então manipular os parâmetros deste modelo, para minimizar o tempo de movimento do ponteiro. Uma forma de o conseguir é aumentar a largura do alvo e estudar os seus
18
efeitos. McGuffin confirma que o aumento dinâmico dos alvos tem resultados de acordo com a lei de Fitt, e também que os resultados positivos da expansão do alvo continuam a verificar-se se o aumento tiver lugar só nos últimos dez por cento do movimento do cursor (Mcguffin e Balakrishnan 2005).
Guiard et al. (2004) apresentam o “Object Poiting”. O problema base que esta técnica de interacção visa resolver é o facto de os cursores só apontarem para um pixel de cada vez, em vez de apontarem para um objecto clicável de cada vez. O “Object Pointing” introduz o conceito de cursor com fobia ao vazio, ou seja, que não viaja entre quaisquer espaços entre objectos seleccionáveis, mas em vez disso, viaja continuamente dentro do espaço de um objecto, até ser alcançado um ponto de fronteira e aí determina qual o objecto para que deve saltar, pela trajectória actual. Após efectuarem um conjunto de experiencias no espaço 1D e 2D, os resultados demonstram que o “Object Pointing” facilita a tarefa de selecção de objectos face ao cursor tradicional, quando se trata de uma tarefa de apontar de grau de dificuldade elevado.
Como alternativa, Grossman apresenta o “Bubble Cursor” (Grossman e Balakrishnan, 2005), um cursor de movimento contínuo, que tenta optimizar a lei de Fitt para grandes distâncias em ecrãs de grande dimensão. Esta técnica é bastante parecida com o “Object Pointing”, pois existe sempre um objecto seleccionado. O “Bubble Cursor” (Figura 7) simplesmente aumenta a área de selecção à volta da posição actual do cursor, de forma a ser suficientemente grande para existir sempre exactamente um objecto seleccionado.
Figura 7: "Bubble Cursor" (a) Um cursor de área facilita a selecção em relação a um cursor de ponto. (b) Isolar o alvo pretendido é difícil quando o cursor de área engloba vários alvos possíveis. (c) O “Bubble Cursor” resolve o problema ao mudar de tamanho dinamicamente, para que só o alvo mais próximo do centro do cursor seja seleccionado. (d) O cursor de área muda de forma para abranger o alvo, quando o cursor circular não o consegue sem intersectar um vizinho (Grossman e Balakrishnan, 2005).
19
Existem ainda outros investigadores que tentam diminuir a distância ao alvo de forma a optimizar o índice de dificuldade na lei de Fitt. Baudisch et al. (2003b) desenvolveram as técnicas “drag-and-pop/pick” de forma a trazer dinamicamente cópias dos alvos para perto do cursor. Guiard (2004) utiliza o mesmo conceito mas de forma diferente, ao utilizar um cursor “tímido”, que não passa pelo espaço do desktop que não esteja ocupado por um alvo.
Estas técnicas têm bastante potencial de usabilidade, quer para sistemas com multi-ecrãs e que suportem interacções baseadas em caneta, quer para os sistemas mais tradicionais.
A técnica drag-and-pop (figura 8) interpreta a direcção inicial do movimento do rato, enquanto se está a arrastar um objecto, e traz para próximo do cursor, uma cópia de todos os possíveis objectos destino nessa direcção. Para facilitar a associação entre as cópias e os objectos reais que eles representam, é desenhada uma linha que liga os dois. A técnica drag-and-pick é semelhante, excepto que permite escolher o objecto em vez de o arrastar. Estas técnicas exigem ao sistema que crie e exiba cópias dos itens no desktop, para cada objecto em questão, tornando a sua execução complexa. Mas, no final, estas técnicas proporcionam benefícios significativos na selecção de objectos em ecrãs de grande dimensão.
Figura 8: "Drag-and-pop", o utilizador arrastar o ficheiro "homepage", localizado à direita, para a reciclagem (Baudisch, 2003b)
20
Existem alguns estudos (Bezerianos e Balakrishnan 2005) que argumentam que existem grandes lacunas nas técnicas “Drag-and-pop/pick”, nomeadamente o facto da identificação dos possíveis objectos destinos depender totalmente da exactidão do movimento inicial feito pelo utilizador, o que torna fácil este acidentalmente enganar-se a escolher a direcção e criar cópias dos objectos destinos que não são os pretendidos. Além disso, o número e o tamanho das cópias são fixos, o que torna difícil a um utilizador obter bons resultados em espaços dispersos ou densos, pois torna o espaço à volta do cursor bastante confuso e desordenado.
Bezerianos e Balakrishnan (2005) apresentam e discutem uma técnica para ecrãs de grande dimensão a que chamam “Vacuum”, que estende a ideia básica das técnicas “Drag-and-pop/pick”. Em primeiro lugar, identificam os princípios base que a concepção e design da técnica deve seguir: minimizar o movimento físico, ser previsível, coerente, transparente e flexível. O “Vacuum” é muito semelhante à técnica “Drag-and-pop/pick” no que diz respeito à criação de cópias, mas implementa algumas extensões, que tentam colmatar as lacunas previamente mencionadas. O “Vacuum” redimensiona o tamanho das cópias e as suas posições para que o espaço à volta do cursor seja menos confuso e as sobreposições sejam mínimas. É importante observar, que apesar de serem mínimas, as alterações propostas por esta técnica, em relação às já existentes “Drag-and-pop/pick”, representam melhorias significativas na sua usabilidade.
Existem outros métodos de selecção de objectos mais criativos que utilizam dispositivos apontadores, sem serem os tradicionais rato e caneta, nomeadamente periféricos de entrada como lasers apontadores, monitorização do olho e monitorização da mão. É interessante verificar que a maior diferença entre o rato e estes métodos de interacção, é que estes outros métodos permitem o chamado acesso aleatório a todas as áreas do ecrã, enquanto que com um rato e outras técnicas de posicionamento relativo, o utilizador está restringido pela posição actual do ponteiro no ecrã.
O “VisionWand” (Cao e Balakrishnan 2003) é uma técnica de interacção que utiliza a monitorização de uma varinha num espaço 3D. Esta é uma solução de baixo custo em relação a outros periféricos de monitorização, uma vez que utiliza visão computacional, através de duas câmaras de filmar normais, que proporcionam cinco graus de monitorização de movimento.
O “VisionWand” (Figura 9) é um simples periférico que simplifica o reconhecimento de gestos, pois devido à sua forma de varinha, que não se altera, é mais fácil processar e reconhecer os seus movimentos. Para seleccionar um objecto com o “VisionWand”, o utilizador simplesmente aponta o objecto com a varinha e faz um
21
gesto de pressionar, como se estivesse a fazer um truque de magia. No entanto, como todos os mecanismos e reconhecimentos gestuais está sujeito ao erro.
Embora exista um elevado número de trabalhos que visam melhorar a selecção de um único objecto em ecrãs de grande dimensão, muitos investigadores negligenciam a resolução do problema da múltipla selecção de objectos. Uma vez que a maioria das técnicas são projectadas para uma selecção rápida, uma correcção célere e fácil seria adicionar um modo para fazer múltiplas selecções, o que, no entanto, muitas vezes é deixado para trabalho futuro.
Além do problema da múltipla selecção, continua a existir o problema do que fazer com os objectos depois de eles terem sido seleccionados. A área da manipulação de objectos em ecrãs de grande dimensão não tem sido o foco de muita investigação.
As técnicas “Drag-and-pop” (Baudisch, 2003b) e “Vacuum” (Bezerianos e Balakrishnan 2005) focam um pouco a manipulação de objectos, ao permitir que os utilizadores arrastem alguns itens para cima de outros itens. No entanto, estas técnicas não permitem a colocação arbitrária de itens.
Para resolver a questão da manipulação, Khan et al (2004) criaram uma interface de um controlo remoto a que chamaram “Frisbee”. O “Frisbee” é composto por dois “widgets”: o telescópio e o alvo. O telescópio é um “widget” com que o utilizador interage, sendo meramente um portal para outra zona do ecrã, onde está o “widget” do alvo. O “widget” do alvo é simplesmente feedback visual que permite aos utilizadores poderem ver o que está remotamente a acontecer nesse espaço. O ponto mais importante do “Frisbee” é ele permitir que os utilizadores manipulem áreas remotas do ecrã. Ele funciona como se existisse uma espécie de portal ou hiperligação entre duas áreas do ecrã. A grande desvantagem desta técnica é a sua falta de velocidade, uma vez que o método para se mover os “widgets” telescópio e destino, é bastante primitivo e lento, ou seja, apesar da técnica permitir manipulação mais rápida de objectos distantes, o tempo necessário para configurar os dois “widgets” é bastante significativo.
22
2.2.3 Gestão de Tarefas
Existe uma falta de mecanismos eficazes para gerir tarefas em ecrãs de grande dimensão. De facto, a gestão de tarefas tem sido um tema estimulante de investigação na comunidade HCI ao longo de muitos anos e até nos sistemas operativos modernos como “Windows” ou “Mac OS X”, a gestão de tarefas continua a não ser bem suportada.
Uma gestão eficaz de tarefas deverá suportar meios convenientes para permitir aos utilizadores agrupar conjuntos de janelas, escolher a disposição de janelas dentro dos grupos, e a disposição dos grupos no ecrã e alternar entre grupos e janelas (Robertson, Czerwinski, et al. 2005).
Os sistemas actuais de gestão de janelas (e.g. Apple Expos e Windows Taskbar) são orientados às aplicações, em vez de orientados às tarefas. Os utilizadores conseguem, no entanto, gerir com facilidade várias tarefas no tradicional monitor de desktop, uma vez que por norma não abrem muitas janelas ao mesmo tempo. Em contraste, nos ecrãs de grande dimensão, a multi-tarefa é mais comum (Czerwinski, et al. 2003), sendo assim crítico um sistema de gestão de tarefas que seja produtivo e proporcione uma experiencia de utilização agradável.
A utilização de múltiplas janelas em ecrãs de grande dimensão é um grande desafio a enfrentar. Tomemos o exemplo da tarefa maximizar: num ecrã desktop normal é simples, mas se tivermos um ecrã de grande dimensão deve o sistema aumentar o tamanho da janela para cobrir a totalidade do ecrã ou somente parte dele? Uma técnica de interacção que apresenta uma possível solução é o “WinCuts”(Tan, et al. 2004), onde o sistema permite aos utilizadores definirem as regiões dos ecrãs como espaços de trabalho separados. Isto proporciona-lhes a liberdade de definirem a divisão de tarefas que na sua lógica estão relacionadas, melhorando a eficiência da gestão de tarefas.
A “Scalable Fabric” (Robertson, Horvitz, et al. 2004)(Figura 10) é outra técnica planeada para lidar com múltiplas janelas, permitindo ao utilizador especificar uma área de foco no ecrã, definindo marcadores de fronteiras. A qualquer altura, o utilizador pode manipular os marcadores e redimensionar a área de foco. Enquanto estiver a trabalhar dentro da área de foco, todas as janelas e funcionalidades são idênticas ao desktop
standard, mas as janelas posicionadas ou movidas para fora da área de foco são
redimensionadas dinamicamente, diminuindo quanto mais elas se afastam. Os objectos que se encontram fora da área de foco, se forem clicados, são automaticamente restaurados para a sua última posição na área de foco e, de uma forma semelhante, se um objecto for minimizado vai para a sua última posição periférica. As janelas na periferia podem ser agrupadas, permitindo ao utilizador uma organização lógica da informação.
23
A grande vantagem da técnica de interacção “Scalabe Fabric” é ela preservar as funcionalidades a que estamos habituados nos sistemas de desktop standards, enquanto o resto do ecrã de grande dimensão é utilizado para informação secundária.
Até agora, a maioria das técnicas de gestão de tarefas, em vez de adoptarem novas metáforas, optam por tentar adaptar os métodos tradicionais do desktop para os ecrãs de grande dimensão. No entanto, até estas técnicas de interacção estarem optimizadas para ecrãs de grande dimensão, o que só irá acontecer quando se utilizarem durante vários anos, irão continuar a surgir novas abordagens,
Depois de analisarmos as várias técnicas mencionadas nesta secção, podemos extrair alguns conceitos chave. A concepção de novas técnicas de gestão de tarefas para ecrãs de grande dimensão deve responder às seguintes perguntas: O espaço de trabalho é divisível? São necessárias múltiplas janelas? Os elementos das aplicações podem ser agrupados? O utilizador tem que estar permanentemente a utilizar a totalidade do ecrã (“fullscreen”)? Quanta informação pode ser exibida de cada vez? Respondendo a estas questões, define-se a maioria das funcionalidades necessárias para o desenvolvimento de qualquer técnica de gestão de tarefas, para ecrãs de grade dimensão
2.2.4 Componentes de Controlo
Os componentes de controlo que encontramos na interface de utilizador do desktop, já se tornaram standard. “Drop-down menus”, “radio buttons”, “tabs”, e “check boxes” são só alguns exemplos. Embora eles funcionem bem nas interfaces baseadas em rato e teclado, existem alguns problemas no contexto dos ecrãs de grande dimensão, especialmente quando os periféricos de entrada utilizados não são os tradicionais. Por exemplo, os “drop-down” menus, não são provavelmente adequados quando se interage utilizando uma varinha, uma vez que a varinha não oferece a mesma precisão que o rato.
24
Se um utilizador tiver que realizar uma quantidade significativa de esforço para seleccionar menus, mover objectos e realizar outras operações, irá perder muito tempo a fazer movimentos físicos, o que irá afectar drasticamente a eficiência da tarefa. Os ícones e barras de menus são muitos úteis nos sistemas desktop, porque foram optimizados para as resoluções standard, mas se os ícones e menus forem mapeados para ecrãs de resolução extremamente elevadas, tornam-se desajustados. Uma forma de contornar este problema é o uso de técnicas como a previamente mencionada
“Drag-and-Pop”. Este tipo de técnicas tenta reduzir a diferença entre o software para desktops
e a tecnologia de ecrãs de grande dimensão.
Na secção de selecção de objectos apresentou-se o “VisionWand” (Cao e Balakrishnan 2003). As suas funcionalidades são baseadas em gestos; no entanto, se a totalidade das funcionalidades forem baseadas em gestos, o sistema torna-se demasiado complicado, o que leva geralmente os designers a utilizarem outros controlos para funcionalidades secundárias. No caso do “VisionWand” é utilizada um menu em forma circular (Figura 11). Neste caso, o design do controlo está directamente relacionado com o periférico de interacção. Já no “Frisbee” (Khan, Fitzmaurice, et al. 2004), apresentado previamente na secção de selecção de objectos, é utilizado um widget que fornece funcionalidades e feedback visual.
Os componentes de controlo são importantes para a interacção com ecrãs de grande dimensão por várias razões. Primeiro, eles podem ser desenvolvidos para qualquer novo tipo de dispositivo de interacção, criado especificamente para ecrãs de grande dimensão. Eles podem também ser concebidos para melhorar a visualização de informação nestes ecrãs. Mas mais importante ainda, os componentes de controlo podem minimizar alguns dos problemas inerentes aos ecrãs de grande dimensão, podendo, por exemplo, ser utilizados para manter o controlo de funcionalidades do sistema perto de onde o utilizador está a trabalhar. Este tipo de solução irá ajudar a resolver o problema da distância dos controlos, nomeadamente dos tradicionais no desktop, como o menu
25
iniciar e os botões de manipulação de janelas, que por norma se encontram em sítios distantes e fixos.
Por fim, os controlos se forem bem concebidos, podem melhorar bastante a usabilidade e o desempenho das aplicações em ecrãs de grande dimensão, o que fará com que no futuro sejam utilizados fora do contexto de investigação.
2.2.5 Ecrãs Tácteis
Muitos investigadores têm trabalhado em ecrãs de grande dimensão com capacidades tácteis. Uma vantagem óbvia é facto de os utilizadores poderem trabalhar, nos ecrãs de grande dimensão, mais perto da superfície de interacção. No entanto, existem certos cenários onde a interacção à distância é a ideal, como organizar fotografias ou navegar em mapas de alta resolução, visto que frequentemente é necessária uma perspectiva geral do ecrã, e nesses casos as técnicas de interacção indirectas suportam melhor uma interacção à distância. Por outro lado, com ecrãs de grande dimensão sensíveis ao toque, emergem vários desafios de interacção. Com a actual interface de utilização e os actuais dispositivos de entrada, a transição entre a interacção à distância e a interacção a pouca distância, é pouco suportada. Também a selecção de objectos, como foi acima mencionado, é particularmente problemática em ecrãs tácteis de grande dimensão. Um exemplo óbvio de um problema ocorre quando é necessário seleccionar objectos que estejam posicionados para além do comprimento dos braços. Além destes problemas, os ecrãs tácteis de grande dimensão podem provocar fadiga, se forem utilizados por períodos extensos, uma vez que a maior parte das operações requerem uma quantidade significativa de esforço, nomeadamente das mãos, dos braços e até do movimento do corpo.
A capacidade de manipular dados directamente através do toque, sem o recurso a nenhum outro dispositivo intermediário, torna os ecrãs tácteis um dispositivo de entrada apelativo. A sua simplicidade de utilização torna-os especialmente adequados para utilizadores novatos. A rápida curva de aprendizagem e a inexistência de peças soltas, que podiam ser partidas ou perdidas, torna também os ecrãs tácteis a solução ideal para interfaces em sítios públicos.
Os pontos negativos desta tecnologia são a sua alta taxa de erros, a sua falta de precisão, e o cansaço do braço (Potter, Weldon e Shneiderman 1988). A maior parte dos dispositivos deste tipo, só permite o rastreamento de um ponto da superfície, o que limita esta técnica de interacção. Existem os dispositivos sensíveis a multi-toque, mas muitas vezes a tecnologia não está tão avançada. Os problemas com os ecrãs tácteis são mais evidentes quando, interagindo com interfaces de software desenvolvidas para uma utilização normal do rato, se torna difícil seleccionar alvos pequenos. As causas desse
26
problema incluem o ruído na entrada, a baixa resolução de rastreamento, e também o facto dos alvos pequenos poderem ser facilmente obstruídos pelos dedos, mãos e braços (Benko, Wilson e Baudisch 2006).
Alguns ecrãs tácteis fornecem informação da pressão exercida pelo utilizador, o que significa que eles podem reportar o nível de pressão aplicado a um ponto. Muitos outros dispositivos só conseguem detectar o contacto entre o dedo e a superfície, o que faz com só consigam reportar dois estados de interacção: toque ou não toque. Para melhores técnicas de interacção, Buxton (1985) demonstrou que era importante conseguir diferenciar no mínimo três estados: não toque, baixa pressão e alta pressão. Os estados de baixa e alta pressão são utilizados para diferenciar entre rastrear e clicar. Estados de pressão diferentes podem ser utilizados para associá-los a diferentes dedos (Benko, Wilson e Baudisch 2006).
Uma solução apresentada para o problema da obstrução é adicionar um “offset” ao cursor, de forma aos utilizadores conseguirem interagir com a superfície táctil, e terem “feedback” visual. Isto consegue-se alterando, ligeiramente, a relação directa entre a posição do contacto efectuado na superfície e a posição do cursor no ecrã. Um “offset” resolve o problema da oclusão, e oferece também uma forma mais confortável de apontar para áreas difíceis de alcançar do ecrã. Um exemplo é a técnica “Take-Off” (Potter, Weldon e Shneiderman 1988), que descreve um “offset” fixo, para que sempre que exista contacto com a superfície, um cursor com a forma “+”, apareça ligeiramente acima dos dedos, de forma à posição de selecção ser conhecida. Sempre que se quiser interagir com um objecto na superfície, bastará ter-se atenção à posição do cursor no ecrã, que apesar de diferente da posição do toque, está directamente relacionada, e adaptá-la até se atingir o alvo. O problema com este tipo de “offset” é que o utilizador tem que compensar constantemente a diferença entre o cursor e o dedo, até quando o alvo pode ser facilmente seleccionado directamente.
27
Benko (2006) descreve um conjunto de técnicas de interacção, “Dual Finger Selections” (Figura 12), que tentam resolver o problema da precisão, recorrendo a uma técnica de interacção que utiliza dois dedos, designados dedo primário e dedo secundário, sendo o dedo secundário utilizado para ajudar o dedo primário. Nesta técnica, o problema da oclusão é resolvido através de um “offset” temporário que é invocado pelo utilizador. O cursor com “offset” não está activo por omissão. No entanto, ao colocar o segundo dedo em qualquer parte da superfície, o cursor é posteriormente deslocado em relação ao dedo primário com o montante previamente fixado. O “offset” é sempre colocado acima do dedo primário. De forma a suportar utilizadores destros e canhotos, o cursor é colocado à esquerda ou à direita do dedo primário, baseado na posição relativa do dedo secundário. Por exemplo, ao colocar o dedo secundário à esquerda do dedo primário, o cursor aparece à esquerda e acima do dedo primário.
Quando o ecrã táctil é de grande dimensão, outra dificuldade é o facto de nem toda a superfície do ecrã estar ao alcance do braço do utilizador. Uma possível solução para este problema é o “Shadow Reaching” (Shoemaker, Tang e Booth 2007)(Figura 13), uma técnica de interacção que faz uso da perspectiva de projecção da representação da sombra de um utilizador. Esta técnica foi concebida para facilitar a manipulação a grandes distâncias e melhorar a compreensão de configurações colaborativas.
Figura 13: “Shadow Reaching”, um utilizador interage (esquerda) na proximidade com uma pequena parte do ecrã, e (direita) dá um passo atrás para interagir sobre distâncias maiores.
