Concepção na interacção Homem/Computador e Vis

Os esforços no desenvolvimento de novas abordagens e concepção de novas metáforas na interacção homem/computador, incluindo interfaces de utilizador em 3D (três dimensões) e na forma de mostrar dados e informação complexa. Os sistemas neste domínio procuram novas técnicas de navegação e usam grandes quantidades de informação. Há investigações que procuram a substituição dos tradicionais sistemas em 2D por ambientes em 3D para interagir com o computador. Outros trabalhos incidem na criação de estratégias para melhor aproveitamento de memória e minimizar o custo de acidentes. O AFS (Abstract Force Simulator) é um sistema de simulação genérico que permite experimentar através da interacção, técnicas de planeamento distribuído e sua relação com processos físicos (Física). O VID (Visual Interaction Dialog) diversos agentes manipulam a localização e direcção de câmaras usadas para avaliação e edição no planeamento em ambiente 3D. Ambos se relacionam, na medida em que o VID é um protótipo de interface 3D desenvolvido para o AFS.

No grupo de investigação da Microsoft [MS ASI 04] na área de sistemas de decisão mista, temos uma grande diversidade de sistemas correntemente em desenvolvimento. O Data Mountain [MSDM 04] com um interface em 3D que permite a gestão de documentos. O Scope [MSSCP 04] que permite organizar anotações, de forma simples e organizada de modo a reduzir distracções ao utilizador. O SIS (Stuff I’ve Seen) é o protótipo de uma ferramenta que facilita a procura de informação que tenhamos visto, quer tenha sido recebida por email, ficheiros anexados, ficheiros, páginas web, apontamentos, etc.

3.2.1 AFS

O AFS [PEGRAM 95] é uma ferramenta desenvolvida pelo laboratório de Paul Cohen na Universidade de Massachusetts em 1998. o AFS é um sistema de simulação geral que suporta a experimentação com técnicas de planeamento interactivas, distribuídas e a sua relação com processos físicos. O AFS fornece um domínio físico no qual agentes abstractos (aqui designados de “forças” ou “unidades de força”) possam interagir, baseados genericamente em física de Newton. Forças e objectos inanimados têm massa, tamanho e forma; podem ser sólidos ou permeáveis; movem-se com fricção variável numa superfície; podem aplicar força um sobre o outro, causando danos ou redução de massa. Na figura 3.2.1.1 mostra a interface em 2D existente para o AFS, enquanto que a figura 3.2.1.2 mostra a arquitectura do sistema e seus vários componentes.

Figura 3.2.1.1 Figura 3.2.1.2

No domínio de Captura de Bandeira (Capture the Flag – CTF), duas equipas de forças movem-se sobre o terreno, a sua viagem dificultada por montanhas, água e florestas. Cada equipa é responsável por defender um conjunto de bandeiras correspondentes e ganhará aquela que destruir os membros da equipa oposta ou capturar todas as bandeiras da equipa oposta. A figura 3.2.1.1 mostra esse cenário. Neste domínio as unidades de força baseiam-se num pequeno conjunto limitado de primitivas de acção física: podem mover de um local para outro e aplicar-força a outras forças e objectos como as bandeiras. Estas acções podem ser especializadas e combinadas de várias formas para formar um nível superior de estratégias, como bloquear passagem, rodear uma bandeira, atacar um oponente, entre outros. O Plano de execução é fornecido pelo HAC, o planeador hierárquico no centro do sistema.

A decisão mista está no planeamento em AFS, misturando metáforas de navegação com mecanismos de manipulação directa. O utilizador pode dirigir acções de baixo nível para as equipas de forças (agentes), e pode visualizar decisões que o planeador toma, como por exemplo tarefas que a equipa tomou e como estão destacados os seus membros. Na Figura 3.2.1.1 podemos ver um navegador que mostra uma vista mais abstracta do processo de planeamento. A terceira dimensão neste sistema foi possível com a construção do VID.

3.2.2 VID

Com o VID (Visual Interaction Dialog System), os agentes dos sistema manipulam a localização e direcção das câmaras usadas na avaliação e edição num ambiente em 3D. Depois de posicionar a câmara, podem adicionar, remover, e editar componentes do plano hierárquico no domínio de representações específicas. A efectividade da interacção entre o utilizador e o planeador HAC, depende na capacidade do sistema permitir visualizações flexíveis, registo do contexto, e gestão de tarefas.

Este sistema encontra-se ainda em desenvolvimento, de modo que está constantemente a ser melhorado.

Visualizações flexíveis e interactivas

O VID mostra objectivos do plano, sub objectivos, acções primitivas, e suas relações representadas por diamantes objectivos de vários níveis) e cilindros (ligam objectivos hierárquicos e acções primitivas) semitransparentes (para não ocultar informação importante). No domínio do CTF o VID irá colorir objectivos e suas relações de acordo com a equipa e utilizador actual. Os diversos elementos do plano necessitam de ser representados, por isso o VID condensa-os num representação abstracta através de um glifo8.

A colocação destes glifos no espaço permite ao utilizador especificar características espaciais e temporais dos planos. A figura 3.2.1.3 demonstra como a informação espacial e temporal está organizada no mundo em 3D do VID.

Figura 3.2.1.3 – Organização espacial e temporal no VID

A informação espacial é obtida por extrapolação a partir do glifo até a um ponto das três superfícies usadas para representar as seis dimensões no domínio físico Estas superfícies de domínio podem variar quer em escala e tamanho. Para domínios que necessitem de menos de seis dimensões, os eixos adicionais não correspondem a uma dimensão. O ponto extrapolado até à superfície localiza a componente do plano usando duas coordenadas para cada plano, a longitude a latitude. Novamente, para cada plano, as dimensões neste não se referem (ou não têm equivalência) com ambiente envolvente (pode estar numa escala diferente).

Para que o utilizador possa reconhecer características críticas que podem ditar o sucesso ou falha de um plano. Para assistir o utilizador, o VID disponibiliza interface para manipulação directa que permite mudar a posição dos agentes, direcção das câmaras usadas para visualizar o espaço.

Durante o planeamento colaborativo os utilizadores humanos e agentes de software tomam turnos quer como observadores quer como controladores

8 _{glifo – cavidade cilíndrica ou triangular aberta em ornamentos arquitectónicos. (expressão} usada em arquitectura)

actuando em áreas de interesse e eliminando confusão visual. Quando os agentes em software tentam “ver” características importantes, eles posicionam a câmara de acordo com heurísticas baseadas na percepção visual. Poderá ver um exemplo de um cenário CTF no fim deste tópico.

Registo de contexto

Para evitar confusão, os agentes devem comunicar as suas alterações à medida que constroem o plano, aos outros agentes. Os humanos podem apenas adicionar, remover, e editar componentes do plano através de manipulação directa. Tal como a maior parte dos interfaces, o colocar de uma câmara e manipulação de componentes são resultado de inputs do teclado e rato. Eventos que são facilmente reconhecíveis pela maior parte dos sistemas em janelas. O processamento destes eventos então, baseia-se no estado corrente do mundo para outros agentes interessados (que podem planeadores de software ou humanos remotamente localizados). Ainda que as modificações por parte do utilizador sejam sempre mediadas pelo sistema, pode ser possível que os agentes executem tarefas fora da região visível da câmara partilhada. Para evitar disparidades de conhecimento, o VID requer aos agentes de software para reorientarem a câmara para ver as alterações que efectuam. Durante algumas tarefas automáticas isto pode distrair planeadores. Para corrigir isto o sistema pode opcionalmente especificar a quantidade de informação que os agentes de sistema devem comunicar.

Gestão de tarefas baseadas em diálogo

Ainda que múltiplos agentes colaborem através do VID, os agentes de software possuem controlo do diálogo com planeadores humanos. Em qualquer altura o VID interrompe as suas actividades de planeamento ao reposicionar a câmara. Esta característica permite uma certa plasticidade no controlo de modo que o VID permita um estilo rápido de interacção. Adicionalmente o VID não muda a localização ou orientação da câmara partilhada enquanto os agentes humanos manipulam os seus controlos ou planeiam componentes. A flexibilidade incorporada no VID permite que o utilizador controle a pesquisa através do espaço focando a câmara em pequenas regiões.

Um exemplo

A figura 3.2.1.4 mostra o estado inicial num cenário deste domínio. O planeador humano pode interagir através de manipulação directa nas decisões de planeamento (através de ícones, menus e botões de selecção). Por exemplo, o sistema pode aceitar instruções do utilizador sobre quais as bandeiras a atingir, ou alternativamente, o utilizador pode perguntar ao sistema uma sugestão ao pressionar um botão. Em ambos os casos o planeador gera planos por sua conta para determinar os seus objectivos, possivelmente diferindo a execução de das acções para o utilizador decidir.

Figura 3.2.1.4 - O VID comunica o objectivo de capturar uma bandeira específica

O sistema começa por construir um plano para atacar uma das forças oponentes para defender uma bandeira sua. O VID, juntamente com a informação fornecida pelo planeador, comunica o objectivo e tarefas ao posicionar a câmara de modo mostrar um possível ataque de sucesso (figura 3.2.1.5).

Figura 3.2.1.5 - O VID comunica o objectivo de capturar uma bandeira específica

Assumindo que o planeador formou um plano no qual o principal ataque é efectuado por apenas uma unidade de força, mas que a ofensiva é insuficiente para a defesa do oponente. Para comunicar isto, o VID identifica primeiro a necessidade para melhor refinamento do plano, e como mostra a figura 3.2.1.6 (abaixo) o VID posiciona a câmara de modo que o utilizador possa comparar entre as duas forças. Baseado em heurísticas de percepção, o VID amplia a câmara de modo a eliminar ao máximo possível informação que possa distrair. A solução para esta jogada perdida é seleccionar outra força de unidade para actuar. O planeador comunica esta decisão ao reposicionar a câmara tal como fez para a primeira unidade de força, mostrando às novas unidades a contribuição para a acção principal.

Parte do poder desta abordagem é o facto de poder usar a exploração da Física e planeamento com AFS. O AFS suporta agregação de objectos e

regiões espaciais. O planeador ou utilizador, pode agrupar e caracterizar agentes, por exemplo, permitir visualizações a níveis diferentes de abstracção.

Figura 3.2.1.6 - O VID comunica um problema com o plano base

Neste exemplo anterior é possível verificar como o VID partilha a manipulação da câmara e é usado para comunicar entre os diferentes agentes. O VID permite que este estilo de interacção seja possível ao fornecer visualização flexível e interactiva baseada em percepção visual, registo de contexto e gestão de tarefas de diálogo.

3.2.3 Scope

O Scope é no fundo um organizador de informação no computador, concebido para unir notificações e evitar distracções por parte do utilizador [MSSCP 04a]. Permite que utilizadores estejam informados de notificações de múltiplas, incluindo e-mail, alertas de informação, sistemas de mensagens (mensager), e compromissos. A interface do sistema, assemelha-se a um monitor de radar dividido em sectores que agrupam diferentes tipos de informação. Quanto mais urgente for a informação, mais ao centro será colocada (figura 3.2.3.1, abaixo). A necessidade deste sistema surge pois somos constantemente bombardeados com informação, durante o trabalho podemos receber alertas de várias fontes tais como: recepção de email, mudanças no programa mensager, informação da bolsa ou tráfego, progresso de um leilão, resultados desportivos ou de jogos, notícias, vendas especiais, etc. Há mais notificações que poderão invadir os nossos computadores com o desenvolvimento da plataforma .NET, pois esta irá aumentar o tipo de serviços oferecidos aos utilizadores (aumentando assim notificações/avisos). Com um excesso de notificações/avisos no horizonte, decidiu-se criar um sistema que gere os avisos, em desenvolvimento na Microsoft Research, que é o Scope.

Figura 3.2.3.1 - Interface do SCOPE

O sistema modelos de atribuição de prioridades a partir dos comportamentos e acções do utilizador, de feedback explicito do utilizador, e usa estes modelos para automaticamente avaliar a urgência dos diferentes itens que entram no sistema. Por exemplo, no caso do e-mail, o remetente, o número de destinatários, e o conteúdo do título e corpo da mensagem podem influenciar a prioridade de um e-mail. A Plataforma de Notificação (Notification Plataform) gere uma caixa de entrada, designada de Unibox, que recebe itens como e- mail, voicemail, apontamentos, mensagens instantâneas (mensager), notícias (news) e informação financeira, e o output para o conjunto de informação que reúne os diferentes agentes que enviaram a informação. Os utilizadores podem controlar a avaliação da urgência atribuída a cada item [MSSCP 04b].

O principal objectivo é evitar distracções do utilizador ao usar o computador, de modo a se concentrarem nas suas tarefas. A iniciativa, ou decisão é atribuída ao utilizador. Ou seja, o que fazer com a notificação compete ao utilizador (ler ou apagar e-mail, resolver um problema notificado, etc). Ainda que não esteja prevista esta característica em futuras versões do sistema, o sistema apresenta característica de decisão mista. Pois o sistema “aprende” com o utilizador e “decide” que prioridade atribuir a notificações recebidas.

3.3 Produtos comerciais

Os recentes avanços nas abordagens de sistemas de decisão mista para aplicações computacionais, gerou um grande número de princípios teóricos que podem ser implementados em produtos comerciais [TERM04, pg.1].

Actualmente, poucos produtos de consumo são capazes de observar o comportamento do seu utilizador e fazer sugestões para melhorar o seu uso. As recentes teorias na concepção de sistemas de decisão mista para tarefas de “secretária” no computador como enviar e-mail, procura de datas para apontar compromissos, entre outros, têm fornecido bases para melhorar a performance da relação dos produtos com utilizadores. Um utilizador com pouco conhecimento sobre um produto, pode não dispor de muita compreensão sobre quais as tarefas possíveis, mas um sistema que dialogue com o utilizador poderia ser como um “mordomo” sempre pronto a ajudar, guiando o utilizador através de uma sequência de passos para um objectivo. A possibilidade de sugestionar o utilizador, pode levá-lo a usar características não exploradas. O Departamento de Design Industrial na Universidade de Tecnologia de Delft na Holanda, tem conduzido investigação nesta área de aplicação de sistemas de decisão mista. De momento para além deste termóstato, estão também a investigar um sistema de monitorização de consumo de energia.

A integração de diferentes abordagens será demonstrada com o caso de um termóstato inteligente (investigação a cargo do Departamento de DI da Universidade Tec. De Delft referido). Um modelo estatístico é usado para detectar tendências e padrões de vivência e fazer sugestões. Um modelo de tarefas implementado, contendo padrões de uso de consumidores, pode inferir intenções e servir de input para um gestor de diálogo. Poderemos antever outros sistemas relacionados nas nossas casas, telemóveis. automóveis, entre outros.

Estamos a entrar numa nova fase de interacção do consumidor com determinados produtos. Os utilizadores no futuro obterão produtos que aprenderão os seus padrões de uso e se lembrem de preferências pessoais, bem como e quando oferecer a devida assistência. É importante efectuar alguma pesquisa de mercado sobre a aceitação deste tipo de produtos (desconhece-se a existência de estudos). Outro aspecto importante, é sensibilizar o utilizador que este possui controlo sobre o produto e que este se aperceba da mudança de turno de decisão. O utilizador deverá perceber porque determinada sugestão está a ser feita em determinado momento, de modo a construir uma certa confiança com a interface do produto. A visualização deverá ser directamente manipulável pelo utilizador. Finalmente, a interface deverá possuir módulos genéricos para inteligência artificial embebida para suportar futuros desenvolvimentos.

3.3.1 Termóstato Inteligente

O principal objectivo do termóstato inteligente é gerir a temperatura desejada numa habitação de modo a reduzir gastos de energia no aquecimento ou arrefecimento. Isto é conseguido através de sugestões ao utilizador, baseadas no seu padrão de vivência e ao assistir o utilizador na calendarização

programável. Sensores de temperatura e movimento em cada divisão comunicam com uma unidade central. Como é possível verificar na figura 3.3.1.1, a corrente versão deste projecto fornece a possibilidade de observar as temperaturas dos diferentes compartimentos. As barras horizontais indicam a temperatura actual em compartimentos baseada na frequência de presença e histórico de definições.

Figura 3.3.1.1

O termóstato suporta interacção de multi-modal através input de voz e toque com output vocal e visual. O “ecrã de gestão” (display manager) interage com um “modelo de preferências do utilizador” (user preference model), que contém um histórico de estilos de interacção preferidos, ao determinar a modalidade de apresentação mais adequada.

Decisão mista no termóstato

Neste termóstato inteligente a abordagem de um modelo estatístico é combinada com um gestor de diálogo e um modelo de tarefas embebido. O modelo estatístico é usado para determinar a probabilidade de uma tendência nas definições de temperatura. A certeza de uma dada tendência ou padrão, influencia o diálogo apresentado ao utilizador. O padrão é derivado de: tempo e data, compartimento, frequência de presença no compartimento, preferências de temperaturas do utilizador e a temperatura actual no compartimento. Com a excepção da temperatura desejada para o quarto, todas as variáveis podem ser determinadas pelo sistema. A temperatura desejada pode ser inferida ao considerar o histórico de definições de temperaturas, a presença actual no compartimento e ou se algum controlo de aquecimento ou arrefecimento foi ajustado pelo utilizador. Por exemplo, se o aquecedor no quarto de banho está ligado enquanto o quarto é ocupado por 2 horas ao dia, a temperatura desejada para essas duas horas é baseada na temperatura de durante essas duas horas. O sistema pode sugerir uma temperatura desejada e por quanto tempo o aquecedor do quarto de banho deverá estar ligado. O utilizador poderá directamente aumentar ou diminuir a temperatura proposta e duração através de voz (diálogo com o sistema) ou ao manipular o sistema directamente com as mãos. O sistema ainda está em desenvolvimento para interpretar intenções e fornecer sugestões através de um gestor de diálogos um maior número de tarefas. Correntemente, o Collagen é considerado um sistema de gestão na colaboração, é considerado independente da aplicação. O gestor de colaboração (collaboration manager) irá observar o estado de atenção e linguística no discurso do utilizador para identificar intenções colaborativas dos participantes (agente do termóstato e utilizador). Um modelo de tarefas embebido, contém “receitas” que serão desenvolvidas para antecipar objectivos do utilizador. Estas “receitas” são no fundo uma série de passos especificados que requeridos para controlar o termóstato. Estas “receitas” juntamente com as regras de padrões arbitrários de acção, pensa-se que possam ser usadas

como input do dialog manager. De momento o sistema assume controlo de decisão a partir do momento que haja ausência de controlo por parte do utilizador, após um período pré-determinado.

3.3.2 TiVo

O TiVo é um receptor de TV que pretende mudar a forma como nós vemos televisão. O seu objectivo, é permitir que utilizador ligue a TV a qualquer momento, dia ou noite, e lhe seja apresentada uma selecção de programas que sejam apelativos a um determinado utilizador. O uso de inteligência do tipo decisão mista é usada para atingir este objectivo.

O TiVo foi construído usando um IBM PowerPC correndo Linux, 2 discos de 12GB, um descodificador MPGE2 e um modem de 56K [SKNI04 pg.9]. Sendo um sistema digital de gravação de video streaming, o TiVo permite ao utilizador fazer pausa (pause), continuar (replay) ou retroceder (rewind) a imagem de TV ao vivo (em directo). Os utilizadores podem passar a poder parar a imagem em modo pausa, para efectuarem outras tarefas como atender telefone, campainha, e continuar podendo passar à frente da publicidade. Enquanto que estas são óptimas características, é na característica de gravação que reside a decisão mista.

Para atingir o objectivo de apresentar ao utilizador sempre uma “boa” selecção de programas para ver, o TiVo utiliza dois sub objectivos. Primeiro deve determinar o que é que é “bom”, e seguidamente descobrir quando é que o “bom” programa começa para o poder gravar. Se os humanos tiverem de fazer esta tarefa, devem usar um marcador e um guia de TV e ver os programas agendados na semana seguinte. Devem considerar cada entrada no sistema, e julgar se é uma que gostam (a), ou não gostam (b), ou não lhes é familiar (c). Se gostam de um programa devem programar o gravador de vídeo com o canal e data para o gravar. Se não gostarem, devem excluir. Se não são familiares, podem escolher gravar ou não de acordo com o género de programa, elenco ou realizador/director. Um humano é capaz de fazer isto, mas nem todos têm a paciência para o fazer. E programar o vídeo pode ser aborrecido.

Um computador por sua vez, pode ser melhor adaptado para fazer pesquisa num guia de TV. Pode automaticamente gravar o que está programado para o fazer. Mas, ao menos que lhe seja explicitamente dito o que é “bom”, é difícil