O HosNui é composto por mecanismos de reconhecimento de gestos e voz, tendo como objetivo avaliar qual o seu impacto no utente quando implementada no serviço de urgência. Inicialmente a interface encontra-se no modo inativo, enquanto não detetar o utilizador no campo de interação. Nesta fase a interface limita-se a exibir imagens abordadas pelo seu conteúdo (Figura 5.1). Para o utilizador iniciar a sua interação, basta colocar-se em frente ao dispositivo até este o reconhecer dentro do seu campo de interação.
Figura 5.1 – Janela exibida pelo HosNui quando o utilizador não se encontra a interagir com este.
A partir do momento em que o utilizador é identificado, a interface exibe a sua forma através dos seus contornos, lançando uma janela de boas vindas (Figura 5.2). Esta janela permite realizar o acesso à UI através de duas maneiras: do comando de voz “Start” ou então clicando no botão, recorrendo ao gesto.
Figura 5.2 – Janela de boas vindas do HosNui.
Para a interação através da voz, é utilizada o idioma Inglês como forma de reconhecimento. Não foi possível implementar o idioma Português devido ao dispositivo Kinect possuir as funcionalidades necessárias para o reconhecimento.
A partir do momento em que a interface é iniciada, os microfones do dispositivo estão sempre ligados e a receber dados, reconhecendo somente palavras-chave para desempenhar as respetivas funções.
O sistema possui um mecanismo para inativar a interface caso o utilizador deixe de ser detetado durante algum tempo. Quando tal acontece, a aplicação retoma à janela inicial, ilustrada na figura 5.1.
As interações são realizadas com base em gestos de apontar. Estes movimentos da mão pretendem substituir as funcionalidades do rato. Caso o utente pretenda selecionar uma categoria, tema ou outro objeto, basta apontar e deixar o cursor em cima durante uns segundos de modo a realizar o clique (Figura 5.3). Esta operação transmite feedback ao utilizador de forma a este ter uma melhor noção do desenrolar da interação, transmitindo uma sensação de controlo. Uma vez que o utilizador alvo é o utente, escolheu-se esta forma de clique por achar ser a mais simples e intuitiva, de modo a melhorar a sua experiência com a interface. No entanto, com o avançar da interação pelas sucessivas janelas, este mecanismo pode revelar-se ineficiente uma vez que pode criar conflito nas escolhas, confundindo o utente.
É exemplo disso o caso em que o utente pretende selecionar uma categoria. Ao faze-lo, será imediatamente transferido para uma janela com os temas. Caso o utente se encontre ainda com a mão levantada, o cursor poderá imediatamente iniciar o processo de seleção do tema que esteja em cima, o que poderá não ser o pretendido.
Figura 5.3 – Mecanismo de clique do HosNui.
Em todas as janelas, a interface transmite feedback do rastreamento do corpo. O modelo do
do utilizador que se encontra a interagir com a interface é exibido com um tom roxo escuro (Figura 5.4). Conforme existam mais pessoas dentro do campo de interação, estes são identificados com um tom de roxo mais leve, não influenciando a interação do utilizador principal. Assim, conforme a intensidade do tom, os utilizadores tem perceção de quem se encontra a interagir com a interface.
Figura 5.4 – Feedback transmitido sobre o estado do rastreamento do utilizador durante a interação o HosNui.
A janela principal de interação é composta por várias categorias, nas quais o utilizador pode selecionar os objetos através do gestos ou simplesmente invocando o nome do tema. Todas
parte superior. Como é possível observar pela figura 5.5, a UI sugere ao utilizador que invoque o nome da categoria. Mais uma vez, visto que o dispositivo não permite reconhecer o idioma Português, este pode apresentar algumas dificuldades de interpretação dos nomes das categorias.
Figura 5.5 – Janela de escolha de categorias do HosNui.
Dependendo da categoria selecionada, a aplicação direciona o utilizador para uma segunda janela onde se encontram expostos os respetivos temas (Figura 5.6). O processo de seleção de cada tema através de gestos mantem-se, alterando apenas a forma como a interação com comandos de voz é realizada. Os temas surgem numerados, bastando apenas ao utilizador invocar o seu número em Inglês. Nesta fase, a janela fornece feedback sobre os comandos de voz disponíveis ao utilizador de modo a facilitar a sua interação. O retrocesso à janela anterior pode ser realizado ou através do comando de voz “Home” ou, então, através da seleção do objeto.
Figura 5.6 - Janela de escolha de temas dentro de uma determinada categoria do HosNui.
Dependendo do tema selecionado, a UI direciona o utilizador para uma janela onde se encontra exposta a informação pretendida. Esta janela disponibiliza mecanismos para mover verticalmente a janela, de modo a observar a totalidade da informação. Esta operação é realizada através de um botão presente na barra lateral (Figura 5.7). Em todos os temas existem mecanismos de avaliação da informação, expressando se a informação é útil ou não. A avaliação é feita através da seleção de dois objetos para tal. Posteriormente, se o utente pretender regressar à janela de seleção de temas, basta selecionar o objeto presente no canto superior esquerdo da janela ou então invocar o comando “back”. Do mesmo modo, se pretender regressar à janela de seleção de temas, basta selecionar o objeto presente no canto superior direito da janela ou então invocar o comando de voz “home”.
Quando o utente pretender deixar de interagir com a UI, basta sair do campo de interação do dispositivo, levando a UI a desativar a interação e voltar a janela inicial.
Figura 5.7 - Exemplo de uma janela do HosNui, onde é abordado o tema dos direitos e deveres do utente.