INTERFACES GESTUAIS TOUCHLESS: CONTEXTOS USO

Após  terem  sido  apresentadas,  definidas  e  caracterizadas  as  interfaces  gestuais  touch-­‐free/touchless,   assim  como  analisado  o  seu  posicionamento  em  relação  com  a  usabilidade,  é  fundamental  apresentar   contextos  em  que  as  mesmas  podem  ser  aplicadas  e  exemplos  que  ilustrem  esses  contextos.  Assim,   desde  que  a  investigação  no  âmbito  das  interfaces  gestuais  touchless  se  iniciou,  é  possível  identificar   diferentes  contextos  de  aplicação,  que  incluem:  a  interação  com  displays  públicos,  em  que  o  rato  e  o   teclado  são  inconvenientes  e  a  interação  é  feita  por  um  curto  espaço  de  tempo,  o  que  poderá  levar  o   utilizador  a  não  querer  conectar  um  dispositivo  móvel  ao  mesmo;  ativar  itens  na  cozinha,  sem  tocar   nos  mesmos;  apoiar  cirurgiões  na  sala  de  operações,  quando  estes  não  podem  tocar  em  dispositivos;   navegar  esporadicamente  em  conteúdos  multimédia  ou  aceder  a  funções  preferidas,  como  é  o  caso   das  TVs  interativas  (Chattopadhyay  &  Bolchini,  2014a).  

Os  displays  públicos  são  displays  electrónicos  colocados  em  locais  públicos,  e  que  devido  ao  seu  preço   cada   vez   mais   acessível   se   estão   a   tornar   rapidamente   ubíquos   em   áreas   urbanas,   e   a   tornarem-­‐se   mais  digitais  e  interativos  (Müller  et  al.,  2014).  Uma  das  suas  funções  possíveis  é  permitir  a  diversão   entre  pessoas  de  forma  remota,  que  partilhem  o  mesmo  espaço  virtual.  Um  exemplo  é  o  Communiplay   system  (Müller  et  al.,  2014),  um  display  media  presente  em  espaço  público  com  suporte  de  interação   gestual  touchless,  que  consiste  em  6  ecrãs  ligados  entre  si,  implementados  em  diferentes  locais.  No   ecrã  o  utilizador  pode  observar  o  seu  próprio  contorno  espelhado  num  display  público  (um  avatar  que   o  representa),  podendo  jogar/interagir  com  objetos  virtuais.  Ao  mesmo  tempo  pode  visualizar  outros   utilizadores   a   interagir   noutros   locais,   representados   por   silhuetas   semelhantes   à   sua,   a   jogar   no   mesmo   espaço   virtual,   partilhando   os   mesmos   objetos   virtuais.   Cada   localização   das   silhuetas   é   representada  por  uma  cor  diferente,  o  que  permite  distinguir  os  utilizadores  entre  si  (Figura  56).  

FIGURA  56  –  COMMUNIPLAY  SYSTEM  (MÜLLER  ET  AL.,  2014)  

De  referir  que  a  partir  dos  resultados  do  estudo  foi  possível  verificar  o  designado  “honey-­‐pot  effect”,   quer  pela  presença  local  (ao  ver  outros  utilizadores  a  interagir,  os  utilizadores  sentem-­‐se  mais  atraídos   para  interagirem  também),  quer  remoto  (utilizadores  ao  observarem  outros  a  interagir  noutros  locais   sentem-­‐se   mais   atraídos   para   interagirem   também).   Para   além   disso,   a   interação   lúdica   que   ocorreu   com  os  utilizadores  remotos  funcionou,  mesmo  que  a  comunicação  seja  muito  temporária  e  abstrata.   Com   efeito,   as   pessoas   não   só   jogaram   com   os   objetos   virtuais   partilhados,   como   usaram   outros   meios  para  interagirem  e  comunicarem,  como  acenar,  espreitar,  cutucar  e  copiar  comportamentos.  

Outro   dos   contextos   possíveis   de   aplicação   das   interfaces   touchless   em   displays   públicos   são   a   sua   aplicação  a  eventos/exibições/feiras,  onde  existe  um  grande  afluxo  de  pessoas,  de  que  é  exemplo  a   Expo  Milão  de  2015  (Cremonesi  et  al.,  2015).    

Os   grandes   eventos,   como   uma   Expo,   impulsionam   este   desenvolvimento,   com   vista   à   melhoria   da   experiência   dos   visitantes:   “Smart   cities   large   events   have   led   to   the   ubiquitous   deployment   of   public   display   systems,   supporting   the   ambition   to   improve   visitors   experience   and   providing   services   which   fit   users’  individual  needs.  “(Rienzo  et  al.,  2015,  p.  9)  

Posto  isto,  os  ecrãs  electrónicos  de  grandes  dimensões  são  uma  tecnologia  consolidada  que  podem   ser   usados   em   locais   indoor   e   outdoor,   permitindo   mostrar   informação   aos   utilizadores.   Este   uso   e   utilização   em   contexto   público   tem   sido   uma   das   tendências   mais   visíveis   do   urbanismo   contemporâneo,  sendo  um  desafio  alargar  e  enriquecer  as  suas  possibilidades  de  utilização  para  além   da  publicidade,  podendo  transformar  o  espaço  urbano:  

“Screen  technology  is  promising  to  return  the  interactive  experience  to  urban  spaces.  Economies  of   scale  are  enabling  any  surface  to  become  a  display,  offering  a  window  to  the  Internet.  No  longer  are   displays  limited  to  the  conventional  frame  shape  but  can  accommodate  arbitrary  shapes  and  sizes,   walls,  and  even  entire  squares  and  streets.”  (Kuikkaniemi,  Jacucci,  &  Turpeinen,  2011,  p.  40)   As  plataformas  de  display  de  informação  com  uma  natureza  digital  e  ligada  em  rede  podem  criar  zonas   de   visualização   experimental   que   poderão   melhorar   domínios   de   aplicação   já   existentes,   como   é   o   caso  do  turismo  e  da  moda  (Cremonesi  et  al.,  2015).  Com  efeito,  estas  potencialidades  estiveram  na   génese   de   conceber   o   protótipo   mesh-­‐t   para   o   contexto   turístico,   que   é   anterior   a   esta   publicação   citada.    

Partindo   de   duas   desvantagens   identificadas   em   relação   às   interfaces   touchless   –   a   dificuldade   em   lidar  com  uma  grande  quantidade  de  conteúdos  e  a  dificuldade  em  encontrar  conteúdo  relevante  para   os   interesses   dos   utilizadores,   Cremonesi   et   al.(2015)   decidiram   aplicar   os   princípios   da   personalização   nas   aplicações   touchless.   Assim,   procuraram   desenhar   uma   experiência   que   integra   displays   públicos   de   grandes   dimensões   com   dispositivos   pessoais,   como   é   o   caso   de   tablets   e   smartphones,  combinando  assim  múltiplos  paradigmas  de  interação  para  explorar  a  informação  entre   os  ecrãs,  individualmente  e  em  grupo.  Usam  assim  a  interpretação  de  movimentos  do  corpo  através   do  Kinect  –  interação  touchless  –  e  interação  com  dispositivos  móveis  pessoais  –  interação  multitoque   remota.   Para   além   disso,   vão   personalizar   os   conteúdos   apresentados   no   display   de   grandes   dimensões,   adaptados   quer   ao   utilizador   quer   a   um   grupo   de   utilizadores,   o   que   vai   melhorar/direcionar/personalizar  a  experiência  e  a  exploração  de  informação:    

“The  problem  with  the  previous  systems  is  that  they  don’t  focus  on  providing  personalized  and  user-­‐ specific   information,   resulting   in   a   gap   between   what   users   require   and   what   is   provided   to   them.   We,   on   the   other   hand,   propose   a   system   that   aims   to   bridge   this   gap   by   capturing   user   personal   information   and   providing   him   with   highly   customized   content   to   be   consumed   in   structured   and   meaningful  ways  on  the  public  screens.”  (Cremonesi  et  al.,  2015,  p.  2)  

De  referir  que  esta  integração  com  dispositivos  secundários  móveis,  assim  como  funcionalidades  de   personalização,  foram  planeadas  e  identificadas  como  pertinentes  para  serem  integradas  no  protótipo   mesh-­‐t,  avaliado  no  presente  estudo,  e  cujo  processo  de  conceptualização  será  explorado  em  seguida   (Figueiredo,  Raposo,  Beça,  &  Santos,  2011).  

Apesar   de   Cremonesi   et   al.(2015)   colocarem   a   aplicação   que   prototiparam   no   domínio   dos   ecrãs   públicos  interativos  a  serem  incluídos,  por  exemplo,  na  expo  de  Milão  de  2015,  e  não  especificamente   no   âmbito   do   turismo,   a   natureza   do   conteúdo   usado   poderia   tornar-­‐se   adequada   ao   contexto   turístico.   Com   efeito,   a   aplicação69  _{permite   a   exploração   personalizada   de   POIs   de   Milão,}  

apresentando  duas  versões:  uma  touchless  e  outra  touch,  com  integração  de  um  dispositivo  pessoal,   no  âmbito  do  projeto  StreetSmart  Project:    

“(...)develops  information  services  that  integrate  multiple  (touch  and  touchless)  interaction  paradigms   on  personal  devices  and  large  public  displays.  It  exploits  personalization  techniques  in  order  to  offer   new  engaging  user  experiences  involving  large  amounts  of  multimedia  contents."  (Cremonesi  et  al.,   2014,  p.  353)  

Os   vários   protótipos   e   avaliações   iterativas   feitas   no   laboratório   dos   autores   permitiu   obter   uma   versão   beta,   testada   na   cafetaria   do   Politecnico   de   Milano   por   12   pessoas   (Figura   57).   Os   dados   recolhidos   demonstraram   um   bom   nível   de   usabilidade   em   ambas   as   versões,   assim   como   níveis   comparáveis  de  satisfação  e  engagement.  Alguns  problemas  reportados  relacionam-­‐se  com  o  aspeto   visual   da   interface   (layout   e   qualidade   dos   conteúdos   multimédia),   performance   e   precisão   dos   movimentos   processados,   idade   e   género   detetado   pelo   modo   de   interpretação   (que   procurava   através  de  dados  biométricos  estabelecer  um  perfil  e  gosto  do  utilizador  de  acordo  com  o  seu  sexo  e   idade,   por   exemplo).   Desafios   continuam   assim   a   existir,   nomeadamente   ao   nível   da   interação   touchless  com  uma  grande  quantidade  de  informação,  que  seja  intuitiva  e  natural,  ao  nível  do  suporte   da  interação  individual  ou  em  grupo  e  ao  nível  da  combinação  destes  elementos  com  funcionalidades   de  personalização.  

FIGURA  57  –  EXEMPLO  DE  INTERAÇÃO  GESTUAL  COM  APLICAÇÃO  (CREMONESI  ET  AL.,  2015)  

69  _{Uma  demonstração  da  aplicação  pode  ser  vista}  

Salientando  ainda  a  proliferação  dos  displays  digitais  em  locais  públicos,  que  por  vezes  não  permitiam   a  interação  com  o  conteúdo  e  limitavam-­‐se  a  exibi-­‐lo,  em  locais  como  lobbies,  estações  de  comboio,   salas   de   espera   e   outros,   Sousa,   Cardoso,   Parracho,   Dias   &   Sousa   Santos   (2014)   apresentam   o   protótipo   DETI-­‐interact,   um   display   interativo   localizado   no   hall   de   entrada   do   Departamento   de   Electrónica,   Telecomunicações   e   Informática   (DETI)   da   Universidade   de   Aveiro,   que   permite   a   interação   dos   utilizadores   com   o   conteúdo   através   de   gestos,   com   a   integração   do   Kinect,   sem   necessitarem   assim   de   um   dispositivo   adicional.   Com   efeito,   o   projeto   passou   por   várias   fases,   nomeadamente  incluindo  o  uso  do  smartphone  para  controlar  o  display,  opção  essa  que  teve  pouco   sucesso,  pois  a  necessidade  de  fazer  download  da  aplicação  para  o  telemóvel  do  utilizador  constituía   uma   barreira   à   sua   utilização.   Assim,   o   Deti-­‐interact   1.0   foi   pouco   usado   pois   exigia   passos   de   confirmação  que  implicavam  tempo  e  esforço  (Dias  et  al.,  2014).  Surgiu  uma  nova  versão  do  sistema   integrando   o   Kinect,   que   colocado   no   hall   de   entrada   do   DETI,   permitia   o   acesso   a   informação   relevante   para   os   estudantes,   como   os   contactos   dos   membros   do   departamento,   os   horários   dos   cursos,  vídeos  promocionais  das  atividades  do  departamento.  Os  módulos  referidos  estão  disponíveis   na  imagem  abaixo,  que  representa  o  ecrã  principal  do  protótipo  (Figura  58).  

FIGURA  58  –  ECRÃ  PRINCIPAL  DETI-­‐INTERACT  (SOUSA  ET  AL.,  2014)  

Partindo   agora   para   o   contexto   médico/saúde,   a   solução   ADORA:   Advanced   Doctor’s   Operational   Research  Assistant  70é  uma  solução  interativa  que  permite  auxiliar  o  profissional  de  saúde  ao  facilitar  o   acesso  a  informação  sobre  o  paciente   antes,  durante  e   após   o   procedimento   cirúrgico  (Kosic  et  al.,   2013).  Os  médicos  poderão  usar  gestos  e  controlo  de  voz  para  manipular  os  dados  do  paciente,  sem   contacto  físico  com  um  dispositivo.  Outros  médicos  fora  do  teatro  de  operações  poderão  também  ter   acesso   à   informação.   Como   vantagens,   os   autores   consideram   que   é   possível   reduzir   a   duração   da   cirurgia,  o  que  vai  afetar  indiretamente  os  aspetos  ambientais  e  económicos  dos  serviços  de  saúde.     No  seguimento  das  vantagens  apresentadas  anteriormente,  este  é  claramente  um  contexto  que  tira   proveito   do   uso   em   ambiente   esterilizado   em   que   as   interfaces   touchless   podem   ser   usadas.   No   desenvolvimento  do  ADORA,  o  primeiro  desafio  enfrentado  foi  o  desenhar  de  uma  interface  gráfica   que  fosse  intuitiva  que  suportasse  a  comunicação  com  o  sensor  (neste  caso,  com  o  Kinect).  Assim,  é        

fundamental   que   esta   inclua   feedback   claro   para   os   utilizadores   (quer   gráfico,   quer   de   voz),   sendo   também   recomendável   incluir   uma   secção   de   ajuda   interativa   que   permita   ao   utilizador   praticar   os   gestos   e   comandos   necessários   para   interagir.   Ainda   no   desenho   da   interface,   foi   necessário   afastarem-­‐se   do   desenho   clássico   das   interfaces   e   enfrentar   os   desafios   trazidos   pelo   novo   paradigma,  sendo  importante  a  análise  de  soluções  já  existentes  e  as   guidelines  da  Microsoft  para  o   Kinect.  Outro  dos  desafios  consistiu  na  calibração  do  sensor,  tendo  surgido  problemas  na  tentativa  de   detetar   utilizadores   a   partir   de   diferentes   distâncias   e   ainda   problemas   na   deteção   do   utilizador   primário  na  presença  de  outros  cirurgiões  ou  profissionais  na  sala  (na  sala  de  operações  existem  três   ou   mais   pessoas   próximas   uma   das   outras,   pelo   que   o   Kinect   irá   fazer   a   deteção   de   todas).   Para   resolver   este   problema,   foi   usado   um   comando   de   voz   para   definir   o   utilizador   primário   da   sala,   através  do  comando  “follow  me”,  que  é  usado  para  definir  a  pessoa  a  ser  detetada  e  interpretada  pelo   sensor.   Posteriormente,   foi   realizada   uma   avaliação   de   usabilidade   sumativa   da   aplicação   (Kuhar   &   Kosic,  2014),  envolvendo  dois  grupos  de  participantes  (cirurgiões),  sendo  o  primeiro  grupo  instruído  e   informado   dos   gestos   disponíveis   no   ADORA,   e   o   segundo   devendo   identificar   os   gestos   sem   instrução   prévia   através   a   ajuda   de   um   tutorial   disponível   na   aplicação.   Os   participantes   levaram   a   cabo  um  conjunto  de  tarefas  simples  e  avançadas  durante  o  momento  da  experiência,  respondendo   em  seguida  a  um  questionário.  

Uma  das  possíveis  áreas  de  aplicação  das  interfaces  touchless  que  revelou  bons  resultados  é  ainda  a   dos  jogos  para  crianças  com  necessidades  especiais,  nomeadamente  de  crianças  com  autismo  (ASD:   Autistic   Spectrum   Disorder/TEA:   Transtornos   do   Espectro   Autista)   (Bartoli,   Garzotto,   Gelsomini,   Oliveto,  &  Valoriani,  2014).  Tendo  em  conta  as  vantagens  de  usar  as  tecnologias  digitais  neste  âmbito,   existem  vários  protótipos  que  permitem  às  crianças  autistas  explorarem  várias  tecnologias  e  modelos   de   interação,   desde   o   desktop,   ao   mobile,   multitoque,   experiências   tangíveis,   realidade   aumentada   e   mais   recentemente,   ambientes   baseados   em   movimentos   sem   toque,   que   permitem   ao   utilizador   interagir  sem  contacto  físico  com  ferramentas  ou  dispositivos.  Assim,  Bartoli  et  al.(2014)  procuraram   desenhar,   desenvolver   e   avaliar   jogos   touchless   que   podem   ser   usados   por   crianças   autistas,   em   diferentes  contextos,  com  propósitos  educacionais  e  terapêuticos.  Embora  o  contexto,  utilizadores  e   o  objetivos  do  tipo  de  solução  tecnológica  sejam  muito  distintos  da  solução  e  do  contexto  em  estudo   na  presente  tese,  é  relevante  referir  que  o  processo  levado  a  cabo  por  Bartoli  et  al.(2014)  (observação   em   campo   das   crianças,   estudo   empírico   de   crianças   autistas   com   versões   comerciais   de   jogos   touchless,   focus   group,   etc)   tornou   possível   obter   um   conjunto   de   guidelines   de   design,   dirigidas   à   interface   e   interação   geral   e   guidelines   específicas   com   objetivos   de   aprendizagem   das   crianças   (capacidades   de   aprendizagem   na   esfera   motora,   cognitiva   e   social).   Assim,   essas   guidelines   foram   a   base   de   três   protótipos   de   jogos   distintos,   que   são   altamente   personalizáveis   de   acordo   com   as   características  e  necessidades  especiais  de  cada  criança.  Finalmente  foi  realizado  um  estudo  empírico   em  ambiente  controlado,  que  permitiu  verificar  os  benefícios  de  aprendizagem  dos  jogos  e  validar  de   forma   indireta   as   guidelines   propostas.   Foi   assim   possível   concluir   que   os   jogos   touchless   têm   um   potencial  forte  de  melhorar  a  atenção  e  as  capacidades  motoras  e  visuais  em  crianças  autistas,  o  que   valoriza  a  aplicabilidade  das  interfaces  gestuais  em  diversos  campos.  

Ainda   na   área   da   saúde   e   relacionado   com   um   público   especial,   o   On-­‐line-­‐Gym   é   um   protótipo   exploratório  de  um  ginásio  virtual  3D  que  usa  a  interação  com  o  Kinect,  dedicado  a  promover  o  bem-­‐ estar  físico  e  mental  do  público  sénior  ao  promover  a  atividade  física  (Cassola,  Morgado,  de  Carvalho,   Paredes,  &  Fonseca,  2014).  Este  ginásio  on-­‐line  corresponde  a  um  espaço  virtual  tridimensional  onde   os  utilizadores,  fisicamente  separados,  poderão  fazer  parte  de  uma  sessão  de  treino  controlado  por   um  monitor,  ligados  via  Internet  e  representados  por  avatares  que  são  animados  pelos  movimentos   capturados   pelo   Kinect   ligado   a   cada   computador   pessoal.   Assim,   irá   criar-­‐se   uma   experiência   de   treino  conjunto,  numa  sessão  de  treino/exercício.  Com  efeito,  o  projeto  tem  como  alvo  os  sénior,  por   estes  poderem  estar  impedidos  de  participar  em  sessões  de  treino  fora  de  suas  casas,  por  habitarem   zonas   de   baixa   densidade   populacional   ou   zonas   altamente   urbanizadas,   o   que   pode   requerer   viagens/deslocações   dispendiosas   ou   incomodativas   (Paredes   et   al.,   2014).   Neste   sentido,   os   exergames   (Paredes   et   al.,   2014)   podem   constituir   uma   nova   geração   de   jogos,   que   combinam   o   desenvolvimento  de  tecnologias  de  realidade  virtual  e  sensores  de  movimento,  que  podem  promover   o  exercício  e  ter  um  impacto  positivo  na  saúde  dos  utilizadores(Paredes  et  al.,  2014).  

Como  é  possível  verificar  pelos  exemplos  recolhidos,  muitos  dos  estudos  focam  a  interação  touchless   que  ocorre  de  pé,  em  frente  a  um  display  de  grandes  dimensões,  sendo  que  o  ambiente  de  sala  de   estar,   confortável,   não   tem   recebido   muito   enfoque.   Também   Chattapadhyay   &   Bolchini   (2014)   referem  a  mesma  questão:    

“Interestingly,  existing  research  on  device-­‐free  interaction  with  large  displays  have  only  (empirically)   investigated   settings,   where   users   are   standing   in   front   of   the   display.   However,   a   sitting   posture   limits   hand-­‐movements   more   than   a   standing   posture,   and   is   equally   relevant   but   largely   unexplored.”  (Chattopadhyay  &  Bolchini,  2014a,  p.  2).    

Logo,   Lee   et   al.   (S.-­‐S.   Lee   et   al.,   2013)   procuraram   dar   atenção   a   este   contexto,   realizando   um   processo   invertido   para   a   definição   dos   gestos   a   usar,   não   partindo   de   gestos   já   existentes   ou   definidos  por  designers,  mas  procurando  perceber  como  é  que  os  utilizadores  manipulam  o  conteúdo   digital  num  ecrã  distante  de  forma  livre,  sem  intervenção  de  designers  e  sem  pensar  nas  limitações   tecnológicas,  deixando-­‐os  escolher  os  gestos  que  julgam  adequados  para  uma  determinada  tarefa  que   lhes   é   proposta.   O   teste   foi   realizado   num   ambiente   que   simulava   uma   sala   de   estar,   com   os   participantes  sentados  no  sofá,  com  um  ecrã  à  sua  frente.  Alguns  dos  resultados  permitiram  perceber   que  os  gestos  escolhidos  eram  refinados  ao  longo  do  teste,  sendo  alterados  não  só  de  acordo  com  o   comando   que   recebiam   mas   também   de   acordo   com   o   conteúdo,   pelo   que   os   gestos   se   devem   adequar  aos  diferentes  tipos  de  conteúdos.  Para  além  disso,  o  cansaço  foi  um  factor  presente,  que   levou   muitos   participantes   a   mudarem   os   gestos   que   usavam   para   gestos   menos   exigentes/amplos.   Serve  este  estudo  para  revelar  outro  possível  contexto  de  aplicação  das  interfaces  gestuais  touch-­‐free,   que  já  se  materializa  também  nas  smartTV  presentes  nas  nossas  salas.