Jogos sérios para reabilitação cognitiva

Rui Miguel Barros Rocha

Jogos Sérios para Reabilitação Cognitiva

Rui Miguel Barros Rocha

outubro de 2015 UMinho | 2015 Jogos Sér ios par a R eabilit ação Cognitiv a

Universidade do Minho

Escola de Engenharia

outubro de 2015

Dissertação de Mestrado

Ciclo de Estudos Integrados Conducentes ao Grau de

Mestre em Engenharia e Gestão de Sistemas de Informação

Trabalho efectuado sob a orientação de

Professor Doutor Luís Paulo Reis

Professor Doutor Pedro Miguel Moreira

Rui Miguel Barros Rocha

Jogos Sérios para Reabilitação Cognitiva

Universidade do Minho

iii

Agradecimentos

Impõe-se que o primeiro agradecimento seja dirigido aos meus pais, às pessoas que lutaram toda a sua vida por mim, para me proporcionar uma educação e para me munir das ferramentas necessárias para singrar na vida. Obrigado Mãe e obrigado Pai. Obrigado por me fazerem ser quem sou, por me ensinarem os verdadeiros valores da vida e por me mostrarem o que significa família. Obrigado por me aturarem, e nós todos sabemos que não é fácil às vezes. Obrigado por terem estado sempre ao meu lado, nos sorrisos, no choro, no bom e principalmente no mau. Obrigado por serem os melhores Pais que alguém pode desejar. Fico com a certeza que nem que viva mil vidas vou ser capaz de vos agradecer o suficiente, e de que se um dia me tornar em metade da pessoa que ambos sois, vou ser muito feliz.

Obrigado à minha avó, à minha madrinha e ao meu tio, obrigado pelo apoio ao longo destes anos, por acreditarem em mim e por sempre me incentivarem a continuar.

Não posso deixar de fazer um agradecimento especial ao meu orientador, o Professor Doutor Luís Paulo Reis, obrigado por me deixar fazer parte desta investigação, por partilhar os seus conhecimentos comigo e por me guiar durante todo este processo.

Quero agradecer ao Professor Pedro e à Paula Rego, pelo apoio e pelos comentários, que sem dúvida enriqueceram o meu trabalho.

Agradeço especialmente à Professora Mónica, pelo apoio e pela ajuda fundamental na conclusão deste trabalho.

Tenho tanto para te Agradecer Sara, que todas as folhas da minha tese não chegavam para o explicar. És muito mais do que a minha namorada, és minha companheira, minha amiga e minha confidente. Foste o meu pilar nos últimos dois anos, a tua fé em mim, mesmo quando nem eu acreditava, trouxe-me esperança e guiou-me durante este longo caminho. Passei por momentos complicados, mas a certeza do teu sorriso fez me sempre acreditar que era possível. O teu contributo nesta tese estende-se muito além das tuas revisões (os erros que isto não tinha se não fosses tu), foi a tua companhia que tornou as minhas noites menos solitárias, foi a tua paciência que me permitiu dedicar tanto tempo a este trabalho e foi a tua força, a tua luta que me inspirou a querer e ser mais. Obrigado por partilhares a tua vida comigo. Amo-te.

Aos meus companheiros de guerra, André, Baia, Cunha, Marco e Matos, fazer este curso sem vocês não tinha sido a mesma coisa e não tinha tido metade da piada. Fecho este ciclo da minha vida com a certeza de que nunca mais vou encontrar melhor grupo para trabalhar, nunca me vou rir tanto a tratar assuntos tão sérios. Partilhar estes últimos anos convosco mais do que um privilégio foi uma honra. Obrigado pelos momentos que nunca esquecerei, a todos vocês tenho o prazer de poder chamar amigos.

v

Resumo

A reabilitação pode ser definida como um processo arquitetado em resposta a mudanças de vida não planeadas impostas por doenças ou acidentes traumáticos. A reabilitação cognitiva consiste numa forma de terapia, focada em restaurar funções que se mantêm parcialmente intactas, aplicada a pessoas com algum tipo de défice cognitivo, como perda de memória. O problema das abordagens tradicionais está na falta de motivação e desinteresse dos pacientes em realizar tarefas repetitivas. Surge então o conceito de jogos sérios, jogos cujo objetivo principal não é somente o entretenimento. O objetivo principal da presente investigação foi o estudo, e inclusão, de um conjunto de caraterísticas que permitissem inovar na forma de abordar os processos de terapia cognitiva, tornando-os mais motivadores para os pacientes. Materializou-se este objetivo com o desenvolvimento, e teste, de um conjunto de jogos sérios, baseados em jogos apropriados existentes e validados, que contêm um conjunto de caraterísticas inovadoras desenhadas para promover a motivação de pacientes. De entre estas características destacam-se a interface de interação multimodal, apoiada sobre uma abordagem natural (NUI). Neste sentido, um dos jogos desenvolvidos foi adaptado para ser controlado através de comandos de voz. Foi introduzida uma vertente social, apoiada nos conceitos de colaboração e competição, assim, os jogos multiplayer desenvolvidos basearam-se não só na competição entre utilizadores mas também numa perspetiva de jogo em equipa. A vertente competitiva foi ainda reforçada com a introdução do conceito de handicap, cujo objetivo é garantir o equilíbrio entre os utilizadores. Estes jogos foram testados numa população de 58 pessoas e realizaram-se segundo duas vertentes: online e presencial. De forma geral, os sujeitos reportaram uma experiência de jogo positiva em relação a todos os jogos, embora os valores mais altos se tenham registado na vertente multiplayer. As caraterísticas sociais parecem assim contribuir para uma boa experiência de jogo, especialmente a vertente de competição. Os dados indicam ainda que a vertente colaboração é a que mais fomenta o contacto e a interação entre os utilizadores. Em relação às modalidades de interação, é possível observar um favorecimento do rato em relação à voz. Ainda em relação à interface de interação, foi possível perceber que os resultados relativos à experiência de interação por voz, são melhores, quando os utilizadores recebem acompanhamento específico, explicativo de como utilizar a tecnologia. No futuro, espera-se alargar os testes realizados a uma população de sujeitos com vários tipos de limitações, e envolvidos num processo de terapia cognitiva.

vii

Abstract

Rehabilitation can be defined as a process devised in response to unplanned life changes imposed by diseases or traumatic accidents. Cognitive rehabilitation is a form of therapy, focused on restoring functions that remain partially intact, applied to people with some form of cognitive impairment such as memory loss. The problem of traditional approaches is the lack of motivation and lack of interest of patients to perform repetitive tasks. This is where the concept of serious games can be of benefit, whose main objective is not only entertainment. The main objective of this research was the study, and inclusion of a set of features that allow innovate in order to address the cognitive therapy processes, making them more motivating to patients. This goal was materialized through the development and testing of a number of serious games based on existing and appropriate validated games, which contain a number of innovative features designed to promote motivation in patients. Among these features stand out the multimodal interaction interface, based on a natural approach (NUI), in this sense, one of the games developed was adapted to be controlled by voice commands. A social perspective, supported by the concepts of collaboration and competition was introduced. Thus, the developed multiplayer games were based not only on competition between users but also in a perspective of team play. The competitive perspecdtive has been further enhanced with the introduction of a handicap concept, which aims to ensure the balance between users. These games have been tested in a population of 58 people and took place in two parts: online and in person. In general, the subjects reported a positive gaming experience for all the games, although higher values have been recorded in the multiplayer aspect. Social characteristics seem to contribute to a good gaming experience, especially the competition aspect. The data also indicate that is the collaboration that fosters more contact and interaction between users. Regarding the interaction modalities is possible to observe a tendency to choose the mouse over the voice. Also in relation to the interaction interface, it is noted that the results for the voice interaction experience are best when users receive specific follow-up, explaining how to use the technology. In the future it is expected to broaden testing to a population of subjects with various kinds of limitations, and involved in cognitive therapy process.

ix

Índice

Lista de Figuras ... xii

Lista de Tabelas ... xiii

1. Introdução ... 15

1.1. Problema ... 15

1.2. Motivação ... 16

1.3. Objetivos e Resultados Esperados ... 17

1.4. Estrutura do documento ... 18

2. Enquadramento Teórico ... 21

2.1. Reabilitação cognitiva ... 21

2.1.1. O processo de reabilitação ... 21

2.1.2. O papel da motivação na reabilitação ... 22

2.2. Jogos Sérios ... 23

2.3. Jogos sérios em reabilitação cognitiva ... 25

2.4. Interfaces de interação ... 29

2.5. Características sociais ... 38

2.5.1. Colaboração ... 40

2.5.2. Competição ... 41

2.5.3. Sistema de Handicapping ... 42

2.6. Análise de Linguagens de Desenvolvimento ... 43

Sumário ... 46

x

3.1. Estratégia de Revisão da Literatura ... 51

3.2. Metodologia de Investigação ... 52

3.3. Preocupações Éticas ... 57

3.4. Riscos Associados ... 57

3.5. Descrição das Atividades ... 61

3.6. Gestão do Tempo e Atividades ... 63

3.7. Análise de Esforço ... 64

3.8. Cronograma do Projeto ... 65

4. Plataforma desenvolvida: Rehab+ ... 69

4.1. Arquitetura da Solução ... 69 4.2. Jogos Desenvolvidos ... 71 4.2.1. Jogo de memória ... 71 4.2.2. Jogo de ordenação ... 72 4.2.3. Jogo de cálculo ... 75 4.2.4. Jogo do galo ... 78 4.2.5. Plataforma Rehab+ ... 79 4.3. Caraterísticas integradas ... 80 4.3.1. Interface de interação ... 80 4.3.2. Cooperação ... 81 4.3.3. Competição e Handicapping ... 82 4.4. Implementação... 83 4.5. Testes ... 86

5. Análise dos resultados ... 89

5.1. Caracterização da amostra ... 89

5.2. Resultados do Questionário CEGEQ... 90

xi

5.4. Diferenças entre as modalidades de interação ... 94

5.5. Análises das vertentes single player e multiplayer ... 95

5.6. Análise dos questionários IMI e SUS ... 95

6. Conclusões ... 97

Referências Bibliográficas ... 101

Anexos ... 113

Anexo I ... 115

xii

Lista de Figuras

Figura 1. Cenário do jogo America´s Army ... 24

Figura 2. Exemplos gráficos do jogo de Caglio et. al. (2009) ... 26

Figura 3. Testes do estudo de Cameirão et. al. (2009) ... 26

Figura 4. Interface gráfica dos sistemas comerciais de jogos sérios para reabilitação cognitiva . 27 Figura 5. Interface de interação do sistema Rehacom ... 28

Figura 6. Dispositivos de interação comerciais ... 37

Figura 7. Leap Motion ... 38

Figura 8 - Exemplos de utilização de jogos de cooperação ... 40

Figura 9 Ciclos de DSR de Hevner ... 53

Figura 10. Modelo DSR da investigação ... 56

Figura 11. Matriz de riscos ... 59

Figura 12. Gráfico da análise de esforço ... 65

Figura 13. Cronograma do projeto ... 67

Figura 14 - Arquitetura da Platadorma Rehab+ ... 70

Figura 15 - Jogo de memória ... 72

Figura 16 - Jogo Ordenação multiplayer ... 72

Figura 17 - Jogo Ordenação Single Player ... 73

Figura 18- Jogo cálculo mental single player ... 75

Figura 19 - Mensagem informativa jogo cálculo mental ... 76

Figura 20 - Modalidade de voz do jogo cálculo mental ... 77

Figura 21 - Cálculo mental multiplayer ... 78

Figura 22 - Jogo do galo ... 78

Figura 23 - Plataforma Rehab+ ... 79

Figura 24 - Exemplo de utilização microfone no Jogo Cálculo Voz ... 81

Figura 25- Demostração software Teamplayer ... 84

xiii

Lista de Tabelas

Tabela 1. Linguagens de desenvolvimento... 45

Tabela 2. Motores de jogo ... 46

Tabela 3. Comparação dos jogos sérios revistos ... 49

Tabela 4. Diretrizes DSR de Hevner e colaboradores (2004) ... 52

Tabela 5. Riscos vs. Ações atenuantes ... 60

Tabela 6. Descrição das Atividades ... 62

Tabela 7. Tabela de Atividades ... 64

Tabela 8. Caracterização da amostra ... 89

15

1. Introdução

Neste capítulo pretende-se introduzir o tema abordado nesta investigação. A base de qualquer investigação deve ser a identificação do problema a que se propõe dar resposta, inicia-se portanto este capítulo clarificando-inicia-se o porquê das terapias cognitivas bainicia-seadas em abordagens tradicionais rapidamente se tornarem repetitivas e desmotivadoras para os pacientes. Em seguida será apresentada a motivação para a realização deste estudo, onde se pretende salientar a importância de inovar no desenvolvimento de um conjunto de jogos que inclua caraterísticas sociais e formas de interação naturais. Posteriormente elucida-se sobre os objetivos do presente estudo, partindo do objetivo geral e decompondo-o depois em objetivos mais específicos, pretende-se também aqui referir os resultados expectáveis com a prepretende-sente investigação. Termina-pretende-se o presente capítulo com um resumo geral da estrutura deste documento de dissertação destacando os pontos-chave de cada capítulo.

1.1.

Problema

A reabilitação pode ser definida como um processo arquitetado em resposta a mudanças de vida não planeadas impostas por doenças ou acidentes traumáticos (Gunasekera & Bendall, 2005; WHO, 2014). A reabilitação cognitiva em particular é utilizada como forma de tratamento em pacientes vítimas de acidentes vasculares cerebrais (Warlow, et. al., 2008) ou de lesões cerebrais. Só nos Estados Unidos da América, todos os anos 1.7 milhões de pessoas são vítimas deste tipo de lesões, maioritariamente causadas por quedas (35.2%) e acidentes de trânsito (17.3%) (Faul, Xu, Wald, & Coronado, 2010). Para estes pacientes a melhor hipótese de recuperação passa pela reabilitação cognitiva (Corrigan, Whiteneck & Mellick, 2004; Keith, et al., 2011). Assim, os processos de reabilitação cognitiva assumem-se fundamentais nas vidas e na recuperação deste tipo de pacientes.

Vários estudos sobre reabilitação mostram que esta é mais eficaz quando os pacientes seguem programas de treino intensivo, orientado ao alcance de um objetivo e dividido em tarefas específicas executadas repetitivamente (Burke, et al., 2009; Burke et al., 2010). Contudo, os pacientes consideram frequentemente estes processos repetitivos e aborrecidos (Burke, et al., 2009), tornando difícil manterem-se interessados durante todo o processo, levando muitas vezes a que não completem os tratamentos. O problema destas abordagens tradicionais está na falta de motivação e desinteresse dos pacientes em realizar estas tarefas repetitivas. Os profissionais de reabilitação acreditam que a motivação dos pacientes desempenha um papel importante no

16

sucesso da terapia (Griffiths & Hughes, 1993; Gubrium & Buckholdt, 1989; Kaufman & Becker, 1986), pelo que manter os pacientes motivados durante todo o processo se torna crucial para uma reabilitação mais eficiente.

Percebe-se assim que os processos de reabilitação cognitiva são, além de necessários, fundamentais para a recuperação destes pacientes. É possível também perceber que a motivação dos pacientes representa um papel fulcral durante a terapia e constitui um fator decisivo no sucesso da mesma, desde logo afetando a sua perceção da terapia. Pacientes altamente motivados percebem com maior facilidade que a terapia é o meio mais importante para a sua recuperação e tentam desempenhar um papel ativo durante todo o processo de reabilitação (Maclean, Pound, Wolfe & Rudd, 2000). De igual modo se percebe que as terapias cognitivas apresentadas nos moldes tradicionais rapidamente se tornam repetitivas e desmotivadoras para os pacientes, e este é o problema a que se propõe contribuir com conhecimento e soluções. Ajudar a criar ferramentas (um conjunto de jogos sérios) que possam atenuar este facto e possam contribuir para dinamizar os processos de terapia, prendendo a atenção dos pacientes durante todo o processo e motivando-os durante o longo caminho da recuperação.

1.2.

Motivação

Os jogos sérios constituem-se como uma área de pesquisa multidisciplinar, em crescimento e bastante atrativa. A utilização de jogos para outras finalidades que não o puro entretenimento apresenta uma oportunidade aliciante de trabalhar numa área atual e com muita margem de progressão. Constitui um desafio muito interessante olhar para estes portais de entretenimento por outras perspetivas e descobrir-lhes outras utilidades que se provarão tão úteis para a humanidade, neste caso para ajudar em processos de reabilitação cognitiva.

Nesta investigação em particular, torna-se particularmente aliciante a junção do mundo das tecnologias com o da saúde, mais especificamente, o da reabilitação. Constitui um fator extra de interesse a pretensão de inovar no desenvolvimento de um conjunto de jogos que conte com uma interface de interação multimodal, o mais natural possível, de forma a atenuar ao máximo quaisquer limitações físicas que estes pacientes possuam, assim como explorar uma vertente social, até agora pouco ou nada vista neste tipo de jogos, desde logo características de colaboração e competição entre pacientes, que possam ser usadas como fonte extra de motivação e pela introdução do conceito de handicap aplicado a estes jogos, como forma de garantir que pacientes

17

com diferentes tipos de limitações possam ainda assim competir entre si pela via destes mesmos jogos.

A reabilitação é utilizada em todo o mundo para devolver a independência àqueles que, muitas vezes sem culpa, a perderam por circunstâncias da vida. Os acidentes vasculares cerebrais são os principais responsáveis pela perda de faculdades, a longo prazo, em adultos (Warlow, et. al., 2008). É através de processos de reabilitação que estas pessoas podem recuperar alguma, ou toda a plenitude das suas faculdades. Deste modo, torna-se fulcral estudar e criar alternativas às terapias convencionais, sempre com o pensamento de melhor servir estes pacientes no seu caminho de recuperação, não só das suas vidas, mas também das vidas de todos os que os rodeiam.

1.3.

Objetivos e Resultados Esperados

O principal objetivo deste estudo é o desenvolvimento de um conjunto de jogos com caraterísticas inovadoras, incluindo a colaboração, competição e o conceito de handicapping.

Para este objetivo ser alcançado, esta investigação abarca uma série de objetivos mais específicos:

 Estudo e definição de um conjunto de características a incorporar nos jogos que os possam tornar aptos para utilização em reabilitação cognitiva;

 Estudo de interfaces de interação natural, sob uma perspetiva multimodal, que tornem a experiência de jogo mais natural e acessível;

 Análise da dimensão social (competição e colaboração) e do conceito de handicapping, como meios de potenciar a motivação dos pacientes durante todo o processo de reabilitação;

 Desenvolvimento de um conjunto de jogos, baseado em jogos já existentes, segundo as diretrizes identificadas durante esta investigação.

 Realização de testes utilizando os jogos desenvolvidos.

O alcance destes objetivos consubstanciar-se-á em dois resultados expectáveis, um conjunto de jogos sérios capaz de demonstrar a utilidade da sua utilização em processos de terapia cognitiva e na produção da dissertação que documentará todo o trabalho realizado. Espera-se que este conjunto de jogos sérios seja capaz de mostrar as potencialidades das características sociais ao nível da motivação dos pacientes, provando que a interação entre pacientes, quer através de colaboração quer através de competição pode ser muito positiva, traduzindo-se em melhorias dos

18

processos terapêuticos, e por consequência em melhorias nas vidas dos pacientes. Espera-se que os jogos desenvolvidos também sirvam como plataforma de introdução de um sistema de handicapping, e que se mostrem capazes de mostrar as mais-valias de uma interface multimodal que incorpore interfaces de interação naturais.

Espera-se que com o alcance destes objetivos e consequentemente dos resultados obtidos, se possa contribuir para a criação de novos conhecimentos na área dos jogos sérios, em particular na sua aplicação em processos de terapia cognitiva. Mais particularmente, espera-se numa fase em que este conceito é pouco ou nada utilizado nestes moldes, contribuir para a definição do conceito de handicap aplicado aos jogos sérios para reabilitação cognitiva.

De igual modo espera-se poder contribuir para o estudo e definição das características sociais (colaboração e competição) e dos moldes em que estas devem ser utilizadas neste contexto. Espera-se também que esta investigação possa contribuir para o alargamento de conhecimento nesta área e no futuro fomente e inspire outras investigações que levem à mudança de paradigma nos processos de terapia cognitiva, contribuindo para a conceção de processos terapêuticos mais eficazes e aprazíveis para os pacientes.

1.4.

Estrutura do documento

O presente documento estrutura-se em seis capítulos: Introdução, Enquadramento Teórico, Abordagem metodológica, Plataforma desenvolvida, Análise dos resultados e Conclusões. O primeiro capítulo (Introdução) apresenta o tema de forma sucinta, elucida sobre o problema abordado, esclarece quanto à motivação para a presente investigação e acaba com a descrição da estrutura e organização para o restante do documento.

O segundo capítulo (Enquadramento Teórico) propõe espelhar toda a revisão da literatura. Aqui define-se com detalhe os diversos temas e áreas abordadas nesta investigação, são abordados e analisados os conceitos de reabilitação, reabilitação cognitiva e jogos sérios. Explica-se o papel da motivação nas terapias de reabilitação e faz-Explica-se uma revisão geral dos jogos sérios já existentes na área da reabilitação cognitiva. As características incorporadas no desenvolvimento dos jogos sérios são aqui abordadas: interfaces de interação e características sociais, colaboração e competição. Introduz-se o conceito de handicapping abordado nesta investigação, e efetua-se uma análise das linguagens de programação e motores de jogo revistos para o desenvolvimento dos jogos. Este capítulo é finalizado com um sumário da revisão da literatura e com a apresentação de uma tabela (Tabela 3) comparativa dos estudos revistos.

19

O terceiro capítulo refere-se à forma como a presente investigação foi gerida e conduzida. Inicia-se por esclarecer quanto à estratégia de revisão da literatura utilizada, em seguida elucida-se quanto à metodologia de investigação escolhida, por elucida-se tratar de uma investigação que contempla a realização de uma série de testes faz-se um compromisso relativamente às preocupações éticas tidas em consideração durante o presente estudo. Posteriormente são enumerados e analisados os riscos associados à investigação e delineadas ações de mitigação dos mesmos. Para terminar, todas as atividades levadas a cabo durante a investigação são enumeradas e descritas, aludindo-se ainda ao esforço empregue na sua realização. Conclui-se este capítulo com a apresentação do cronograma do projeto.

O capítulo seguinte aborda a plataforma desenvolvida, iniciando por explicar a arquitetura da solução e por expor todos os jogos desenvolvidos e as suas caraterísticas. Em seguida clarifica-se ao pormenor acerca das várias caraterísticas propostas na preclarifica-sente investigação que foram integradas nos jogos sérios desenvolvidos, mais concretamente: as interfaces de interação utilizadas, e os conceitos de cooperação, competição e handicapping. Posteriormente fornece-se uma explicação de como a plataforma foi implementada. Por fim explana-se a forma como os jogos desenvolvidos foram testados, a planificação destes testes e o procedimento seguido durante a sua realização.

No quinto e penúltimo capítulo do presente documento são analisados os resultados obtidos com base nos questionários preenchidos pelos sujeitos envolvidos nos testes à plataforma, recorrendo-se a diversas tabelas e gráficos ilustrativos.

Finaliza-se o presente documento com uma reflexão relativamente a todo o trabalho realizado e abordam-se perspetivas para o seu desenvolvimento futuro.

21

2. Enquadramento Teórico

Esta investigação constrói-se com recurso a várias disciplinas. Neste capítulo fornece-se uma visão teórica apoiada na revisão da literatura efetuada, dos vários temas em estudo. Pretende-se que este capítulo espelhe aquilo que a literatura fornece acerca destes temas e fundamente as escolhas feitas ao longo da investigação acerca do melhor curso a seguir. Em primeiro lugar será explicado o que se entende por terapia cognitiva e abordada a importância da motivação neste processo, de seguida define-se o conceito de jogos sérios e a sua utilização em terapias cognitivas, por fim abordam-se uma série de características a incorporar nos jogos a desenvolver: interfaces de interação, colaboração, competição e o conceito de handicap.

2.1. Reabilitação cognitiva

As sequelas neurológicas e físicas permanentes são uma consequência comum em milhares de pessoas que todos os anos são vítimas de acidentes vasculares cerebrais, traumatismos crânio-encefálicos e uma série de doenças degenerativas como a doença de Alzheimer ou Parkinson. Estão bem documentados os benefícios e a importância de terapias de reabilitação (Cicerone, 2011; Dean & Shepherd,1997; Sohlberg & Mateer, 1989) na recuperação desta população.

2.1.1. O processo de reabilitação

A reabilitação pode ser definida como um processo arquitetado em resposta a mudanças de vida não planeadas impostas por doenças ou acidentes traumáticos, cujo objetivo é permitir a pessoas com algum tipo de deficiência alcançar e manter os seus níveis físicos e sensoriais ideais, fornecendo-lhes as ferramentas necessárias para o alcance da sua independência (Gunasekera & Bendall, 2005; WHO, 2014). Mais especificamente, a reabilitação cognitiva consiste numa forma de terapia aplicada a pessoas com algum tipo de défice cognitivo, como perda de memória ou problemas de atenção. Estas terapias são usualmente categorizadas como restauradoras ou compensatórias. Enquanto a primeira visa ensinar os pacientes a lidar com as suas dificuldades, a segunda, abordada nesta pesquisa, foca em restaurar funções que se mantêm parcialmente intactas (ECRI Institute, 2011).

As terapias de reabilitação cognitivas podem ser utilizadas em tratamentos de diversos quadros clínicos como a doença de Alzheimer, acidentes vasculares cerebrais, encefalites, doença

22

de Parkinson, entre outros e atuam em funções cognitivas como a memória, fala, concentração e atenção, entre outras (Cicerone, 2011; Sohlberg & Mateer, 1989).

Tipicamente estes processos ocorrem em hospitais ou clínicas sob a supervisão de um terapeuta. Contudo a colaboração entre profissionais de diferentes áreas é aconselhável e encorajada (Brown & Ricker, 2003). Vários inquéritos realizados em clínicas dos EUA mostram que estes processos são frequentemente levados a cabo por profissionais de campos distintos da saúde. Na maioria das vezes por terapeutas da fala, neuropsicólogos e terapeutas ocupacionais (Ashley & Persel, 2003; Mazmanian, Kreutzer, Devany, & Martin, 1993).

2.1.2. O papel da motivação na reabilitação

Vários estudos sobre reabilitação mostram que esta é mais eficaz quando os pacientes seguem programas de treino intensivo, orientado ao alcance de um objetivo e dividido em tarefas específicas executadas repetitivamente (Burke, et al., 2009; Burke et al., 2010). Contudo, os pacientes consideram frequentemente estes processos repetitivos e aborrecidos (Burke, et al., 2009), tornando difícil manterem-se interessados durante todo o processo, levando muitas vezes a que não completem os tratamentos. O problema destas abordagens tradicionais está na falta de motivação e desinteresse dos pacientes em realizar estas tarefas repetitivas. Os profissionais de reabilitação acreditam que a motivação dos pacientes desempenha um papel extremamente importante no sucesso da reabilitação (Griffiths & Hughes, 1993; Gubrium & Buckholdt, 1989), pelo que manter os pacientes motivados durante todo o processo se torna crucial para uma reabilitação mais eficiente. Segundo Maclean, Pound, Wolfe e Rudd (2000) pacientes altamente motivados percebem mais facilmente que a reabilitação é não só fundamental, mas em muitos casos a única esperança, para a sua recuperação e estão mais dispostos a desempenhar um papel ativo durante todo este processo.

Embora não se encontre uma definição consensual na literatura (Clark & Smith, 1997; Wolff, 1969) para motivação, por não ser fácil determinar a sua natureza e o que a determina, ou como a medir, para os propósitos desta investigação, entende-se motivação como a vontade de um paciente em trabalhar na sua recuperação através de processos de reabilitação, como o processo responsável por manter o comportamento e a atitude durante toda a terapia, é aquilo que faz os pacientes darem o melhor de si para conquistarem o seu objetivo, a melhor recuperação possível. Isto é o que segundo Ryan e Deci (2000) podemos chamar de motivação intrínseca. Mas a motivação pode ser explicada segundo duas teorias, motivação intrínseca e extrínseca (Ryan &

23

Deci, 2000). A motivação extrínseca advém de fatores externos ao indivíduo, pode acontecer sob a forma de uma recompensa, ou até mesmo fatores sociais como a competição podem atuar como fator de motivação extrínseca (Dewani, V. (2013). É neste quesito que os jogos sérios podem desempenhar um papel fundamental, contribuindo para o aumento dos níveis motivacionais dos pacientes, e funcionando como motivadores extrínsecos, possibilitando assim uma perspetiva diferente dos processos tradicionais de terapia de reabilitação. Nas secções seguintes (2.2. Jogos Sérios e 2.3. Jogos sérios em reabilitação cognitiva) este tema será melhor explorado.

2.2. Jogos Sérios

O conceito de jogos sérios remonta a 1970. Este termo foi utilizado pela primeira vez no livro “Serious Games”, de Clark Abt (Abt, 1970). Embora no livro se aborde principalmente jogos de cartas e de tabuleiro, a definição fornecida para jogos sérios permanece atual e continua a ser aceite: “… estes jogos têm um propósito educacional específico e bem pensado e não se destinam a ser usados principalmente para o divertimento”.

Nos últimos anos, o conceito de jogos sérios tem ganho uma nova importância, muito impulsionados pela proliferação dos jogos de vídeo e por poderem ser aplicados em diversas áreas, como a militar e a saúde, entre outras. A organização Woodrow Wilson International Center for Scholars criou e lançou em 2002 a iniciativa “Serious Games Initiative”, com o intuito de encorajar a criação de jogos sérios que abordem questões politicas e de gestão (Susi, Johannesson & Backlund, 2007). Em 2004 outras iniciativas nasceram, das quais se destacam a Games for Change (Games for Change, 2014) e a Games for Health (Games for Health, 2014), com o intuito de focar a investigação em problemas sociais e de saúde respetivamente. Em 2009 foi organizada a primeira conferência dedicada aos jogos sérios, a VS-GAMES’09, pelo Serious Games Institute em Inglaterra (Rego, Moreira & Reis, 2010).

Atualmente este conceito de jogo encontra-se bem presente no mundo das tecnologias. Ben Sawyer, co-fundador da Serious Games Initiative, citado por Susi, Johannesson e Backlund (2007) afirmou que globalmente os jogos sérios representam um mercado com um valor estimado em 18 milhões de euros.

Jogos Sérios é a definição literal do termo “Serious Games”, em termos muito práticos trata-se de uma perspetiva mais séria e responsável dos jogos de vídeo, onde o entretenimento deixa de ser o objetivo principal (Michael & Chen, 2006). Embora não se trate de um conceito propriamente novo, não existe atualmente nenhuma definição aceite como única do termo.

24

Michael e Chen (2006) define-os como jogos que não têm como objetivo principal o entretenimento. Para Zyda (2005), o entretenimento é o ponto de partida, mas é a componente pedagógica da narrativa que fornece as instruções que permitem a aprendizagem que caracteriza os jogos sérios. Em suma, embora não possamos apontar para uma definição única de jogos sérios, tem sido consensual entre os autores, defini-los como jogos com um objetivo principal específico, muito além de puramente entreter. Estes jogos têm vindo a ser aplicados, com sucesso, em diversas áreas: militar (Numrich, 2008), educação (Connolly, Stansfield & Hainey, 2007; Wangenheim & Shull, 2009) e saúde (Blackman, 2005; Sawyer, 2008), entre outras. O exemplo com mais notoriedade foi desenvolvido nos EUA, na área militar, com o jogo America’s Army (Americas_Army, 2014).

Este jogo, desenvolvido pelo exército Americano, pretende simular as condições experienciadas pelos militares em missões de guerra (Figura 1), e foi desenhado com o intuito de ajudar no recrutamento de novos soldados.

Os jogos sérios podem ser de vários géneros e utilizar diversas tecnologias, facto que tem vindo a impulsionar a sua criação e disseminação, as plataformas móveis Android e iOS por exemplo, oferecem-nos cada vez mais jogos de brain training e cognitive stimulation, cujo objetivo não passa apenas por divertir mas por estimular o pensamento e o raciocínio. Este tipo de jogos pode e deve continuar a divertir e entreter os utilizadores, mas deve servir para desenvolver uma capacidade ou para transmitir conhecimento, um ensinamento. Para os propósitos desta investigação jogos sérios serão definidos como jogos de computador cujo propósito principal é o

Figura 1. Cenário do jogo America´s Army

25

alcance de um objetivo específico, alavancado pela componente de entretenimento e capacidade do jogo em prender a atenção do seu utilizador.

2.3. Jogos sérios em reabilitação cognitiva

Como já foi referido, estes jogos podem ser aplicados em diversas áreas, desde programas de treino militar até à área educativa, nesta investigação o foco será a aplicação dos jogos sérios em terapias de reabilitação cognitiva.

Os processos de reabilitação seguem, por norma, programas de treino intensivo, compostos por tarefas repetitivas e monótonas para os pacientes (Burke et al., 2009; Burke et al., 2010). A introdução de jogos sérios nestes processos pode ajudar na motivação dos pacientes, aumentando o seu interesse pelos exercícios a realizar. Estes jogos devem ser criados tendo em conta características que sejam capazes de estimular e treinar funções cognitivas assim como características que requeiram algum tipo de atividade motora, de forma a estimular e atrair a atenção dos pacientes (Krichevets et al., 1995).

O principal objetivo da reabilitação cognitiva é a melhora das capacidades cognitivas afetadas em resultado das lesões cerebrais sofridas. Assim, este processo foca-se em devolver aos pacientes o máximo de independência possível e o melhor funcionamento possível das suas funções cognitivas. Estes processos focam frequentemente faculdades cognitivas como a atenção, concentração, memória, raciocínio, a resolução de problemas, língua e a capacidade critica, entre outros. Estas faculdades podem ser treinadas e desenvolvidas com recurso a jogos de vídeo (Mitchell & Savil-Smith, 2004).

Diversos estudos a abordarem a utilização de jogos sérios na área da reabilitação cognitiva foram já realizados. Em (Conconi, et al., 2008) os autores apesentam a plataforma PlayMancer com o intuito de desenvolver jogos sérios de forma rápida, focados em perturbações comportamentais e de adição. Esta plataforma contempla uma interface de interação multimodal (voz, toque, biossensores e captura de movimentos). O objetivo deste jogo era aumentar as capacidades de resolução de problemas dos pacientes, melhorar o autocontrolo e controlar comportamentos impulsivos.

Caglio, Latini-Corazzini, D’Agata, Cauda, Sacco, Monteverdi, Zettin, Duca e Geminiani (2009) criaram um simulador de condução 3D (Figura 2) com o intuito de perceber as modificações que ocorrem em funções cognitivas (memória espacial e verbal) em pacientes vítimas de Traumatismo crânio-encefálico.

26

Cameirão e colaboradores (2009) desenvolveram um jogo baseado na captura de movimentos com uma câmara (Figura 3) para vítimas de acidentes vasculares cerebrais e traumatismos crânio-encefálicos. Este jogo reúne características relacionadas com funções motoras e cognitivas, o sistema utiliza os movimentos captados para ativar sistemas neuronais intactos que fornecem estimulação direta para as áreas motoras afetadas pelas lesões cerebrais.

Os estudos revistos anteriormente referem-se a protótipos em fase de desenvolvimento e teste. Contudo existem já alguns sistemas comerciais, utilizados em hospitais e clinicas de reabilitação que devem ser mencionados, tais como o Rehacom (Hasomed, 2011; Maia et. al., 2004), StrongArm (StrongArm, 2014), Parrot Software (Parrot Software, 2014) e o software cognitivo Gradior da Fundación INTRAS (Intras, 2014). Destes destaca-se o sistema Rehacom, por

Figura 2. Exemplos gráficos do jogo de Caglio et. al. (2009)

Figura 3. Testes do estudo de Cameirão et. al. (2009)

Fonte: Caglio, M., Latini-Corazzini, L., D’Agata, F., Cauda, F., Sacco, K., Monteverdi, S., Zettin, M., Duca, S., Geminiani, G. (2009). “Video game play changes spatial and verbal memory: Rehabilitation of a single case with traumatic brain injury,” Journal of Cognitive Processing, 10, pp. 195--197.

Fonte: Cameirão, M., Badia, S., Zimmerli, L., Oller, E., Verschure, P. (2009). “The Rehabilitation Gaming System: a Review,” Studies in Health Technology and Informatics, 145, pp. 65—83.

27

ser utilizado por várias clínicas e ter resultados comprovados cientificamente (Fernández et. al., 2012; Hasomed, 2011). Este será o sistema de referência nesta investigação. Na Figura 4 apresenta-se as interfaces gráficas de cada uma destas soluções comerciais.

O sistema StrongArm é utilizado em pacientes de acidentes vasculares cerebrais, pacientes com Alzheimer, e crianças com dificuldades de aprendizagens, entre outros. Além da sua utilização em centros de reabilitação, hospitais e escolas, este sistema pode ser utilizado pelos pacientes em casa (StrongArm, 2014).

O software Parrot, apesar de ter sido concebido para a reabilitação da fala, conta agora com mais módulos, que incluem a memória, atenção e o raciocínio. Para além do seu uso em hospitais e clinicas de reabilitação este sistema pode ser utilizado em casa e conta ainda com um modelo de subscrição online, em alternativa à compra do software (Parrot Software, 2014).

Os softwares da fundação INTRAS disponibilizam programas de reabilitação na área da atenção, memória, perceção, orientação e cálculo, e tal como os anteriores são utilizados em hospitais, clinicas assim como em casa dos pacientes.

Figura 4. Interface gráfica dos sistemas comerciais de jogos sérios para reabilitação cognitiva

A. Rehacom Software. Fonte: http://www.rehacom.com/images/RehaCom_Katalog_international_2014_09_Web.pdf B. StrongArm Software. Fonte: http://www.strongarm.org.uk/visaten.html

C. Gradior Softwre. Fonte: http://www.intras.es/images/documentos/Gradior/catalogo-productos%20-gradior.pdf D. Parrot Software. Fonte: http://www.parrotsoftware.com/catalog.pdf

28

O sistema Rehacom foi escolhido como referência para esta investigação por se tratar de um sistema amplamente implementado e bem estabelecido em diversos hospitais e centros de reabilitação, e assim contar com um grande número de pacientes, permitindo-lhe um acesso mais fácil e uma melhor avaliação da sua eficácia. Este sistema foi concebido em 1986 por Hans Regel, e tem sofrido sucessivas revisões há mais de 20 anos, fruto da sua utilização e da aprendizagem de profissionais experientes na área, desde 1996 que o seu desenvolvimento está a cargo da empresa Hasomed. É líder de mercado na Europa e está disponível em diversas línguas. Atualmente é utilizado em diversas áreas como a psicologia clínica, geriatria e desporto, entre outras. Dispõe de vários módulos que permitem treinar diversas faculdades cognitivas distintas, como a atenção, memória, coordenação e raciocínio lógico, entre outras. A interação com este sistema pode ser feita com recurso a um painel especial (Figura 5), um teclado de computador, rato ou um ecrã táctil. Todos os jogos deste sistema possuem gráficos simples (Figura 4), a duas dimensões. O sistema não contempla características como a colaboração ou a competição entre outros pacientes, uma vez que permite que apenas um utilizador de cada vez possa interagir com os jogos. É disponibilizado feedback aos pacientes relativamente à sua performance nos jogos, e os programas de treino são adaptativos, o que permite que a dificuldade das tarefas a executar seja ajustada de forma automática mediante a performance de cada paciente, garantindo assim que cada utilizador está a operar ao seu nível, nem com um gau de dificuldade muito elevado nem muito baixo.

Figura 5. Interface de interação do sistema Rehacom

29

2.4. Interfaces de interação

Muitos dos pacientes que recorrem a este tipo de terapias, para além das dificuldades cognitivas, apresentam como resultado da sua condição várias limitações físicas (Alankus et. al., 2010; Ma & Bechkoum, 2008). Torna-se assim essencial diminuir as limitações dos jogos no que diz respeito à usabilidade e interação, com recurso a interfaces de interação, o mais naturais possíveis e segundo uma abordagem multimodal (Karray et. al., 2008; Oviatt, 2003).

O termo multimodal refere-se à combinação de múltiplas modalidades, que neste caso em concreto dizem respeito à forma como o sistema recebe os seus input/output (Jaimes, & Sebe, 2007). Assim, a abordagem multimodal consiste numa combinação com mais do que uma tecnologia de interação, como forma de input ou output (Jain, Lund, & Wixon, 2011) que deve servir como facilitador da interação entre o homem e o computador (Karray et. al., 2008). Uma interface multimodal pode incorporar diferentes combinações de voz, gestos e expressões faciais, assim como outras formas de interação mais convencionais como ratos e teclados. A combinação mais usual na literatura utiliza gestos e voz simultaneamente (Oviatt, 2003). No que diz respeito à utilização de formas de interação mais naturais, verifica-se a colaboração entre diferentes modalidades como forma de assistência no processo de reconhecimento de sinais. Por exemplo a captação dos movimentos labiais pode ajudar com o reconhecimento de voz (Karray et. al., 2008).

As interfaces multimodais oferecem diversas vantagens relativamente a interfaces de interação mais tradicionais. Desde logo oferecem uma experiência de utilização mais natural e amigável. Por exemplo o Sistema Real Hunter (Chai, Hong & Zhou, 2004), uma aplicação desenhada para ajudar os utilizadores a encontrar casas, oferece a possibilidade aos utilizadores de apontarem com o dedo para uma casa e fazerem questões ao sistema sobre essa casa, utilizando a sua voz (Chai, Hong & Zhou, 2004). Este tipo de interação combinada e complementar utilizando gestos e vozes ilustra o tipo de experiências de interação naturais que uma abordagem multimodal pode disponibilizar. De igual modo, uma abordagem multimodal poder ser utilizada de forma a munir o sistema com redundância que permita abrir a utilização do sistema a pessoas diferentes e em circunstâncias diferentes (Faria et al., 2013). A aplicação MATCHKiosk (Johnston & Bangalore, 2004), um guia interativo de Nova Iorque, permite utilizar voz ou escrita para efetuar pesquisas no mapa da cidade. Os utilizadores deste tipo de sistemas parecem preferir abordagens multimodais por as diferentes modalidades serem mais adequadas para diferentes ações, suportando-se assim mutuamente e possibilitando métodos alternativos para todo o tipo de pessoa

30

interagirem com o sistema (Ibrahim & Johansson, 2003). A utilização destas abordagens é essencial no desenvolvimento de sistemas para pessoas com défices físicos, principalmente no que diz respeito à movimentação dos membros superiores (Morikawa & Lyons, 2013; Reis, Faria, Vasconcelos & Lau, 2015; Ronzhin & Karpov, 2005).

Interfaces de interação naturais são um tipo de interação entre homens e máquinas baseadas na análise do comportamento automático natural do homem. As ações do homem são interpretadas pelas máquinas como comandos que controlam as operações do sistema (Ogiela & Hachaj, 2014). Isto significa que os utilizadores são capazes de utilizar o sistema com muito pouco treino, uma vez que estes comportamentos já estão enraizados nas suas experiências diárias, o que reduz o custo de utilização do sistema, assim como o tempo de aprendizagem e habituação aos comandos do sistema. Estas interfaces permitem ao utilizador interagir com o sistema sem que se aperceba que está a utilizar uma interface, permitindo em muitos casos que esta interação aconteça sem existir contacto com qualquer tipo de dispositivo físico (Steinberg, 2012).

O principal objetivo desta abordagem é aproximar a forma como interagimos com o computador da forma como interagimos com o mundo (Jain, Lund, & Wixon, 2011). Para tal estas interfaces são desenhadas com base no comportamento humano e com recurso a dispositivos de iteração diferentes dos tradicionais ratos, teclados ou ecrãs táteis. Este desenho permite uma interação do utilizador com o sistema através de movimentos naturais, que realiza no seu dia-a-dia, permitindo assim diminuir a curva de aprendizagem dos controlos do sistema, tornando-o mais fácil de manusear e intuitivo (Blake, 2010; Rego, Moreira & Reis, 2012; Steinberg, 2012).

Qualquer limitação física que estes pacientes possam apresentar deve ser mitigada através de uma perspetiva de fusão entre uma abordagem multimodal e a utilização de interfaces de interação naturais. Assim, o desenvolvimento destes jogos deve contemplar o uso de tecnologias que favoreçam a utilização dos sentidos humanos (Caschera, Ferri & Grifoni, 2007; Grifoni, 2009).

Uma abordagem natural multimodal possibilita um ambiente de interação mais flexível, apelativo, motivador e integrador através de diversas tecnologias de interação. Estas tecnologias podem ser agrupadas em três grandes modalidades segundo a sua natureza: baseadas em visão, áudio ou sensores/sensações (Jaimes & Sebe, 2007).

As tecnologias baseadas em visão são as mais identificadas na literatura. Uma visão geral desta modalidade pode ser descrita como a interpretação de qualquer comportamento humano que possa ser reconhecido como um sinal visual (Karray, Alemzadeh, Saleh, & Arab, 2008). De

31

entre as várias tecnologias existentes destacam-se: a análise de expressões faciais (Moussa & Magnenat-Thalmann, 2009), a deteção de movimentos corporais (Gerling, Livingston, Nacke Mandryk, 2012), reconhecimento de gestos (Chang, Chen & Chuang, 2011) e seguimento do movimento dos olhos (Ciger, Herbeliny & Thalmannz, 2004; Jacob & Karn, 2003; Mohamed, Silva & Courboulay, 2008).

A análise de expressões faciais trabalha com o reconhecimento das emoções expressadas pela face humana, através de uma séries de características observadas pelo movimento/posicionamento dos olhos, sobrancelhas, nariz e boca, entre outros. A análise destas características pode ocorrer de duas formas, estática, quando se analisa apenas o estado final de um movimento facial, ou de forma dinâmica, através da monitorização da variação destas características no tempo (Cowie, et. al, 2001). Esta tecnologia permite entre outras coisas a medição da satisfação dos utilizadores, o que pode ser incorporado como uma forma de apuro do grau de satisfação do utilizador em relação aos jogos (Li & Jain, 2011). Um dos problemas mais comummente apontado a esta tecnologia é o fato de as pessoas esconderem e disfarçarem deliberadamente as suas emoções numa tentativa de não se exporem nem revelarem informação a seu respeito (Cowie, et. al, 2001), levando a erros de reconhecimento e má interpretação dos comandos utilizados.

A deteção de movimentos corporais e reconhecimento de gestos (Menach, 2000) são as abordagens mais comuns na literatura e são usualmente utilizadas como uma forma de interação direta com o sistema, numa perspetiva de um comando do utilizador despoletar uma ação no sistema (Kirishima, Sato & Chihara, 2005). O reconhecimento de gestos pode ser aplicado a todo o corpo (Gavrila, 1999), ou pode fazer uso de gestos específicos, como os movimentos da cabeça (Bradski, 1998). Esta técnica é particularmente útil em pacientes de mobilidade reduzida e com limitações ao nível dos membros superiores. Os algoritmos mais recentes permitem a utilização desta técnica comcâmaras de vídeo comuns, e podem ser utilizados como forma de interação direta com o sistema, por exemplo utilizando movimentos da cabeça para a direita e esquerda para fazer o utilizador deslocar-se para a esquerda ou direita no jogo (Bradski, 1998). A forma mais usual de aplicação desta tecnologia é através da utilização de gestos das mãos. O reconhecimento destes gestos pode ser alcançado através do uso de data gloves que permitem registar com precisão a flexão de cada dedo, contudo esta é uma abordagem mais intrusiva e que pode provocar desconforto aos utilizadores (Wachs, Kölsch, Stern Edan, 2011). Este reconhecimento pode também ser concretizado através de câmaras de vídeo, o que constitui uma

32

técnica não intrusiva, de reconhecimento passivo e silencioso, sendo o hardware necessário para a captura e processamento destes sinais, comercializado a custos bastante mais baixos (Wachs, Kölsch, Stern Edan, 2011). Um estudo de Gerling, Livingston, Nacke e Mandryk (2012), analisou a utilização de jogos de vídeo baseados em interação natural, nomeadamente interação full-body, ou seja, com recurso a gestos executados com qualquer parte do corpo, num grupo de idosos com dificuldades de movimentação. A interação com o jogo desenvolvido foi conseguida através do uso do dispositivo Kinect (Microsoft, 2014) que através da sua camara RGB e sensor de profundidade fornece recursos de captura 3D de movimentos do corpo inteiro (Microsoft, 2014). Neste estudo foi desenvolvido um jogo com recurso a uma série de gestos pré-definidos: levantar um braço, levantar ambos os braços, bater palmas, andar no mesmo sítio, dizer adeus e permanecer de pé apoiado apenas num pé, entre outros. Teve-se especial atenção na definição destes movimentos para que a maioria deles pudesse ser executado com os participantes sentados, devido às suas limitações físicas. Os resultados deste estudo indicam que os participantes tiveram uma boa experiência ao nível do divertimento. De igual modo foram registados níveis baixos de dificuldade e de cansaço durante a utilização do jogo. Deste estudo depreende-se ainda que gestos das mãos e braços são mais fáceis de executar e de aprender, especialmente se forem gestos já conhecidos de ações diárias (por exemplo levantar um braço). Alguns utilizadores acharam que os gestos eram demasiado simples e que faltava alguma competição na execução dos mesmos.

A utilização dos olhos como forma de interação com computadores tem as suas origens na análise do olhar fixo, ou seja, para aquilo o que uma pessoa está a olhar (Duchowski, 2002; Duchowski, 2007). Os desenvolvimentos nesta área possibilitam agora o seguimento do movimento dos olhos, permitindo que pessoas com dificuldades de movimentos, especialmente ao nível dos membros superiores, possam interagir com computadores, por exemplo usando os olhos para mover o cursor do rato e piscar um olho como forma de um clique (Bulling, & Gellersen, 2010; Jacob & Karn, 2003). Apesar de ser comum a captação destes sinais por dispositivos similares a câmaras de vídeo, já é possível integrar estes sistemas num par de óculos comuns (Tobii, 2015). A análise do olhar permite-nos estabelecer uma ligação entre o utilizador e aquilo a que ele está a prestar atenção (Bulling, & Gellersen, 2010; Jacob & Karn, 2003). Baseados neste princípio, Dickie e colaboradores (2005) desenvolveram duas aplicações, um reprodutor de vídeo que pausa automaticamente quando o utilizador desvia o olhar do ecrã, e uma aplicação de leitura de livros digitais que avança o texto conforme o utilizador avança na sua leitura. Utilizando o

33

mesmo princípio um sistema semelhante poderia ser implementado nos jogos para que os mesmos pausassem quando o utilizador desvia o olhar, ou sendo a concentração uma das modalidades versadas no treino cognitivo, esta tecnologia pode mostrar-se igualmente útil neste tipo de jogos, por exemplo para analisar quais os elementos do jogo a que os utilizadores prestam mais atenção. Numa perspetiva multimodal, esta tecnologia pode ser conjugada por exemplo com reconhecimento de voz ou com formas de interação mais tradicionais. Zhai e colaboradores (1999) desenvolveram um sistema onde o deslocamento do cursor do rato era conseguido através do olhar enquanto as ações de clique e seleção continuavam a ser executadas com o rato. A revisão da literatura permite perceber que as tecnologias baseadas em visão são as mais frequentes formas de interação naturais com jogos de vídeo e apresentam bons resultados relativamente à experiência de uso dos utilizadores e à facilidade de habituação e utilização.

As tecnologias baseadas em áudio lidam com informação proveniente de diversos sinais sonoros. Embora a natureza destes sinais não seja tão diversa como a de sinais visuais, a informação adquirida pode ser mais confiável e útil (Karray, et. al., 2008). Várias tecnologias emergem segundo esta modalidade. Historicamente o reconhecimento de voz (Schroeder, 2004) tem merecido maior destaque por parte dos investigadores, contudo a tentativa de integrar emoções humanas na interação entre homem e computador levou à análise de emoções através da voz (Pierre-Yves, 2003; Ververidis & Kotropoulos, 2006). Também outro tipo de sinais sonoros não-verbais, tipicamente humanos, como suspiros têm sido analisados como forma de melhorar a análise de emoções através do áudio (Schröder, Heylen & Poggi, 2006).

O reconhecimento da voz consiste na interpretação dos comandos de voz ditados pelo utilizador para serem usados como método de controlo do sistema (Schroeder, 2004) As pesquisas científicas relacionadas com o tratamento de sinais de áudio têm vindo a trabalhar naquele que é o um dos maiores desafios do reconhecimento de voz, o desenvolvimento de sistemas capazes de operar bem em ambientes barulhentos. Para isso os avanços tecnológicos têm-se focado em melhorar a exatidão e a capacidade de os sistemas perceberem a linguagem natural dos humanos (Schneiderman, Deng & Sejnoha, 2015). Outro campo de investigação na área da captação e análise de sinais de áudio prende-se com o reconhecimento de emoções através da voz. O que esta técnica se propõe a fazer é identificar automaticamente, a partir da voz, o estado emocional ou físico do utilizador (Ververidis & Kotropoulos, 2006). É possível identificar-se emoções desde aborrecimento, raiva, tédio, medo e indiferença, entre outras (Ververidis & Kotropoulos, 2006). Esta tecnologia é atualmente utilizada por exemplo em sistemas de reserva

34

de bilhetes automatizados, programados para perceber se o utilizador demonstra aborrecimento ou frustração, e modificar a sua resposta em função disso (Ang, Dhillon, Krupski, Shriberg Stolcke, 2002); Schiel, F. Steininger & Türk, 2002). Existem igualmente estudos na área da medicina, onde terapeutas aplicam esta tecnologia na deteção de sinais de depressão e risco de suicídio (France, Shiavi, Silverman, Silverman & Wilkes, 2000; Ozdas, Shiavi, Silverman, Silverman & Wilkes, 2004). Um estudo de Kostoulas e colaboradores (2012) desenvolveu, no contexto do projeto PlayMancer, um projeto que suporta a implementação de uma plataforma de jogos sérios, uma interface com duas componentes, reconhecimento de voz e reconhecimento de emoções através da voz. Em ambos os casos foram alcançados resultados positivos com esta técnica.

Desde há vários anos que as tecnologias baseadas em áudio lidam não só com reconhecimento de voz, mas fazem uso também de outros sons emitidos pelo aparelho vocal humano que não a voz, tais como assobios, sussurros, gemidos e zumbidos, entre outros (Igarashi & Hughes, 2001; Sporka, Kurniawan, Mahmud & Slavík, 2006). Esta forma de interação com os sistemas já se provou eficaz no que diz respeito ao controlo do cursor do rato (Bilmes, et. al., 2005) e na emulação de teclados (Poláček, Sporka & Míkovec, 2012; Sporka, Kurniawan & Slavík, 2006), assim como forma de interação em jogos (Harada, Wobbrock & Landay, 2011; Sporka, Kurniawan, Mahmud & Slavík, 2006). Sporka e colaboradores (2006) adaptaram um comum jogo de Tetris para receber tanto comandos verbais como não-verbais. Os comandos verbais passaram simplesmente pelos utilizadores dizerem “esquerda” para mover as peças para e esquerda ou “direita” para as moverem para a direita, enquanto os comandos verbais se caracterizaram por uma espécie de gemido (“hmmm”) que com um tom mais elevado deslocaria as peças para a direita e um tom menos elevado deslocaria as peças para a esquerda. De forma geral os participantes deste estudo acharam os métodos de intervenção bastante mais divertidos do que os típicos teclados. Comentaram também que estes métodos de intervenção seriam bastante apreciados por utilizadores com dificuldades motoras. Os resultados sugerem que os controlos não-verbais mostraram ser mais precisos e serem passiveis de executar de forma mais rápida.

A utilização de tecnologias mais recentes e sofisticadas, como biofeedback, sensores de captura de movimentos e sensores hápticos, podem ser especialmente úteis para utilizadores com grandes limitações físicas.

Sistemas de captura de movimento são uma tecnologia muito utilizada em cinema, animação e em jogos de vídeo. Muitas são baseados em fatos vestidos pelos utilizadores (Karray, Alemzadeh, Saleh & Arab, 2008), que permitem captar todos os movimentos efetuados por eles.

35

Esta técnica para além de invasiva torna-se pouco adequada para indivíduos com limitações físicas.

A tecnologia háptica baseia-se em feedback tátil, através da aplicação de forças ou vibrações aos utilizadores (Hayward, Astley, Cruz-Hernandez, Grant & Robles-De-La-Torre, 2004). Esta tecnologia é frequentemente utlizada em robótica e realidade virtual. Os robôs humanóides atuais possuem esta tecnologia de forma a torná-los sensíveis e conscientes ao toque (Göger, Weiß, Burghart & Wörn, 2006).

Biofeedback é um processo que utiliza os sinais fisiológicos dos indivíduos com o objetivo de os manipular e utilizar como forma de interação com um sistema (AAPB, 2008; Conconi, et. al., 2008). Existem duas perspetivas no que diz respeito à utilização de tecnologias baseadas em biofeedback. Por um lado podem ser utlizados sinais fisiológicos controlados indiretamente pelo utilizador como o batimento cardíaco e as ondas cerebrais. Esta perspetiva refere-se portanto a sinais que não podem ser explicitamente influenciados pelo utilizador e como tal não perfazem uma forma eficaz de interação com os sistemas, por serem muito limitativas em termos de experiência de jogo. Por outro lado a utilização de sinais fisiológicos controlados diretamente pelos utilizadores (por exemplo a flexão dos músculos ou padrões de respiração) pode ser utilizada eficazmente como forma de interação, principalmente em pessoas com dificuldade de movimentação (Nacke, Kalyn, Lough & Mandryk, 2011).

Esta abordagem utiliza diversas tecnologias biosensoriais tais como a eletroencefalografia, eletromiografia, eletrocardiografia, medição de mudanças respiratórias e sensores de temperatura, entre outras (Kuikkaniemi, Laitinen, Turpeinen, Saari, Kosunen & Ravaja, 2010).

A eletroencefalografia é uma forma de interação cérebro-computador que estuda o registo das correntes elétricas desenvolvidas no cérebro através de elétrodos aplicados no couro cabeludo. Esta tecnologia permite então detetar os sinais cerebrais que ocorrem quando um indivíduo executa um movimento físico voluntário. Este movimento provoca alterações nas ondas cerebrais, que acontecem durante a preparação desse movimento (por exemplo levantar um braço). Esta tecnologia pode ser útil para indivíduos com dificuldades físicas, uma vez que essas alterações precedem a ocorrência do movimento que se pretende executar, ou seja, o movimento não teria de ser executado, sendo apenas necessário pensar na sua execução (Barreto, Scargle, & Adjouadi, 2000).

36

A eletromiografia mede a atividade elétrica da ativação do tecido muscular e pode ser utilizado na deteção de emoções quando aplicada na zona da face (Saponas, Tan, Morris & Balakrishnan, 2008).

A eletrocardiografia estudo a atividade do coração através de sensores colocados no corpo. É difícil controlar de forma consciente a atividade do coração, no entanto a frequência cardíaca pode ser utilizada como uma forma de interação indireta com os jogos (Nacke, Kalyn, Lough & Mandryk, 2011).

A monotorização de mudanças respiratórias é conseguida através de sensores colocados no peito dos utilizadores que medem a taxa e o volume da respiração. Por ser mais fácil de controlar, pode ser utilizado como forma de interação direta com um sistema (Nacke, Kalyn, Lough & Mandryk, 2011).

A temperatura corporal pode ser utilizada como forma indireta de interação. Os sensores de temperatura são colocados à superfície da pele (Nacke, Kalyn, Lough & Mandryk, 2011).

Kuikkaniemi, Laitinen, Turpeinen, Saari, Kosunen e Ravaja (2010) aplicaram ambas as abordagens (controlo direto e indireto) como forma de interação com um jogo de tiros na primeira pessoa. O estudo revela que o controlo direto aumenta a qualidade da experiência de jogo, quando comparado com o controlo indireto. Os utilizadores aprenderam rapidamente a utilizar estes comandos, considerando-os divertidos e capazes de aumentar a sua imersão no jogo assim como o nível de desafio. Em suma, esta tecnologia apesar de poder ser implementada com sucesso e apresentar bons resultados mostra-se mais adequada quando os sistemas pressupõe a sua utilização por indivíduos com grandes limitações físicas.

Conclui-se então que a interface de interação destes jogos deve servir como meio de mitigação das limitações físicas dos seus utilizadores e como uma forma de aproximar os jogos dos utilizadores. Permitindo-lhes que façam uso de movimentos naturais que já conhecem das suas vivências diárias. Esta interface deve incluir várias formas de interação que sejam preferencialmente complementares e permitam uma interação mais natural e intuitiva com o sistema. O mecanismo de interação com um sistema deve ter em consideração a resposta por parte do próprio sistema, ou seja, os outputs do sistema e assim permitir aos utilizadores receber informação do sistema também através de várias modalidades, por exemplo através de efeitos sonoros e gráficos.

Diversos estudos têm sido conduzidos sobre a utilização destas tecnologias em jogos sérios. Conconi e colaboradores (2008) estudaram as aplicações da deteção de movimentos e

37

reconhecimento de expressões faciais, Flynn, Palma e Bender (2007) trabalharam com tecnologias de seguimento dos movimentos dos olhos, Moussa e Magnenat-Thalmann (2009) testaram o reconhecimento de voz enquanto Saposnik e colaboradores (2010), realizaram experiências com a deteção de movimentos.

As grandes empresas de jogos de vídeo apostam cada vez mais nestas formas de interação e estas encontram-se cada vez mais presentes no mercado. O Microsoft Kinect (Microsoft, 2014), Nintendo Wii (Nintendo, 2014) e o Sony PlayStation Move (Sony, 2014), apresentados na Figura 6, são apenas alguns dos dispositivos mais comummente disponibilizados comercialmente.

O dispositivo Microsoft Kinect é já bastante utilizado em programas de reabilitação física (Chang, Chen & Huang, 2011; Chang, et. al, 2012; Da Gama, Chaves, Figueiredo & Teichrieb, 2012; Lange, et. al,2012). Os resultados destes estudos indicam que a utilização deste dispositivo e deste tipo de interfaces de interação melhoram a motivação dos utilizadores o que leva a melhor performance durante a execução dos exercícios e reduz a necessidade de intervenção dos terapeutas durante o processo (Mousavi & Khademi, 2014). Factos que levam os utilizadores a sentirem-se mais determinados, confiantes e independentes (Chang, Chen & Huang, 2011). Vários utilizadores destes sistemas manifestam vontade de continuar a utilizá-los mesmo após o final dos programas de reabilitação. Num estudo levado a cabo por Chang e colaboradores (2011) os utilizadores sugeriram que os exercícios pudessem ser praticados com dois ou mais pacientes em simultâneo. Para eles isto tornaria a terapia mais agradável e haveriam benefícios a ganhar com os incentivos dos colegas em terapia. Também diversos estudos em reabilitação cognitiva foram

Figura 6. Dispositivos de interação comerciais

A. Microsoft Kinect. Fonte: http://www.xbox.com/pt-PT/xbox-one/accessories/kinect-for-xbox-one B. Playstation Move. Fonte: https://www.playstation.com/pt-pt/explore/ps3/accessories/ C. Nintendo Wii. Fonte: http://www.nintendo.pt/Wii/Wii-mini/

38

já realizados não só com o Microsoft Kinect (Black, 2013; González Díaz-Pernas, Martínez-Zarzuela & Antón-Rodríguez, 2014; Sáenz-de-Urturi, Zapirain & Zorrilla, 2014) assim como com o Wiimote (Hu, Wang, Cao, Hao & Brown, 2013).

Entre estes sistemas comercializados encontra-se também o Leap Motion (Leap Motion, 2014), um dispositivo de captura de movimentos, poses e gestos das mãos (Figura 7) que permite aos utilizadores manipular o computador.

Existem já diversos estudos realizados com este dispositivo relativamente a programas de terapia, por exemplo em pacientes em recuperação após acidentes vasculares cerebrais (Khademi, Mousavi, McKenzie, Dodakian, Lopes & Cramer, 2014). Khademi e colaboradores (2014) adaptaram um jogo de vídeo com o intuito de testes a viabilidade do uso do dispositivo Leap Motion em programas de terapia para pacientes vítimas de acidentes vasculares cerebrais. O estudo revelou uma avaliação qualitativa positiva do sistema e os resultados obtidos de leituras efetuadas a partir do dispositivo mostraram-se consistentes com diversos testes médicos utilizados na área.

2.5. Características sociais

A motivação assume um papel essencial durante a terapia de reabilitação, um paciente comprometido com o seu programa aumenta as suas probabilidades de sucesso. Estimular os pacientes durante todo processo mostra-se assim fulcral no alcance dos objetivos, para isso é fundamental encontrar um equilíbrio entre o trabalho e o entretenimento, é necessário tornar a terapia mais divertida, desafiante e apelativa. A interação social em jogos de vídeo evidenciou efeitos positivos em testes com indivíduos saudáveis, no que diz respeito à experiência de jogo (Vanacken, Notelaers, Raymaekers, Coninx, Hoogen, Jsselsteijn, & Feys, 2010). O mesmo pode ser alcançado com pacientes em reabilitação através de características de interação social

Figura 7. Leap Motion