Sistema SHaRe

O sistema SHaRe [7] [8] é um dispositivo desenvolvido para a área da reabilitação, nomeadamente para o treino da motricidade fina da mão/pulso, sendo constituído por um dispositivo físico instrumentado, presentemente materializado sob a forma de um copo, e aplicações desenvolvidas em computador que constituem diferentes jogos interativos.

O dispositivo permite monitorizar a força de preensão através de uma célula de carga, permite também identificar a orientação do copo com auxílio de um IMU e possibilita ainda a capacidade de saber se o copo está pousado ou não numa superfície através de um sensor LDR. A comunicação dos dados recolhidos entre o dispositivo e o computador onde corre a aplicação, é feita por ligação sem fios, MiWi.

O dispositivo é controlado por um microcontrolador da Microchip responsável pela aquisição de informação, provenientes dos elementos sensoriais e pela comunicação sem fios.

O sistema SHaRe, disponibiliza atualmente um conjunto de aplicações já desenvolvidos. No entanto para o desenvolvimento da sonificação foi escolhida apenas uma, a aplicação FOG. A aplicação FOG, acrónimo para Following Mug foi desenvolvida no motor de jogos Unity, utilizando linguagem de código C#. Baseia-se no conceito “Jogo sério” e permite a realização de exercícios que promovem o movimento da mão/pulso.

Sonificação de dispositivos instrumentados utilizados em reabilitação

20

O funcionamento da aplicação FOG é descrito de seguida.

Funcionamento:

• Depois de inicializado o sistema e ser escolhido o modo de jogo, o utilizador deverá suportar o copo físico (SHaRe) com a mão. (Figura 4.5).

Figura 4.5 - À esquerda o utilizador “agarra” o copo, à direita seleção da dificuldade

• A aplicação FOG tem como primeiro objetivo, obrigar o paciente a procurar posicionar o copo virtual “azul” da aplicação (o de menor tamanho, que se encontra na figura 4.6 ao centro) que recebe informação do sistema físico, no interior do copo “vermelho” (de maior tamanho, que se encontra à esquerda na figura 4.6).

Figura 4.6 - Ambiente da aplicação – Primeiro objetivo

Quando é selecionado o modo fácil o copo “azul” é controlado através da inclinação do copo físico do utilizador (SHaRe), que vai definir a orientação e a velocidade.

Quando é selecionado o modo difícil o copo “azul” é controlado com a inclinação e com força de preensão efetuada pelo utilizador no copo SHaRe, em que a inclinação dada ao SHaRe define a orientação do copo “azul” e a força de preensão a velocidade.

• Após a colocação do copo “azul” no interior do copo “vermelho”, este muda a sua cor para verde sendo o segundo objectivo a manutenção desta situação durante cinco segundos (Figura 4.7).

Sonificação de dispositivos instrumentados utilizados em reabilitação

21 Figura 4.7 - Ambiente da aplicação - Segundo objetivo

• Após se ter concluído o segundo objetivo, o jogo faz um reset gerando uma nova posição, aleatoriamente, para o copo “vermelho”, repetindo-se assim o ciclo.

Estrutura sonora

Foi estabelecida uma estrutura global para inserção de excertos de músicas ou geração de sons, à aplicação FOG, procurando-se deste modo disponibilizar a presença do feedback sonoro para determinadas ações, procurando aumentar a envolvência do utilizador, influenciando-o de forma positiva.

Toda a estrutura do design sonoro foi desenvolvida com o software Pd. A integração do Pd na aplicação Unity foi realizada com auxílio da biblioteca Libpd4unity.

Com o objetivo de vir a ter um maior envolvimento no público-alvo considerou-se a presença de músicas conhecidas, como som de fundo da aplicação, sendo toda a metodologia apresentada de seguida em “Sonificação com excertos musicais”. Caso o utilizador não pretenda a presença musical, poderá optar pela opção de sons interativos apresentado em “Sonificação com geração de sons interativos”, podendo ser utilizada a função mute se o utilizador não pretender nenhuma das opções anteriores.

Para permitir a seleção da opção desejada foi criado um menu bilingue (Figura 4.8) que permite ao utilizador escolher a opção que mais lhe agrada.

Figura 4.8 - Menu de escolha

Foi criada uma divisão na parte estrutural do design sonoro, obtendo-se assim 3 etapas principais (Figura 4.9) que simbolizam as diferentes etapas que constituem o jogo, sendo necessária uma clara distinção nas músicas / sons de modo a criar uma relação com a ação decorrida em cada uma das partes.

Sonificação de dispositivos instrumentados utilizados em reabilitação

22

Figura 4.9 - Relação entre o Grafcet do design sonoro e da aplicação FOG

Sonificação com excertos musicais

1ª Etapa

Na primeira etapa, para motivar o utilizador durante a realização do 1º objetivo propõe-se a escolha de quatro excertos de músicas para cada estilo musical considerado. Sempre que o utilizador passa pela primeira etapa do jogo, há uma alteração de música dentro do mesmo estilo escolhido previamente, procurando evitar assim a saturação do utilizador.

Para a escolha dos excertos procurou-se apoio nas características musicais associadas a estados de felicidade sendo essencial selecionar:

• Músicas com ritmo alegre, vivo e marcante; • Melodias simples, claras;

• Melodias com pouca alteração nas intensidades;

• Músicas com mais influência na sociedade em que as pessoas tendencialmente e, na generalidade, relatam uma sensação de agrado quando as escutam.

Cumprindo estes requisitos foram selecionados os seguintes excertos musicais como possíveis indutores de estados de felicidade e apresentados na tabela 4.1.

Sonificação de dispositivos instrumentados utilizados em reabilitação

23 Tabela 4.1 - Excertos musicais

Música clássica Música Rock/Pop Música Portuguesa

Edvard Grieg - Morning mood Bobby McFerrin - Don't Worry Be Happy

Taxi - Chiclet

John Pachelbel - Canon Louis Armstrong - What a wonderful world

Rio Grande - Postal dos Correios Gabriel Fauré - Sicilienne Beatles - All Together Now Jorge Palma - Frágil

Beethoven - Fur Elise Lou Bega - Mambo No. 5 Doce - Quente,quente,quente

2ª Etapa

Na segunda etapa, de forma a influenciar o utilizador a conseguir completar o segundo objetivo, ou seja, manter durante 5 segundos o copo na mesma posição, averiguou-se que seria relevante a obtenção de um ritmo que origine um ambiente de atenção e foco, mostrando ao utilizador que durante os 5 segundos terá de estar concentrado apenas na manutenção da posição. A melhor forma de criar a sensação de desafio durante um jogo é produzindo um som de um temporizador. Desta forma, o utilizador ao sentir o ritmo atinge um estado de atenção e foco, em que se vê na necessidade de estar alerta para agir rápido com as diferentes situações que possam surgir, como por exemplo no final de um jogo existir uma contagem decrescente para a pessoa saber que o tempo se está a esgotar. É nessa situação que uma pessoa atinge picos de adrenalina por saber que o jogo está a acabar e que tem que se esforçar para obter a melhor pontuação. Outra propriedade que gere esta ânsia enunciada anteriormente é a reprodução de ritmos de pulsação, idênticos ao som de batimento cardíaco. Esta técnica é usada em cenas de filmes ou jogos em que é reproduzido o som do batimento cardíaco para gerar uma circunstância de suspense, o que deixa a pessoa num estado de ansiedade para ver o que irá acontecer. Tendo em conta as duas particularidades abordadas, e para obter um som que desperte os efeitos pretendidos no paciente, optou-se por juntar um som de um temporizador, tipo “tic-tac” de um relógio [27], com um ritmo de pulsação, idêntico ao batimento cardíaco a marcar o início de cada compasso.

3ª Etapa

Na terceira etapa pretende-se congratular o utilizador por ter conseguido alcançar o objetivo. Neste contexto é desejável o despertar de uma sensação de realização, em que a pessoa se deverá sentir alegre e satisfeita. Para despertar as emoções pretendidas considerou-se vantajosa a integração de sons relativos a celebrações. Partindo de uma linguagem universal um dos símbolos de celebração mais mediáticos são as palmas [28]. Querendo despertar esta sensação no utilizador da aplicação FOG, foi integrado o som de palmas logo que o utilizador conclua o 2º objetivo. Para além do som “palmas” foi também incorporado outro som que complementa as felicitações. Trata-se de um som desenvolvido através de síntese sonora com o auxílio do Pd, que apresenta notas com frequência crescente, marcando assim o momento da celebração como um momento alegre.

Sonificação de dispositivos instrumentados utilizados em reabilitação

24

Sonificação com geração de sons interativos

As variáveis disponibilizadas pelos sensores do dispositivo (Tabela 4.2) são utilizadas para a geração/modulação de sons.

Tabela 4.2 - Varáveis provenientes dos sensores do dispositivo SHaRe

Sensores Variáveis

IMU Orientação espacial do dispositivo Célula de carga Força de preensão

O IMU disponibiliza a orientação espacial sob a forma de quaternião que posteriormente são convertidos para ângulos de Euler. A célula de carga fornece informação que traduz a força de preensão exercida em kgf.

De seguida foram desenvolvidas implementações sonoras que a partir dos valores adquiridos geram uma modulação a um som. Esta modulação sonora, cujo a sonoridade é modelada em amplitude e em frequência, em tempo real, pelos valores das variáveis de orientação e força de preensão respetivamente, vem substituir a presença de excertos musicais durante a passagem pela 1ª etapa. A sonificação na segunda e na terceira etapa, mantêm-se sem qualquer alteração.

- Efeito de som 3D (modulação em amplitude)

Durante o desenvolvimento da aplicação foi necessário a integração de um sistema de eixos que é utilizado para definir os limites do movimento que o copo virtual pode realizar, bem como obter as coordenadas do copo “azul” (pequeno) em cada instante (Figura 4.10).

Figura 4.10 - Sistema de eixos do ambiente virtual

A posição do copo “azul” é apenas definida no plano XZ, sendo que o eixo XX representa a largura da sala, e o eixo dos ZZ representa a profundidade da sala virtual.

A variação da posição e orientação do copo “azul” provém da orientação espacial, fornecida pelo IMU presente no copo do utilizador (SHaRe), sendo que o copo “azul” inicia sempre a aplicação na posição “zero”. Quando o copo “azul” é inclinado para a direita incrementa o valor da coordenada XX movimentando-se na direção do lado direito da sala virtual, quando inclina para a esquerda decrementa o valor da coordenada XX movimentando-se na direção do lado esquerdo da sala, para o eixo dos ZZ acontece um procedimento idêntico tratando-se neste caso da profundidade (trás/frente).

Pretende-se deste modo, a partir do mapeamento da posição do copo “azul”, a integração de um feedback sonoro com efeito tridimensional, que ofereça ao utilizador perceção espacial. Para tal utiliza-se um sistema de reprodução estéreo, direita e esquerda, em que a amplitude do som reproduzido em cada saída de som varia consoante a posição do copo, quanto mais à direita,

Sonificação de dispositivos instrumentados utilizados em reabilitação

25 mais intenso será o som nessa saída, o mesmo comportamento para a saída da esquerda, esta variação esquerda/direita é feita pelo mapeamento do eixo XX. Para obter a noção de profundidade da sala o volume total das duas saídas de som sofre uma diminuição à medida que o copo azul se afasta, nesta situação a modulação da intensidade é feita pelo valor da leitura do eixo ZZ.

- Som de aproximação (modulação em frequência)

Foi desenvolvido um feedback sonoro que se altera em função da distância entre o copo “azul” e o copo “vermelho”, este mantendo-se fixo. Este valor é obtido calculando a distância entre a coordenada instantânea do copo “azul” e a coordenada do copo “vermelho”. Consoante o utilizador se aproxima do copo “vermelho” a distância diminui aumentando assim a frequência de reprodução (ritmo) do som construído. Esta interação apenas se encontra disponível no modo “fácil” da aplicação FOG.

-Som de força (modulação em frequência)

Foi concebido um feedback sonoro que varia de acordo com a força de preensão exercida pelo utilizador. A informação é dada pela leitura da variável proveniente da célula de carga. A variação da força exercida é usada para criar uma modulação em frequência de um som, sendo a frequência proporcional à força efetuada. Esta modulação apenas está disponível no modo difícil da aplicação FOG.

Com o intuito de tornar a aplicação FOG ainda mais interessante foram adicionados alguns sons característicos de jogos (Figura 4.11) que pretendem complementar as diferentes partes que constituem o jogo. Tratam-se de sons com construção simples e amostras de curta duração obtidos de uma base de dados online [29], que apenas dão entoação aos diferentes momentos vividos durante a experiência.

Sonificação de dispositivos instrumentados utilizados em reabilitação

26