Interfaces Gestuais

As tecnologias que se utilizam de interfaces gestuais ou baseadas em gestos são aquelas em que a comunicação com sistemas computacionais se dá sem interação física ou mecânica pelos dispositivos periféricos, comomouse, teclado ou toque pela superfície da tela (BARTOLI et al.,2014), sendo também conhecido como free form (SAFFER,2008).

Esse processo interativo se dá também de maneira mais natural identificando gestos ou partes do corpo humano, como mãos, olhos, músculos ou nervos, reconhecendo também expressões sensoriais do corpo humano como a voz e pulsos elétricos emitidos pelo cérebro, podendo ocorrer também a combinação de várias partes (SAFFER, 2008), (O’HARA et al.,2013), (SALIM, 2014). E as interfaces gestuais devem também obedecer aos princípios da usabilidade de IHC e de desenho das interfaces (NORMAN; NIELSEN, 2010).

Ao se utilizar as mãos como forma de reconhecimento dos gestos por essas interfaces, por exemplo, necessita-se do mapeamento das orientações e posições para que um sistema digital identifique que tarefas devem ser executadas e reconhecidas por meio desoftwares e de dispositivos dehardware como antenas, bastões, braceletes, câmeras, luvas, microfones e sensores de postura, presença ou profundidade (NORMAN; NIELSEN, 2010), (ERAZO;

PINO,2014).

Como dito anteriormente na seção3.1, o reconhecimento e rastreamento de objetos

3.3. Interfaces Naturais de Usuário 71

nasceu na área de Visão Computacional com o desenvolvimento de sistemas baseados na detecção dos dedos, como no trabalho pioneiro de (QUECK; MYSLIWIEC; ZHAO, 1995) e na área de detecção de tom de pele (KULESSA; HOCH, 1998). Atualmente estão presentes desde dispositivos portáteis até as tecnologias direcionadas a jogos eletrônicos, facilitando a execução das atividades cotidianas, de reabilitação e aprendizagem (MORÁN et al., 2013), desde que sejam apropriadas para PcDs, incluindo as com TDC.

Para este tipo de interface, há também repositórios com aplicações disponíveis, mas dependentes e ligadas ao tipo de dispositivo, de maneira gratuita ou paga, assim como nas interfaces sensíveis ao toque, existindo da mesma forma os direcionados às Pessoas com TDC e até à caligrafia. Como exemplos de tecnologias que se utilizam de interfaces gestuais, tem-se a Figura 9.

(a)ASUS Xtion Motion Sensor . Fonte:c

www.asus.com (b) Microsoft Kinect (Xbox 360) - Win And I .c Fonte: www.microsoft.com

(c)Leap Motion . Fonte: www.leapmotion.comc

(d) MYO Armband (Thalmic Labs) . Fonte:c www.myo.com

(e) Projeções Interativas - GestureTek (Parede,

Piso) c. Fonte:www.museudofutebol.org.br(f) Nintendo Wii (U) .c Fonte:

www.nintendo.com/wiiu

(g)PlayStation Move-Eye (Sony) .c

Fonte:www.playstation.com (h) Wisee: WiFi signals .c Fonte:

www.wisee.cs.washington.edu

Figura 9 – Exemplos de tecnologias gestuais recomendadas para pessoas com TDC.

72 Capítulo 3. Interfaces Digitais na Intervenção do TDC

A partir da Figura 9, que exemplifica tecnologias existentes no mercado disponibi-lizados em interfaces gestuais, elaborou-se a Tabela 8— criada a partir de uma Pesquisa Exploratória e Documental (GIL, 2002), ressaltando os desafios, potencialidades e limita-ções de cada tecnologia com a finalidade de comparar quais delas podem ser adaptadas, recomendadas ou utilizadas por pessoas com TDC ou outros transtornos, podendo atuar em atividades de educação, entretenimento, intervenção, reabilitação e/ou treinamento.

Tabela 8 – Caracterizações e Desafios em Tecnologias Gestuais. Fonte: Elaborado pelo autor. colabo-rativa por meio do acesso às redes sociais; Compatibilidade com jogos existentes.

Desativação domousee a necessidade de integrá-lo com o sensor de captura gestual; Resposta aos comandos com educação e em eventos (comerciais ou sociais).

Sensores de reconhecimento impreci-sos.

Leap Motion Atividades com controle de movimen-tos motores finos precisos. perfil e voz); Bom para exercícios, brincadeiras e terapias.

Não reconhece timbres de voz, movi-mentos lentos, instáveis e imprecisos;

Imprecisão dos movimentos e necessi-dade de foco maior nos dedos.

MYO Armband (Thalmic Labs)

Detecta a contração dos músculos dos braços; Não exige área pré-determinada para detecção dos movi-mentos.

Alcance do raio de 100m do disposi-tivo; Pulseira com tamanho único e não adaptáveis.

Nintendo Wii (U)

Boa sensibilidade aos movimentos; Jo-gos colaborativos.

Conexão à Internet (só executa no modoonline); Autonomia do console (gamepad); Gráficos e imagens dese-jáveis, tempo de vida da bateria re-duzido.

Lento quando logado na Internet; Si-milar ao Wii; Muito sensível aos mo-vimentos (processamento e reconheci-mento dos gestos); Calibração em 3 passos, Controle em bastão; Custo de aquisição.

Wisee: Wi-Fi signals

Agilidade nas tarefas cotidianas; Inte-rações baseadas em gestos para apli-cações do contexto residencial.

Comandos embutidos nos equipamen-tos; Necessidade de sinal apropriado e de calibração inicial; Manutenção;

Testes constantes.

Pela análise apresentada na Tabela 8, uma das ferramentas comentadas que se utiliza de interface gestual e que pode ser recomendada para pessoas com TDC é a tecnologiaLeap motion, sendo justificada no item3.3.2.1e que pode ser vista na Figura 9c.

3.3. Interfaces Naturais de Usuário 73

De modo geral, as interfaces gestuais e os dispositivos exemplificados também são amostras de tecnologias assistivas por ajudarem na comunicação e interação das PcDs. Especificamente, elas não são recomendadas para deficientes visuais em virtude das limitações que estes sujeitos têm e pela necessidade da visão para executá-las, mas podem gerar vantagens significativas de qualidade de vida para os demais.

3.3.2.1 Leap Motion

A tecnologia Leap motion¹ é um dispositivo de tamanho compacto com sensores infravermelhos e câmeras que têm a capacidade de rastrear e reconhecer somente os movimentos dos dedos e mãos de um usuário. A exigência da ferramenta é a necessidade de uma calibração antes de sua utilização para que um usuário novo se acostume em utilizá-la (NHO et al., 2014), (SEIXAS; CARDOSO; DIAS, 2015).

Esta ferramenta tem um controle dividido em 02 (duas) zonas: Hover Zone e a Touch Zone. A primeira capta movimentos de pouca profundidade como navegação geral do cursor na tela, localizando-se entre o usuário e o sensor. A segunda zona fica mais próxima do monitor, ativa botões e outros comandos equivalentes aos cliques de um mouse, por exemplo. Fica entre o sensor e o monitor do computador caso este seja utilizado (SUTTON, 2013).

OLeap motion é um exemplo de dispositivo que se utiliza de interfaces gestuais e tem chamado a atenção em virtude da precisão em reconhecer os movimentos e de seu custo financeiro de aquisição ser mais acessível que os outros dispositivos exemplificados na subseção 3.3.2 (POTTER; ARAULLO; CARTER,2013), (WEICHERT et al., 2013).

Além disso, suas dimensões físicas são mais confortáveis para mudança de ambiente e transporte por PcDs, tendo também uma capacidade de detecção do seu sensor mais precisa que de outros presentes no mercado e seu sistema de captação de movimentos é focado somente nas mãos (SHEN et al., 2014).

Como desvantagens e já ressaltadas na Tabela8, têm-se a necessidade de calibragem inicial por parte do usuário e exigida pelo dispositivo, assim como o controle das habilidades com gestos, servindo de desafio futuro desta tecnologia de maneira a se melhorar a calibração e o reconhecimento dos movimentos das mãos.

Este dispositivo também tem um conjunto de aplicações que podem ser gratuitas ou pagas estando disponíveis em (LEAPMOTION, 2016), tendo como exemplo de softwares a serem recomendados para utilização de crianças com TDC (NUNES; SILVEIRA,2015c) os listados na Figura 10, sendo que estes aplicativos podem ser avaliados pelo framework proposto e comparar o quanto é aderente à ele, utilizando o material do Apêndice N.

1 www.leapmotion.com

74 Capítulo 3. Interfaces Digitais na Intervenção do TDC

Estes aplicativos não resolvem o problema de pesquisa desta tese em virtude de não terem sido desenvolvidos seguindo asguidelines do framework.

(a) Skywriting Alphabets (b)Floatmotion

(c) BT Handwriting Free

(d)Herbi Write About

Figura 10 – Aplicativos doLeap Motion App Store recomendados para pessoas com TDC.

Fonte: apps.leapmotion.com

Ao desenvolver os aplicativos para o Leap motion, necessita-se utilizar o SDK (Software Development Kit) desta ferramenta e escolher umframework com uma linguagem de programação para o desenvolvimento, podendo ser C++, C#, Unity (V2), Objective-C, Java, Python, JavaScript, Unreal Engine and Unit (Orion). A SDK oferece 2 (duas) opções de coletas de dados na interface — a nativa e awebsocket. Esta cria aplicações na web e aquela contém uma biblioteca dinâmica para criação de novas aplicações (BASSILY et al., 2014), (SEIXAS; CARDOSO; DIAS, 2015).

Com estas características, por exemplo, oLeap motion pode ser interessante para crianças com TDC na alfabetização ao reforçarem a aprendizagem de caligrafia treinando os movimentos das mãos, atuando também no processo de comunicação, expressão, interação e memorização de ações digitais por meio de movimentos e gestos cinestésicos realizados no ar (BACHMANN; WEICHERT; RINKENAUER, 2014), (LIU et al., 2015), (SOUSA;

SILVEIRA, 2015).

Sendo assim, a partir da descrição deste dispositivo nesta seção e em consonância com um dos objetivos específicos ressaltados na seção1.4, a tecnologia de interface gestual com reconhecimento dos movimentos motores finos para desenvolvimento das interfaces propostas a ser utilizada nesta tese será oLeap motion, pois, em relação a outros, é um dispositivo tecnológico com uma calibração apropriada aos sujeitos com TDC (SOUSA;

SILVEIRA, 2017) e com um sistema focado somente nos gestos e movimentos das mãos, facilitando o manuseio e utilização da ferramenta de acordo com as características dos usuários aqui pesquisados.