PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
PUC-SP
Renato Kimura da Silva
Interfaces Naturais e o
Reconhecimento das Línguas de Sinais
MESTRADO EM TECNOLOGIAS DA INTELIGÊNCIA
E DESIGN DIGITAL
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO
PUC-SP
Renato Kimura da Silva
Interfaces Naturais e o
Reconhecimento das Línguas de Sinais
MESTRADO EM TECNOLOGIAS DA INTELIGÊNCIA
E DESIGN DIGITAL
Dissertação apresentada à Banca Examinadora da Pontifícia Universidade Católica de São Paulo, como exigência parcial para obtenção do título de Mestre em Tecnologias da Inteligência e Design Digital - Design Digital e Inteligência Coletiva sob a orientação do Prof. Dr. Hermes Renato Hildebrand
Banca Examinadora
______________________________
______________________________
AGRADECIMENTOS
Esse trabalho só se tornou possível por meio do incentivo e encorajamento de
pessoas importantíssimas em minha vida. Duas dessas pessoas fundamentais são
meus pais: Joana e Roberto. Brilhantes no ensino do que é a Vida, viabilizaram não
só essa, mas muitas outras conquistas. Batalharam para que eu tivesse todos os
recursos necessários para meu desenvolvimento, e comemoram juntos comigo cada
uma dessas vitórias. Sem eles, não só essa pesquisa não existiria, mas eu como
pessoa não seria nada.
Meu especial agradecimento ao meu irmão, precoce atencioso de tudo o que
me cerca, companheiro para os mais diversos momentos, e um fiel escudeiro.
Agradeço também aos amigos, que tanto incentivaram a seguir adiante, e
compreenderam as recusas de passeios e saídas – horas que foram despendidas
para os propósitos dessa dissertação. Uso esse parágrafo para também agradecer a
eterna melhor amiga, minha namorada, Marta. Compreensão, Carinho e Apoio. Por
tudo isso, mais uma vez sou grato.
Por fim, mas não menos importante, agradeço ao professor Dr. Hermes
Renato por toda a paciência e disposição em ajudar, cumprindo com maestria a
função de orientar, mas atuando principalmente como amigo. A ele, à Edna –
sempre tão solícita, atenciosa e compreensiva com o lado humano do pesquisador –
e a todos os relacionados direta ou indiretamente com essa pesquisa, o meu eterno
“Novas maneiras de pensar e conviver estão sendo elaboradas no mundo das telecomunicações e da informática. As relações entre os homens, o trabalho, a própria inteligência dependem, na verdade, da metamorfose incessante de dispositivos de todos os tipos.”
RESUMO
SILVA, Renato K. Interfaces Naturais e o Reconhecimento das Línguas de Sinais. 2013. 130 p. Dissertação (Mestrado) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2013.
Interface é uma camada intermediária que está entre duas faces. No contexto computacional, podemos dizer que interface existe na intermediação interativa entre dois sujeitos, ou ainda entre sujeito e programa. Ao longo dos anos, as interfaces vêm evoluído constantemente: das linhas de texto monocromáticas, aos mouses – com o conceito exploratório da interface gráfica – até as mais recentes interfaces naturais – ubíquas e que objetivam a transparência da interação. Nas novas interfaces, por meio do uso do corpo, o usuário interage com o computador, não sendo necessário aprender a interface. Seu uso é mais intuitivo, com o reconhecimento da voz, da face e dos gestos. O avanço tecnológico vai de encontro com necessidades básicas do indivíduo, como a comunicação, tornando-se factível conceber novas tecnologias que beneficiam pessoas em diferentes esferas. A contribuição desse trabalho está em entender o cenário técnico que possibilita idealizar e criar interfaces naturais para o reconhecimento dos signos das Línguas de Sinais e considerável parte de sua gramática. Para tanto, essa pesquisa foi primeiramente pautada no estudo do desenvolvimento das interfaces computacionais e da sua estreita relação com os videogames, fundamentando-se nas contribuições de autores como Pierre Lévy, Sherry Turkle, Janet Murray e Louise Poissant. Em momento posterior, aproximamo-nos de autores como William Stokoe, Scott Liddell, Ray Birdwhistell, Lúcia Santaella e Winfried Nöth, a respeito de temas gerais e específicos que abarcam a multidisciplinaridade das Línguas de Sinais. Por fim, foi realizado um levantamento do Estado da Arte das Interfaces Naturais voltadas ao Reconhecimento das Línguas de Sinais, além do estudo de pesquisas notáveis relacionadas ao tema, apresentando possíveis caminhos futuros a serem trilhados por novas linhas de pesquisa multidisciplinares.
Palavras-chave: evolução das interfaces, reconhecimento de língua de sinais,
ABSTRACT
SILVA, Renato K. Natural Interfaces and the Sign Language Recognition. 2013. 130 p. Essay (Master) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2013.
Interface is an intermediate layer between two faces. In the computational context, we could say that the interface exists on the interactive intermediation between two subjects, or between subject and program. Over the years, the interfaces have evolved constantly: from the monochromatic text lines to the mouse – with the exploratory concept of graphic interfaces – to the more recent natural interfaces – ubique and that aims the interactive transparency. In the new interfaces, through the use of body, the user can interact with the computer. Today is not necessary to learn the interface, or the use of these interfaces is more intuitive, with recognition of voice, face and gesture. This technology advance fits well to basic needs from the individuals, like communication. With the evolution of the devices and the interfaces, is more feasible conceive new technologies that benefits people in different spheres. The contribution of this work lays on understanding the technical scenario that allow thinking and conceiving natural interfaces for the signal recognition of Sign Languages and considerable part of its grammar. To do so, this research was guided primarily in the study of the development of computer interfaces and their close relationship with videogames, basing on the contributions of authors such as Pierre Lévy, Sherry Turkle, Janet Murray and Louise Poissant. Thereafter, we approach to authors as William Stokoe, Scott Liddell, Ray Birdwhistell, Lucia Santaella and Winfried Nöth, concerning general and specific themes spanning the multidisciplinarity of Sign Languages. Finally, a research was made of State of Art of Natural Interfaces focused on the recognition of Sign Languages, besides the remarkable research study related to the topic, presenting possible future paths to be followed by new lines of multidisciplinary research.
LISTA DE FIGURAS
Figura 1: A Multidisciplinaridade do Design de Interfaces ... 18
Figura 2: Evolução das Interfaces Computacionais ... 21
Figura 3: Cena do filme Minority Report, de Steven Spielberg ... 28
Figura 4: Dan Edwards (esquerda) e Peter Samson jogando Spacewar! ... 33
Figura 5: A evolução dos controles de videogames ... 34
Figura 6: Controle do Nintendo Wii ... 36
Figura 7: Microsoft Kinect... 37
Figura 8: Playstaion 3, Playstation Eye e Sony Move ... 38
Figura 9: Acessórios para o Nintendo Wii ... 38
Figura 10: Total de vendas por console de videogame ... 39
Figura 11: Imagem do jogo R.O.G.E.R. ... 43
Figura 12: Gesto do Kinect – Focalizar para selecionar ... 44
Figura 13: Tríade semiótica de Peirce ... 53
Figura 14: “Como o computador nos enxerga” ... 57
Figura 15: Exemplo de sinais em LIBRAS e seus parâmetros ... 60
Figura 16: Parâmetro das Línguas de Sinais: configuração das mãos ... 61
Figura 17: Parâmetro das Línguas de Sinais: ponto de articulação ... 62
Figura 18: Parâmetro das Línguas de Sinais: movimento ... 63
Figura 19: Parâmetro da LIBRAS: orientação ... 64
Figura 20: Parâmetro da LIBRAS: expressões faciais ... 64
Figura 21: Parâmetro da LIBRAS: expressões faciais afirmativa e interrogativa ... 65
Figura 22: Parâmetro da LIBRAS: expressões faciais ... 66
Figura 23: Diferença entre Símbolo (A) e Substituto(B) ... 69
Figura 24: Sinal composto de ZEBRA – (1) CAVALO (2) LISTRAS (Quadro 1). ... 73
Figura 25: Árvore genealógica dos sistemas de transcrição ... 77
Figura 26: Etapas dos sistemas de Visão Computacional... 79
Figura 27: Data Glove – CyberGlove ... 81
Figura 28: Sistema de Simulação 3D das mãos com Luvas Coloridas ... 82
Figura 29: Semelhança da mão despida e diferença de padrões da mão com luva ... 83
Figura 30: Reconhecimento de Alfabeto de Sinais com Luvas Coloridas ... 83
Figura 31: Luva com marcadores codificados únicos... 84
Figura 32: Componentes de hardware do dispositivo DIGITS ... 84
Figura 34: Reconhecimento de usuário do Kinect ... 89
Figura 35: Rastreamento facial – avatar e usuário no Kinect ... 89
Figura 36: Reconhecimento de sinais utilizando o Kinect ... 90
Figura 37: Estrutura física do 3Gear ... 92
Figura 38: Estrutura física do 3Gear montada ... 92
Figura 39: Ilustração da câmera DepthSense 325 e 311 da Softkinect ... 94
Figura 40: Exemplo de reprodução digital dos movimentos das mãos ... 94
Figura 41: Volume e pontos do corpo do usuário capturados pelo Softkinect ... 95
Figura 42: Comparativo do disposivo TheLeap com um laptop ... 97
Figura 43: The Leap – reconhecimento individual dos dedos e pequenos objetos ... 97
Figura 44: The Leap – LEDs infravermelhos e mini câmeras ... 99
Figura 45: The Leap – reconhecimento da mão ... 99
Figura 46: Leitura de atividade elétrica dos músculos ... 100
Figura 47: Interface Gestual Put-That-There ... 108
SUMÁRIO
AGRADECIMENTOS... 4
RESUMO ... 6
ABSTRACT ... 7
LISTA DE FIGURAS... 8
SUMÁRIO ... 10
INTRODUÇÃO ... 12
Capítulo 1 – Proposta e Questões da Pesquisa ... 14
1.1 Objetivo Geral ... 14
1.2 Objetivos Específicos ... 14
1.3 Justificativa ... 15
Capítulo 2 – Um Breve Histórico da Evolução das Interfaces ... 19
2.1 Interfaces Homem Máquina ... 20
2.2 Interação – Interfaces Naturais ... 24
2.3 A evolução das interfaces e o mundo dos Games ... 32
2.4.1. Nintendo Wii ... 40
2.4.2. Microsoft Kinect ... 42
Capítulo 3 – Línguas de Sinais e Características ... 45
3.1 Contextualizando a Língua de Sinais ... 45
3.2 Gesto e Sinal ... 49
3.3 A semiótica das Línguas de Sinais ... 52
3.4 Estrutura, parâmetros e aspectos particulares ... 59
3.4.1. Espaços mentais: Real, Substituto e Simbólico ... 67
3.4.2. Gradiente ... 71
3.4.3. Sinais Compostos ... 72
3.5 Sistemas de Transcrição ... 73
Capítulo 4 – Técnicas, Dispositivos e Estado da Arte ... 79
4.1 Aquisição de imagens ... 80
4.1.1. Gloves – Luvas ... 80
4.1.2. Visão Computacional ... 85
4.1.2.1. Microsoft Kinect para Windows ... 88
4.1.2.2.3GEAR... 91
4.1.2.4. Leap Motion ... 96
4.1.3. Novas abordagens – MYO ... 100
4.2 Segmentação, Extração de características e Classificação ... 101
4.3 Ação ... 104
Capítulo 5 – Aspectos Relevantes de interfaces gestuais para Línguas de Sinais ... 107
5.1 Dificuldades ... 112
CONSIDERAÇÕES FINAIS ... 117
REFERÊNCIAS BIBLIOGRÁFICAS ... 121
APÊNDICES ... 129
INTRODUÇÃO
Por anos os principais dispositivos de interação com o computador
restringiram-se, basicamente, ao teclado e ao mouse. Esses dispositivos precisam
ser aprendidos, não sendo, portanto, naturais. Com o desenvolvimento dos sensores
das máquinas e tecnologias de interação, surgem interfaces de reconhecimento
facial, de escrita e gestual. Primeiramente no âmbito comercial, essas interfaces,
chamadas de naturais, passam a se popularizar, sendo encontradas em aplicações
cotidianas, como é o caso dos celulares com telas de toque e com reconhecimento
de comandos por voz.
No campo do reconhecimento gestual, o uso das interfaces naturais permite
aos usuários interagir com o digital através de gestos convencionados, de fácil
assimilação. Em especial aos portadores de deficiência auditiva, essas interfaces
são capazes de captar gestos, componentes da língua que utilizam – Línguas de
Sinais – possibilitando um novo modo de interação, que não obriga os surdos a
utilizarem a língua portuguesa para interação computacional. Também se cria uma
nova gama de aplicações possíveis, como a tradução dessas Línguas de Sinais para
o português, ou para línguas orais, permitindo maior amplitude da comunicação
desses indivíduos.
Contudo, é importante não reduzir os signos das Línguas de Sinais a simples
gestos. As Línguas de Sinais possuem gramática própria que diferem de outras
linguagens. Exatamente por possuírem uma gramática específica, as Línguas de
Sinais podem ser reconhecidas pelo computador, mas implicam em especial
atenção quanto as suas particularidades, como nuances do movimento e de
Na concepção dessa dissertação, pretendia-se desenvolver uma interface em
dispositivos móveis ou um sistema computacional que possibilitasse transformar os
signos da Língua de Sinais em textos. No entanto, dada a acelerada evolução dos
instrumentos computacionais, optamos por pesquisar sobre o Estado da Arte nesta
área de conhecimento.
Nesse trabalho é apresentado um breve histórico da evolução das interfaces,
delineando a evolução do sensoriamento da máquina e a consequente ampliação de
leitura do corpo do usuário, principalmente das mãos. Também são abordados
alguns aspectos além do simples reconhecimento de padrões, como letras e seus
sinais correspondentes, o que implica em certa complexidade de reconhecimento
das Línguas de Sinais. Por fim, observam-se questões relativas ao estado da arte
das tecnologias de reconhecimento de gestos, apontando possíveis dispositivos de
reconhecimento das Línguas de Sinais que melhor se adéqua as suas
CAPÍTULO 1 – PROPOSTA E QUESTÕES DA PESQUISA
1.1 Objetivo Geral
O objetivo geral dessa dissertação é identificar, no Estado da Arte das
Interfaces de Reconhecimento Gestual, como as novas tecnologias computacionais
vêm sendo e podem ser utilizadas na tarefa do reconhecimento das Línguas de
Sinais. A fim de analisar de que maneira essas interfaces se propõe a atender os
requisitos das Línguas de Sinais, considerando seus aspectos gramaticais, é
necessário identificar que aspectos são esses. Por meio da relação dessas
interfaces, pretende-se delinear o caminho que vem sendo seguido quanto ao
reconhecimento da gramática complexa dos signos das Línguas de Sinais, e quão
próximos estamos de uma interface completa de reconhecimento dessas Línguas.
1.2 Objetivos Específicos
- Delinear a evolução das interfaces computacionais, compondo seu
desenvolvimento até as atuais Interfaces Naturais e suas novas
possibilidades;
- Definir o Estado da Arte das tecnologias de reconhecimento gestual,
apresentando as diferentes abordagens no que tange o reconhecimento das
Línguas de Sinais;
- Eleger os principais aspectos que serão considerados para esta análise das
interfaces de reconhecimento gestual, voltadas às Língua de Sinais, de modo
que esses aspectos sejam considerados na construção de interfaces com
1.3 Justificativa
O estado da arte das tecnologias interativas mudou radicalmente em um curto
espaço de tempo. O acelerado desenvolvimento das indústrias de componentes
eletrônicos torna cada vez menor e mais potente os processadores e as memórias
desses dispositivos, colaborando para um processo de “miniaturização”. Celulares,
tablets, netbooks, proliferam-se à medida que incorporamos seu uso no dia-a-dia,
movimentados pela força da Internet, tornando a computação cada vez mais
presente no cotidiano – surgem os termos computação ubíqua1 e pervasiva2, com a onipresença da informática em nossas vidas.
Esse movimento evolutivo não se limitou aos hardwares: as possibilidades
advindas da computação e do desenvolvimento de novos softwares se estenderam
também às interfaces. Traçando um histórico evolutivo deste desenvolvimento, antes
tínhamos as linhas de comando monocromáticas, as chamadas CLI – Command-line
Interface – Interfaces de Comando Textual, que só permitiam interagir com a
máquina através de linhas de texto, geralmente escritas em inglês, e se obtinha
como resultado um texto.
Com a evolução dos computadores, surgiu o mouse e a ideia de Interface
Gráfica do Usuário (do inglês Graphical User Interface – GUI). Por meio de uma
cultura exploratória, a GUI incentiva o usuário a navegar pelos sistemas,
aprendendo graficamente como interagir. É nesse contexto que o computador se
populariza, surgindo o conceito de Computador Pessoal – PC (Personal Computer).
1 O termo é utilizado como sinônimo de onipresente, ou é aquele ou aquilo que está em todas as partes e o tempo todo. A computação ubíqua é a capacidade de se estar conectado à rede e utilizá-la a todo o momento.
2Empregado para definir o conceito da distribuição dos meios de computação aos usuários de forma
Nessa nova interface, o usuário não precisa de comandos complexos para a
interação, mas sim de vontade de explorar o sistema.
A evolução dos outros dispositivos eletrônicos, até então, acompanha o
computador. É o caso dos videogames, com seus joysticks combinatórios, que
necessitam do apertar de diversos botões para diferentes ações. Nos celulares,
passam a surgir menus mais complexos, alguns jogos formados por frames, e as
telas coloridas.
Com o passar dos anos, a indústria eletrônica sofre nova aceleração. Surgem
os videogames de sétima geração que são verdadeiras revoluções quanto ao
quesito gráfico. Surgem também os celulares touch em que a regra geral é o toque
do dedo na tela para a interação. Nessas interfaces, passamos a usar menos o
polegar, explorando a tela gráfica com a mão. No campo dos jogos, surgem novas
formas de interação que utilizam partes do corpo como controle. A interface passa a
dispor de sensores mais complexos, em um processo que quase percebe3 o usuário.
Entramos na era das Interfaces Naturais do Usuário (Natural User Interface – NUI).
As novas possibilidades tecnológicas permitiram pensar em novas interfaces,
assim como foi necessário, no surgimento das interfaces gráficas, pensar em novos
padrões estéticos e interativos. De fato, situamo-nos em um estado da arte tal, que é
preciso entender de que forma as interfaces ditas “naturais” podem colaborar para a
interatividade digital. É necessário conhecer suas capacidades e entender o quanto
ainda devem e podem evoluir.
3Utilizamos aqui a licença poética para a analogia entre os sensores de que o computador dispõe e do
Nesse cenário, surge a possibilidade da interação por gestos, em que o
computador utiliza de sensores para capturar movimentos do usuário como entrada
de dados. Uma interação supostamente natural e fluída, que pode ser utilizada no
reconhecimento das línguas utilizadas por deficientes auditivos, as Línguas de
Sinais.
As Línguas de Sinais são compostas por sinais que, diferente dos gestos
simples, possuem a função estrita de comunicar, seguindo uma estrutura definida e
complexa. O presente trabalho é composto pelo Estado da Arte de reconhecimento
de sinais das Línguas de Sinais – seus signos. Através desse estudo, pretende-se
compreender quais as particularidades e limitações que nos aproximam e nos
distanciam de uma interface completa de reconhecimento gestual para os signos
das Línguas de Sinais.
O reconhecimento gestual “é uma tarefa complexa, que envolve aspectos
como modelagem do movimento, análise do movimento, reconhecimento de padrões
e aprendizado de máquina, e até mesmo estudos psicolinguísticos” (WU & HUANG,
1999b, p. 1). O aprofundamento detalhado deste assunto, principalmente no que
tange as novas interfaces de reconhecimento, se dará nas referências dos capítulos
que seguem. Para este cenário de trabalho, utilizaremos o leque do Design de
Figura 1: A Multidisciplinaridade do Design de Interfaces Fonte: (PASSOS, 2008, p. 37)
Cientes dos aspectos multidisciplinares relacionados ao Design de Interface,
a temática desse trabalho é recortada aos campos da Ergonomia Cognitiva
(percepção), Semiótica (geral), Comunicação (informação visual) e, principalmente,
da Tecnologia (geral) das Interfaces Gestuais. Os demais aspectos, apesar de
imbricados, não serão abordados profundamente nesse estudo ou serão tratados de
CAPÍTULO 2 – UM BREVE HISTÓRICO DA EVOLUÇÃO DAS INTERFACES
O computador vem sofrendo aceleradas modificações. Assim, nesse capítulo
iniciaremos nossa reflexão observando como as máquinas vêm evoluindo com o
decorrer dos anos, atendo-se ao modo como a interação computacional se
transforma até um modo natural. Para tanto, precisamos abordar o campo das
interfaces homem-máquina, o mundo dos videogames – diretamente relacionado
com as interfaces computacionais –, e o conceito das interfaces naturais.
Winfried Nöth declara que:
Se nos libertarmos de uma visão estritamente antropocêntrica da mente, se formos além de uma concepção da mente como sinônimo de consciência, se começarmos a pensar a mente como um processo que não se limita ao universo do humano, mas que tem nesse universo apenas sua forma mais desenvolvida e complexa, o limiar entre mente e matéria se dissolve na questão dos graus da presença de mente na máquina. Que os animais apresentam comportamentos reveladores de processos mentais de várias ordens não é disputado, mas a noção ampliada da mente não se restringe a este insight. Com base nesse argumento, não deve causar estranheza pensar
que as máquinas inteligentes, por mais rudimentar que essa inteligência ainda possa ser, exibem um comportamento que pode ser chamado de mental.4 Libertemo-nos então dessa visão antropocêntrica da mente, e vejamos como
a máquina e as novas interfaces digitais colaboram para um novo modelo de
interação e reconhecimento gestual.
4
2.1 Interfaces Homem Máquina
O computador é uma máquina relativamente nova, datando aproximadamente
da década de 40. Até sua concepção mais disseminada, o termo computador foi
utilizado com diversos significados, como por exemplo, máquina de tear – Joseph
Marie Jacquard; calculadora – Charles Babbage; máquina de guerra – Howard
Aiken, entre outros usos.
Vejamos uma definição de computador segundo a Wikipedia:
Computador é uma máquina capaz de variados tipos de tratamento automático de informações ou processamento de dados. Um computador pode prover-se de inúmeros atributos, dentre eles armazenamento de dados, processamento de dados, cálculo em grande escala, desenho industrial, tratamento de imagens gráficas, realidade virtual, entretenimento e cultura. No passado, o termo já foi aplicado a pessoas responsáveis por algum cálculo. Em geral, entende-se por computador um sistema físico que realiza algum tipo de computação. Existe ainda o conceito matemático rigoroso, utilizado na teoria da computação. Assumiu-se que os computadores pessoais e laptops são ícones da Era da Informação; e isto é o que muitas pessoas consideram como "computador". Entretanto, atualmente as formas mais comuns de computador em uso são os sistemas embarcados, pequenos dispositivos usados para controlar outros dispositivos, como robôs, câmeras digitais ou brinquedos Computador (s.d.). Consultado em 17 de março de 2013. No site Wikipedia: http://pt.wikipedia.org/wiki/Computador.5
A forma como utilizamos o computador vem se transformando dia a dia, de
modo que podemos ampliar a denominação de computador às interfaces digitais que
nos permitem realizar operações de forma mais fácil, por meio de cálculos não
perceptíveis. A definição atribuída pela Enciclopédia Eletrônica Wikipedia é genérica
e fiel a todos os possíveis usos dessas máquinas: o computador ainda é uma
ferramenta composta por uma parte física: hardware, seu conjunto de engrenagens
5 As entradas da Wikipedia têm autoria coletiva, raramente são assinadas e são revistas frequentemente. Logo,
e circuitos, e a parte lógica: software, composta por programas e rotinas. Porém, é
cada vez mais tênue a definição desse conceito. À medida que o computador evolui,
distinguimos menos hardware de software. O que passamos a perceber com mais
clareza são as interfaces. Isso parece ocorrer porque as interfaces são as partes
mais diretamente ligadas à interação do homem com os computadores.
A respeito de interface, (ROCHA, 2009, p. 6) define o conceito de acordo sua
etimologia, sendo a palavra formada
...pelo prefixo latino inter, [entre, no meio de] e pelo radical latino face, [superfície, face] o termo interface, tomado pela sua origem etimológica, diz daquilo que está entre duas faces, duas superfícies. Ela é, neste contexto, um terceiro elemento que se coloca entre dois outros, sem qualquer relação de pertencimento a uma ou outra extremidade, mas de mediação. Metaforicamente é uma ponte que conecta, liga duas margens. A ponte não pertence a um lado nem a outro, ela é um terceiro elemento.
Utilizando o conceito de interface homem-máquina de Lévy, que “designa o
conjunto de programas e aparelhos materiais que permitem a comunicação entre um
sistema informático e seus usuários humanos” (1993, p. 176), observamos
transformações significativas dessas interfaces ao longo dos anos (figura 2).
Figura 2: Evolução das Interfaces Computacionais Fonte: (SÁ, 2011, p. 13)
No início a interação era feita através de linhas de comando (Command Line
máquina. Já em 1977, Steve Jobs e Steve Wozniak popularizam o conceito de
computador, lançando o Apple II. A Apple cria espaço para um novo tipo de usuário
dos sistemas computacionais. Surge a “interface amigável”, com sistemas que
passam a interagir com os usuários, convidativos a uma navegação em um mundo
de exploração (TURKLE, 1995). Rompe-se o modo mecânico e antigo de se interagir
com a máquina, principalmente com o surgimento do mouse.
A respeito dessa sedução pela máquina, Pierre Lévy aborda o conceito de
Douglas Engelbart, da coerência das interfaces, “uma espécie de interface elevada
ao quadrado, representa um princípio estratégico essencial em relação a esta visão
em longo prazo. Ela seduz o usuário em potencial e o liga cada vez mais ao
sistema”. Esse conceito, somado a “crença na necessidade de uma comunicação
codificada e desprovida de sentido para o usuário”, contribuem para “humanizar a
máquina”. Assim, “essas interfaces, essas camadas técnicas suplementares
tornaram os complexos agenciamentos de tecnologias intelectuais e mídias de
comunicação, também chamados de sistemas informáticos, mais amáveis e mais
imbricados ao sistema cognitivo humano” (LÉVY, 1993, p. 52).
Além das questões de usabilidade, a nova capacidade de interação através
de janelas gráficas (GUI) altera o modo como nos relacionamos com o computador.
As janelas do computador se relacionam com nosso self, a noção de presença no
mundo digital. A presença do usuário se torna mais diluída. Em uma janela é
possível conversar com uma pessoa, em outra janela podemos jogar um jogo, e em
outra ter o editor de textos Word aberto para edição de um texto acadêmico. A
multiplicidade de cenários aumenta, à medida que nossa presença digital também se
expande. A identidade do usuário no computador passa a ser a soma da sua
Sobre o termo bricolagem, e a definição do antropologista Claude
Levi-Strauss (1908-2009):
Recentemente, os computadores se tornaram os primários e pós-modernos objetos-a-se-pensar-com, não simples parte de um amplo movimento cultural, mas carregados de novas formas de descoberta. O antropólogo francês Claude Levi-Strauss descreveu o processo de pensamento teórico – bricolagem – através do qual indivíduos e culturas utilizam os objetos ao seu redor para desenvolver e assimilar ideias. (TURKLE, 1995, p. 48)
Esse conceito de bricolagem é expandido por Turkle para objetos da cultura
pós-moderna de simulação, como os desktops dos computadores. Nos desktops, o
usuário faz a analogia automática de um ícone de representação como sendo uma
lixeira, um arquivo ou uma pasta, sem ao menos saber como é o funcionamento
computacional atrelado a essa representação. Em 1990, Turkle já dizia que os
usuários de computador estavam “cada vez mais confortáveis com a substituição da
realidade por representações” (TURKLE, 1995, p. 48).
Surge uma cultura de exploração, reforçada pela ideia da interface gráfica,
que possibilita o novo modelo de visitação ao mundo digital. Em seus primórdios, foi
adotado o verbo to browse – recolher, dar uma olhada –, “empregado em inglês para
designar o procedimento curioso de quem navega em um hipertexto” (LÉVY, 1993,
p. 35).
A navegação amigável por exploração obedece a alguns princípios básicos:
(LÉVY, 1993, p. 36):
- O uso do “mouse” que permite ao usuário agir sobre o que ocorre na tela de
forma intuitiva, sensório-motora e não através do envio de uma sequência de caracteres alfanuméricos;
- Os “menus” que mostram constantemente ao usuário as operações que ele pode realizar;
- A tela gráfica de alta resolução.
Fica bem definido o caráter informativo da interface dada à definição de Lévy.
O usuário conhece os limites das representações dentro do digital, porque na
interface há menus que regem as possibilidades interativas. Como em um mapa,
esses menus podem ser explorados através do uso do mouse. Com a evolução das
interfaces, o mouse passa a um papel secundário em certos tipos de interação.
Algumas interfaces eliminam por completo seu uso, como é o caso das interfaces de
toque – touch ou multitouch –, em outras, como as interfaces de voz e gestuais,
pode assumir um papel secundário. A seguir veremos como novos elementos do
cenário interativo renovam os antigos modos de interação digital.
2.2 Interação – Interfaces Naturais
Janet Murray (1997), especialista no campo da narrativa interativa, aborda o
assunto da interação em seu livro, “Hamlet no Holodeck”. Seus estudos abrangem
os campos da literatura, vídeo, cinema e a própria linguagem digital. A autora se
mostra preocupada com a questão da destruição da narrativa e da trama ilusória.
Para ela, a participação em ambientes imersivos deve ser estruturada e restringida.
O ideal é que a participação se estruture por meio da ideia de uma visita,
“particularmente indicada para estabelecer uma fronteira entre o mundo virtual e a
Murray faz uma referência análoga ao termo “quarta parede” do teatro,
utilizado para definir a quarta parede imaginária, criada involuntariamente pelo
público para imergir na cena, tornando-a mais real. Se não for bem construída a
narrativa, a quarta parede é derrubada, desestruturando a experiência. Esse ato de
derrubar a quarta parede pode ser notado em uma peça de teatro, quando, por
exemplo, o ator interage com o público. O público é convidado a entrar na peça,
quebrando a ilusão da cena.
O mesmo ocorre com outros tipos de interação, inclusive em ambientes
eletrônicos, em que “a própria tela é a tranquilizadora quarta parede, e o controlador
(mouse, joystick ou dataglove [...]) é o objeto liminar que lhe permite entrar e sair da
experiência” (MURRAY, 1997, p. 109).
Quando Murray escreveu sobre a experiência e a quarta parede, o modo de
interação mais comum com o computador era através do teclado e mouse, e nos
videogames, a interação era por joysticks. Todas estas interfaces não possuem grau
de naturalidade por correspondência, o que significa que é necessário aprender a
usar um teclado, assim como é necessário entender como a movimentação do
mouse em um plano horizontal, desloca o cursor digital na tela do computador.
As interfaces naturais surgem como uma evolução da interface gráfica. Essas
novas interfaces estão associadas ao termo NUI, do inglês Natural User Interface,
em uma tradução livre, Interface Natural do Usuário. O termo é “uma metodologia de
visão, voz, movimento e funções cognitivas especialistas, como expressão,
percepção e recordação” (NUI Group, 2009)6.
Por meio do uso do corpo, essas interfaces se relacionam diretamente com os
usuários, sendo seu uso mais natural. Em uma superfície multi-touch, como a de um
celular, ainda é necessário aprender que o movimento de pinça7, normalmente dá zoom em uma imagem, ou que o toque em um arquivo abre o mesmo; porém essas
experiências possuem um grau maior de naturalidade e correspondência corpórea,
sendo mais dedutivo o seu uso.
Movimento semelhante é observado em diferentes aplicações tecnológicas,
notoriamente no campo dos videogames, mas em campos distintos como artes.
Louise Poissant (2009, p. 83) observa que:
Por quarenta anos, as interfaces - intermediárias entre duas linguagens ou dois sistemas - têm se infiltrado em todos os lugares. Esses agentes de ligação ou de passagem, esses filtros de tradução entre humanos e máquinas anunciam mudanças que ainda são difíceis de delinear, embora se antecipe que sejam muito substanciais. As interfaces se multiplicam e se incorporam em vários dispositivos, tornando seu uso cada vez mais natural. Não há necessidade de botões ou manivelas. As telas logo serão transparentes; os controles, invisíveis. Muito paradoxalmente, essa invasão generalizada é feita de maneira discreta e silenciosa, a tecnologia se torna invisível ao infiltrar-se em todos os lugares. Esquecemos a "boa" interface exatamente porque é transparente. Sua invisibilidade – muitas vezes sinônimo de disfunção – interessa somente a
6 O
NUI Group é uma comunidade aberta estabelecida em 2006, que cria e compartilha padrões e
técnicas de interação que beneficiam designers e desenvolvedores através do mundo. O grupo é composto por mais de 16.900 membros (dado de agosto de 2012), sendo a maior parte usuários dos Estados Unidos, seguido por Alemanha, Reino Unido, França, Canadá, Rússia, China e outros.
7Para maior entendimento, verificar o Apêndice A, referente a convenções dos gestos em interfaces
especialistas, artistas ou engenheiros curiosos para entender seu funcionamento.
No digital em geral, os usuários passam a interagir cada vez mais com uma
tecnologia invisível e uma interface de fácil aprendizado e manuseio. Começam a
surgir interfaces de reconhecimento de voz, reconhecimento facial, de presença ou
gestual, meios em que a quarta parede se torna ainda mais diluída. Podemos supor
que os limites nessas interfaces fazem parte das representações e que podemos
colocá-los e tirá-los de acordo com a nossa capacidade de simulação. A relação
entre a interatividade e a quarta parede passa a ser corpórea. O corpo do usuário
que interage passa a ser a quarta parede, capaz de construir ou desconstruir a
experiência imersiva.
Uma das primeiras mídias a fazer alusão a essas novas formas de interação
foi o cinema, no filme Minority Report (figura 3), um filme de ficção científica, lançado
em 2002, estrelado por Tom Cruise e dirigido por Steven Spielberg. O Filme é
ambientando no ano de 2054 e Tom Cruise é um investigador da elite policial de
uma divisão de pré-crimes. Em uma das cenas futurísticas do filme, o ator interage
com diversas informações sobre um caso, entre elas fotos, vídeos e outras mídias.
Através de movimentação das mãos, as imagens são manipuladas em frente à
Figura 3: Cena do filme Minority Report, de Steven Spielberg Fonte: Internet
Anos depois, John Underkoffler – projetista da interface ficcional do filme –
demonstrou uma versão funcional e não ficcional da interface em uma apresentação
TED8, em 2010. A interface, chamada G-Speak9, permite o mesmo tipo de interação
do filme, como a manipulação de objetos 3D em uma projeção de computador, ou
em um monitor comum. Outros pesquisadores e entusiastas pelo mundo todo se
inspiraram com as ideias do filme, sendo que surgiram várias iniciativas quanto a
interfaces interativas.
O Horizon Reports10 de 2011 apontou a computação baseada em gestos
como uma tecnologia emergente a ser adotada em médio prazo – três a quatro
anos. Graças a tecnologias como o iPhone, o mais recente iPad, o Nintendo Wii e o
8
TED é uma fundação privada sem fins lucrativos, devotada ao conceito Ideas Worth Spreading (Vale a Pena Compartilhar Ideias), divulgando palestras por meio do site www.ted.com.
9 http://oblong.com (acesso em 01/09/2012)
10Publicação periódica anual que é fruto de uma parceria entre o New Media Consortium (NMC) e da EDUCASE
Microsoft Kinect, as pessoas tem mais acesso às interfaces gestuais. O
desenvolvimento desse tipo de interação é natural, assim como tende a crescer o
número de aparelhos e jogos a incorporar interações gestuais intuitivas, trazendo
com eles uma nova era de design de interface. Podemos dizer que é um movimento
natural, especialmente para a nova geração, acostumada a tocar, clicar, trocar, pular
e se movimentar como uma forma de se envolver com as informações (JONHSON et
al., 2011, p. 24).
Diferente das interfaces gráficas, exploratórias, muito caracterizadas por
menus, onde o usuário compreende os limites da exploração, as interfaces naturais
apresentam a dificuldade da limitação da interação. A regra geral do design das
interfaces gráficas é a visibilidade: o sistema pode ser aprendido por meio da
exploração (NORMAN, 2010, p. 6). Já as Interfaces Naturais têm como principal
característica o aprendizado por intuição.
Um exemplo que demonstra o fator arbitrário dessas interfaces é o caso do
Nintendo Wii, videogame da sétima geração que utiliza um controle para rastrear os
movimentos do corpo do usuário, e utilizá-los na interação com o jogo (ver capítulo
4.1 Videogames). Em seu lançamento, em 2006, o Wii apresentou o fator mimético
da interface que estimulava os jogadores a agir com certo grau de naturalidade. No
jogo Wii Sports Bowlin, que é um simulador de jogo de boliche, o jogador deveria
segurar o controle na mão, apertar o botão B do controle, que correspondia ao ato
de segurar uma bola de boliche, fazer o movimento correspondente ao de lançar
uma bola de boliche real em uma pista, e soltar o botão B. Porém o grau de imersão
no jogo era tão alto, que alguns jogadores lançavam o controle como se o objeto
O erro do jogador denota como a quarta parede está diluída na representação
corpórea para essas interfaces. Ainda assim, nos jogos com interação gestual, esta
se estrutura de forma mais guiada, com um objetivo bem delineado, e um grau
estabelecido de correspondência entre ato real e ação digital. O modelo de interação
é mais complexo em outras interfaces de reconhecimento gestual, em que os gestos
são mais efêmeros.
Diferente dos jogos, essas interfaces não deixam um rastro, um caminho, o
que significa que se o usuário faz um gesto e não recebe resposta alguma, ou
recebe a resposta errada, há pouca informação disponível para ajudá-lo a entender
os significados estabelecidos pelas interfaces, isto é, falta o feedback necessário
(NORMAN, 2010, p. 8).
Como uma das soluções possíveis, Norman aponta para o caso da Xerox
PARC (Palo Alto Research Center), divisão da Xerox fundada em 1970, berço de
invenções como a interface gráfica, hoje adotada pela Microsoft e a Apple. Quando a
interface gráfica surgiu, foi necessário pensar em questões de usabilidade, como
quando um ícone era arrastado em uma pasta, e naturalmente o ícone desaparecia
e ficava dentro da pasta. De forma natural o mesmo ícone sumia quando era
arrastado para uma lixeira. Mas esse movimento natural foi rompido: quando se
pegava um ícone e o arrastava para a impressora, o arquivo era impresso e o ícone
sumia da tela. Foi necessário repensar a interação.
Alguns estudos apontam para uma padronização das interações nessas
interfaces naturais, como a análise dos aspectos do mundo físico e virtual, utilizando
metáforas para uma representação coesa (TERRENGHI et al., 2007);
desenvolvimento de ícones segundo fatores como tamanho do ícone, dinâmica,
de Dan Saffer (2008), Designing Gestural Interfaces, voltado para desenvolvedores
de interface que se deparam com o novo desafio de construir interfaces naturais.
Essas padronizações buscam esclarecer questões tais como se as interfaces
naturais devem compreender várias formas possíveis de se chegar a um mesmo
resultado – como quando queremos criar uma nova pasta no Microsoft Windows, e
clicamos com o botão direito no mouse onde queremos que seja criada a pasta, ou
vamos até o menu correspondente e escolhemos a opção “Nova pasta” (Microsoft
Windows).
De acordo com estudos sobre as interfaces gestuais, gestos manuais podem
ser classificados em diferentes categorias, como gestos de conversação, gestos de
controle, gestos de manipulação e gestos comunicativos (WU, 1999a). Considera-se
que as Línguas de Sinais são compostas de gestos comunicativos importantes a
serem utilizados para estudos a respeito de reconhecimento gestual, fornecendo
base para testes de mesa em algoritmos – estrutura dessas interfaces. De forma
semelhante, também se oferecem como importante modo de interação
computacional (WU, 1999b).
Portanto, dada sua gramática complexa e estruturada, a importância do
reconhecimento das Línguas de Sinais serve tanto ao propósito de teste das
interfaces puramente gestuais, como também podem ser utilizados os sinais das
Línguas de Sinais para a padronização da interatividade no digital.
O segundo uso dessas interfaces é especialmente interessante aos surdos,
pois possibilitaria a concepção de uma interface computacional natural para que o
surdo interagisse com o computador por meio de sua língua materna, Língua de
e conteúdos textuais para a Língua de Sinais (PRODEAF11), o surdo teria meios de
interação computacional fundamentados somente em Línguas de Sinais, não o
obrigando a utilizar exclusivamente a Língua Portuguesa no uso do computador.
Independente do uso das interfaces gestuais, se para fins de interação com o
sistema, ou se para fins de tradução das Línguas de Sinais para línguas orais e
vice-versa, o sistema que se propõe a reconhecer as Línguas de Sinais deve considerar
características importantes quanto a sua gramática. Antes de nos debruçarmos
sobre as particularidades dessas línguas, vejamos no próximo item (2.3) questões
referentes ao desenvolvimento das tecnologias e das interfaces naturais,
particularmente às referentes aos videogames, e o que esse desenvolvimento
promissor tem a oferecer no campo da interação gestual.
2.3 A evolução das interfaces e o mundo dos Games
No ano de 1961 o fundador da Digital Equipment Corporation, Ken Olsen,
doou ao Departamento de Engenharia Elétrica do Massachusetts Institute of
Technology (MIT) um computador de $120.000,00 chamado PDP-1. A expectativa
era que o computador fosse usado para descobrir a cura do câncer, ou resolver
grandes problemas da humanidade. Ao invés disso, Steve Russell que trabalhava no
Laboratório de Pesquisas em Eletrônica do MIT, e alguns outros estudantes, usaram
o super computador para criar o primeiro jogo interativo de computador, o Spacewar!
11Empresa brasileira focada no tema de acessibilidade digital ao surdo. Composta por uma equipe
multidisciplinar de programadores, linguistas, designers e surdos, propõe-se a traduzir textos de páginas de empresas para Língua Brasileira de Sinais – LIBRAS, por meio de avatares animados. (disponível em
(figura 4). Desde então, o desenvolvimento de jogos se atrelou a capacidade
computacional (ADVENTURE, 2007).
Figura 4: Dan Edwards (esquerda) e Peter Samson jogando Spacewar!
Fonte: http://pdp-1.computerhistory.org/pdp-1/index.php?f=showitem&id=26.54&popupwin=1
O jogo Spacewar! devia ser jogado por duas pessoas, cada uma controlando
uma das espaçonaves. Cada jogador tinha como objetivo destruir a aeronave do
outro, através de uma constelação com características que refletiam o mundo real
(Computer History Museum). Anos depois surgiu o primeiro videogame que poderia
ser jogado em casa, o Odissey.
Desde o primeiro videogame até os videogames atuais, muita coisa mudou,
como os gráficos, cores, enredo dos jogos, entre outros. O que mudou
principalmente foi o modo como se joga: a interface. Na figura 5 temos um exemplo
Figura 5: A evolução dos controles de videogames
Fonte: http://www.pitacosmodernos.com.br/2010/12/evolucao-do-controle-para-videogames.html
Analisando os controles dos primeiros videogames produzidos, percebemos –
com o perdão do termo – uma forte “cultura do dedão”. Em sua maioria, os
videogames sempre demandaram do jogador o uso do polegar da mão esquerda
para o controle do direcional, sendo necessário associar movimentos do tipo
direcional direito, com o ato de movimentar um avatar para o lado direito na tela da
televisão, ou ainda virar o volante de um carro, dirigir uma aeronave, etc.; e o uso do
dedão da mão direita para controles de uso genérico, como socos e chutes, para um
jogo de luta, ou acelerar e frear para jogos de corrida. Da combinação desses
botões, geralmente é executado algum comando especial.
Com as novas capacidades computacionais e as novas tecnologias
naturais, os estudos mais difundidos a respeito dos novos modos de interação
derivam da indústria dos games.
Podemos usar as gerações para categorizar o estado da arte dos videogames
ao longo dos anos. Em 2012, encontramo-nos na oitava geração dos consoles, com
o lançamento de novos portáteis em 2011, capazes de explorar a tecnologia 3D e o
touch.
As gerações de consoles foram marcadas por grandes revoluções no modo
de se jogar videogame, como, por exemplo, a quinta geração, marcada pelos
videogames de 32 bits12, e a sexta geração, com os consoles de 128 bits. A partir da
sétima geração, iniciada em 2005 com o lançamento do MicrosoftXbox 360, não se
usa mais como parâmetro de destaque os bits, ou seja, a capacidade gráfica de
cada aparelho, e sim as novas possibilidades interativas.
Na sétima geração, cada empresa adotou uma forma de atuação no mercado
dos games. O Xbox 360 possui gráficos poderosos, e um sistema de jogo on-line,
para engajamento dos jogadores além dos enredos off-line, o que estende o jogo. O
Nintendo Wii apostou em franquias de jogos de sucesso, com personagens
conhecidos do universo Nintendo, como Mario, Donkey Kong e Zelda. Apesar de
utilizar capacidade gráfica considerada ultrapassada, a Nintendo apresentou novas
formas interativas de jogar, por meio de controles sensíveis ao movimento. O Sony
Playstation 3 adotou uma nova forma de armazenamento dos jogos, o Blu-Ray, com
capacidade de 50 Gigabytes de armazenamento, o que significa mais espaço para
armazenar imagens ainda melhores, além de uma rede social de jogadores,
semelhante a da Microsoft, e gratuita.
Um dos consoles dessa geração que mais se destacaram, foi o da Nintendo.
Baseado na interação natural, que utiliza movimentação do corpo como interface de
jogo, o Wii tem a capacidade de aproximar os jogadores casuais do mundo dos
games (figura 6). Podemos considerar os consoles Xbox 360 e o PS3 mais
hardcore, o que significa que são mais procurados por jogadores que gostam muito
de jogar, que buscam gráficos mais reais, e que não tem problemas em manipular o
joystick.
Figura 6: Controle do Nintendo Wii
Fonte: Site oficial da Nintendo http://www.nintendo.com/wii
Na tentativa de captar parte do mercado consumidor casual da Nintendo, a
Microsoft lançou em 2010 o Microsoft Kinect (figura 7), um sensor de movimento
composto por câmeras infravermelho que percebem os movimentos do jogador sem
a necessidade de controladores específicos. O aparelho trouxe novidades ao
console, incorporando também a capacidade de aproximar os jogadores casuais dos
Figura 7: Microsoft Kinect
Fonte: Site oficial do Xbox http://www.xbox.com/pt-BR/Kinect
Antes mesmo desses dispositivos, a Sony lançou uma câmera capaz de
reconhecer gestos para seu videogame de sexta geração, o Playstation 2. O
acessório, chamado de EyeToy, era uma câmera capaz de perceber os movimentos
do usuário. Mais simples, precisava de condições favoráveis de funcionamento,
como luminosidade correta. Anos depois, em resposta ao Kinect e ao Wii, a Sony
lançou o Sony Move (figura 8), uma espécie de bastão que deve ser usado com a
câmera sucessora do EyeToy, a Playstation Eye. Apesar de o conceito ser
praticamente o mesmo dos outros dois fabricantes, o Sony Move não trouxe
Figura 8: Playstaion 3, Playstation Eye e Sony Move
Fonte: Site oficial do Playstation http://us.playstation.com/ps3/playstation-move/
Alem dessas iniciativas, para tornar as atividades com os novos controladores
ainda mais miméticas, a Nintendo e a Sony, e fabricantes não oficiais, lançaram
diversos acessórios que permitem acoplar seus controles, como armas para jogos
de tiro, volantes para jogos de corrida, acessórios para vestir nas pernas para
simuladores de caminhada, raquetes de tênis, tacos de golfe, entre outros (figura 9).
O gráfico da figura 10 está dividido em dois grupos. Os consoles e os
portáteis. O primeiro conjunto de dados apresenta as vendas dos principais consoles
dessa geração, Microsoft Xbox 360, lançado em 2005, Nintendo Wii, lançado em
2006 e o Sony Playstation 3, também de 2006.
Figura 10: Total de vendas por console de videogame Fonte: http://www.vgchartz.com/
Uma das conclusões possíveis das estatísticas, é que a posição de destaque
do Nintendo Wii se deve em partes ao seu fator mimético, e a consequente
aproximação com os jogadores casuais. Ao comprar um novo videogame, o jogador
pode optar por aquele que atende o maior número possível de familiares dentro de
uma casa, ou ainda aquele que reúne o maior número de pessoas em uma partida –
presencialmente, já que há ainda a opção de jogar on-line. Com isso, a Nintendo sai
na frente, pioneira em um caso de sucesso de interação corporal e gestual em
games. A Microsoft aparece logo em seguida, com a adição do Microsoft Kinect e
A seguir abordaremos como as capacidades desses dois consoles têm sido
abordadas e empregadas nos mais diversos campos, como medicina, terceira idade
e educação.
2.4.1. Nintendo Wii
Devido a seu potencial interativo e sinestésico, o Nintendo Wii já foi utilizado
em diversas iniciativas e estudos englobando campos como saúde, educação e
reabilitação.
No campo da saúde, temos, por exemplo, o projeto Wii-hab, desenvolvido no
Departamento dos Assuntos dos Veteranos (de Guerra) dos Estados Unidos
(TYSON). Ex-combatentes são estimulados a utilizarem o Wii para manter o bom
condicionamento físico, ou em rotinas de reabilitação. Um dos jogadores,
paraplégico, joga em simuladores de esporte no Wii para manter a saúde
cardiovascular e a força.
Na entrevista, coletada por Megan Tyson, um dos terapeutas físicos do
Centro Médico dos Assuntos Veteranos em Denver, Colorado, disse: “O Wii é uma
ferramenta excelente para promover exercícios, fortalecer a habilidade cognitiva e
ajudar com problemas visual-espaciais” (TYSON).
Através da interface gráfica, o Wii também motiva os veteranos na
reabilitação, com casos de ex-soldados que perderam membros do corpo, e utilizam
o Wii para se ajustar as próteses. A respeito de treinos de equilíbrio com próteses,
outro terapeuta físico afirma: “O Wii é motivacional e dá uma resposta ótima aos
fora de equilíbrio”. Além disso, são citados fatores como facilidade de uso, e o preço
menor do Wii em relação a outros aparelhos de reabilitação.
Existem outras iniciativas pelo mundo inteiro, como a da Faculdade de
Fisioterapia da Universidade Santa Cecília (UNISANTA), que inaugurou o serviço de
Recuperação Funcional Virtual, em agosto de 2010 (COMUNICAÇÃO, 2010); o
Dodd Hall Rehabilitation Hospital, da Universidade Estadual de Ohio, que
prescreveu 30 minutos diários de terapia com o Wii a um dos seus pacientes, vitima
de um AVC – Acidente Vascular Celebral (GAMES); a Universidade de São Paulo,
local em que foi desenvolvido um estudo na EACH - Escola de Artes, Ciências e
Humanidades, que analisava o desempenho de pessoas com deficiências em jogos
eletrônicos (FERREIRA, 2011); e a dissertação de mestrado “Games e Terceira
Idade: um Estudo de Caso com o Wii Sports”, do ex-aluno da PUC Guilherme
Henrique Quintana, que relaciona e observa as interações de idosos com o Nintendo
Wii (QUINTANA, 2011).
As potencialidades interativas do Wii também foram exploradas por técnicos
computacionais, expandindo ainda mais as utilizações da interface. Brian Peek, um
experiente técnico da Microsoft, desenvolveu uma biblioteca de desenvolvimento
para o Wii, a WiimoteLib. Com isso, qualquer desenvolvedor pode utilizar um
controle do Nintendo Wii acoplado a um computador para criar seus próprios
programas e suas interfaces interativas. Entre os aplicativos listados no site de Brian
Peek (PEEK), estão interfaces tipo tablet (Tablet Interface); baterias musicais virtuais
– que utilizam o ar para simular uma bateria real (Wii Drum High; Virtual Drum Kit);
braços mecânicos controlados via controle Wii (Wiimote Controlled Lynx Arm);
interfaces de música controladas por gestos naturais (Wii Theramin); robôs
2.4.2. Microsoft Kinect
O Kinect também é amplamente utilizado para finalidades além do
entretenimento em jogos digitais. Com o lançamento em 2012 do Kinect para
Windows, a Microsoft disponibilizou para os desenvolvedores de programas de
computador uma forma de desenvolver novos programas e interfaces
computacionais que exploram os gestos.
Podemos citar como exemplo o R.O.G.E.R. (CACTUS), um protótipo de jogo
da produtora Fishing Cactus , desenvolvido com a ajuda do Centro de Inovações da
Microsoft e quatro terapeutas, para paciente que sofrem de falta de lógica ou de
capacidades organizacionais, como pacientes que sofreram AVC ou sofrem de
Alzheimer. O jogo (figura 11) conta com cenários realísticos, quarto e banheiro, e o
objetivo do jogador é organizar uma mala para uma viagem específica. Assim, o
paciente precisa interagir com o ambiente, coletando itens dentro da interface e
organizando sua mala mesmo com alguns distrativos, como telefone e campainha
tocando. O terapeuta acompanha todas as ações, analisando se o paciente
Figura 11: Imagem do jogo R.O.G.E.R.
Fonte: http://blog.fishingcactus.com/wp-content/uploads/2010/10/previewb02.jpg
A Microsoft mantém uma página com planos de atividades escolares
utilizando o Kinect(EDUCATION). A página traz as atividades por título e descrição,
contendo o tema (ciências, matemática, artes linguísticas, história e outros), a faixa
etária e o nome do jogo a ser utilizado. Através do portal, jogos como o Kinectmals,
em que o objetivo é cuidar de um animal selvagem, são sugeridos para desenvolver
noções de “igual e diferente”, questões perceptivas como características dos
animais, habilidades motoras e sociais, entre outros.
A interface do Kinect para os videogames também cria um modo próprio de
navegação gestual por menus, enquanto não se está de fato jogando. Toda vez que
uma janela aparecer no canto direito inferior do menu do aparelho, o Kinect está
ativado e é possível utilizar gestos.
Apontando a palma da mão para o Kinect, é possível movimentar o ícone
tela, basta ficar com a mão parada em cima do menu, até que o círculo em volta do
ícone da mão se complete. Esse tipo de interação temporal, que avalia o tempo de
inatividade durante um gesto, serve para se certificar de que o usuário realmente
quis selecionar o menu escolhido, evitando comandos acidentais (Figura 12).
Figura 12: Gesto do Kinect – Focalizar para selecionar
Fonte: http://support.xbox.com/pt-BR/kinect/body-tracking/body-controller
Iniciativas como essas, oriundas dos mundos dos games, reforçam o
potencial interativo das interfaces naturais em diferentes esferas: o próprio
entretenimento direto, reabilitação, inclusão, trabalhos sociais, etc. Todas essas
iniciativas partem do princípio da adaptação dos jogos comercializados pelas
fabricantes, ou ainda de adaptações às interfaces por meio de programação
computacional.
Para uma interface voltada ao reconhecimento de Línguas de Sinais, uma
abordagem semelhante pode ser adotada. Discutiremos melhor esses aspectos
técnicos no item 4, do Estado da Arte. Antes, porém, é necessário o entendimento
dos parâmetros e características das Línguas de Sinais que essas interfaces devem
CAPÍTULO 3 – LÍNGUAS DE SINAIS E CARACTERÍSTICAS
Com o objetivo de compreender o escopo do trabalho com interfaces de
reconhecimento gestual voltadas ao reconhecimento de Línguas de Sinais, é preciso
definir alguns conceitos preliminares. Nesse capítulo, abordamos a questão das
linguagens não verbais com especial atenção as Línguas de Sinais, explorando suas
características particulares. Faremos uma distinção necessária entre gesto e sinal,
explorando suas propriedades e aspectos gramaticais.
3.1 Contextualizando a Língua de Sinais
As Línguas de Sinais são utilizadas para comunicação e se apropriam do
espaço-visual como canal. Língua e linguagem possuem características importantes
que enquadram as Línguas de Sinais como língua e não linguagem. A linguagem é
“heteróclita e multifacetada”:
...o cavaleiro de diferentes domínios (...) física, fisiológica e psíquica, ela pertence, além disso, ao domínio individual e ao domínio social; não se deixa classificar em nenhuma categoria de fatos humanos, pois não se sabe inferir sua unidade (SAUSSURE, 1857-1913, p. 17).
Para Saussure, a linguagem é uma faculdade que os homens utilizam para
produzir, desenvolver e compreender a língua e outras manifestações simbólicas
semelhantes à língua. Portanto a linguagem apresenta manifestações em diversos
campos, como pintura, artes cênicas, música, e diversas outras formas.
Linguagem é divisível em linguagem verbal e não verbal. Por linguagem não
verbal, temos como exemplo os sinais de trânsito, gestos corporais, a própria mímica
verbal pode ser um simples gesto, convencionalmente adotado para significar algum
conceito pré-estabelecido a um determinado grupo de pessoas, como é o caso dos
emblemas.
Segundo (EKMAN & FRIESEN, 1972, p. 461), emblemas são atos não
verbais que contém uma tradução geralmente de uma ou duas palavras, ou até
mesmouma frase, utilizados com a intenção consciente de enviar uma mensagem à
outra pessoa. O receptor, nesse caso, geralmente sabe o significado do emblema e
sabe que ele foi dirigido a ele. Os emblemas então são atos comunicativos e
interativos. Por exemplo: “não consigo te ouvir” – nesse emblema a mão é colocada
atrás de uma orelha, face para frente.
Em um sentido mais amplo, linguagem de sinais é um tipo de comunicação
não-verbal. Pode ser utilizada por um estrangeiro que desconhece a língua do país
em que se encontra, ou ainda como forma primitiva de comunicação. Nesse
contexto, considera-se metaforicamente como “linguagem” o sistema rudimentar de
comunicação, sem léxico e sem gramática (NÖTH, 1995).
Poyatos (1976) sugere uma categorização das linguagens, que considera as
dicotomias “vocal” e “não-vocal” e ainda, “verbal” e “não-verbal”, assim sendo
(POYATOS, apud NÖTH):
a) Comunicação verbal-vocal: compreende mensagens de uma língua natural falada;
b) Comunicação não-verbal-vocal: compreende o ramo da paralinguística e alguns outros usos não linguísticos da voz humana (por ex.: gritos, gargalhadas, etc.);
d) Comunicação não-verbal-não-vocal: engloba os sinais somáticos em tempo e espaço.
De acordo com a categorização sugerida por Poyatos, ampliando a
classificação de linguagem à língua – já que essa parte daquela – as Línguas de
Sinais se enquadram como forma de Comunicação Verbal Não-Vocal.
A língua por sua vez, é uma unidade por si só, um princípio de classificação
pelo qual é possível estabelecer certa ordem na faculdade da linguagem. A língua é
um produto social, e também convencional, pois existe da convenção tácita de um
mesmo grupo, como é o caso do português e da LIBRAS:
O português brasileiro é a língua de uma grande comunidade de pessoas ouvintes, nascidas no Brasil. A LIBRAS é a língua de uma grande comunidade de pessoas surdas nascidas no Brasil. Essas línguas não se limitam a uma ou outra pessoa. Elas nascem e se desenvolvem no âmbito de um grupo social, não no âmbito individual (VIOTTI, 2007, p. 3).
Do ponto de vista comunicativo, a língua de sinais enquanto Comunicação
Verbal Não-Vocal para os indivíduos surdos passaram a existir desde que existe a
língua oral humana, e sempre que existiram surdos reunidos por mais de duas
gerações em comunidades, o que atrela à língua uma cultura (RAMOS, 2009).
A exemplo da Língua Brasileira de Sinais (LIBRAS), a Lei nº 10.436, de 24 de
abril de 2002, garante em seu art. 1º a LIBRAS como língua oficial brasileira
(BRASIL, 2002):
