7. CONCLUSÃO
7.2 Trabalhos Futuros
Com esta pesquisa buscou-se validar a integração do mapeamento de gestos a partir de um dispositivo de reconhecimento de gestos, com uma solução já existente. Porém, como já levantado no Capítulo 6, foram encontrados alguns problemas, são eles:
sistemas de coordenadas distintas entre a solução proposta e o ProDeaf;
falha na detecção da mão, não garantindo um mapeamento confiável para um determinado gesto;
necessidade de um aperfeiçoamento na camada de geração de gestos, com o intuito de possibilitar uma integração multiplataforma.
Algumas propostas de melhoria e aprimoramento, visando mitigar os problemas encontrados são:
Melhoria no Sistema de Coordenadas
Através dos resultados apresentados no Capítulo 6, foi possível observar que existe divergência no sistema de coordenadas quanto a interação entre duas soluções, isso dependendo do dispositivo utilizado para mapear um gesto. Que no contexto da solução proposta neste trabalho de pesquisa foi o dispositivo Leap
Motion.
Portanto, existe uma necessidade de se desenvolver uma camada que garanta integridade e independência entre as soluções no que diz respeito ao sistema de coordenadas. Essa camada será responsável por abstrair qual solução assumirá o papel de input ou output, tratando os gestos mapeados. Esse tratamento consistirá na transformação dos valores das coordenadas dos gestos em valores padrões, possibilitando a igualdade do sistema de coordenadas das soluções que venham interagir.
Detecção de Objetos
O fato do controlador do Leap Motion, não nos dar uma garantia de exatidão na detecção de objetos que estejam sobre ele, faz com que o uso de um algoritmo que auxilie no processo de melhoria de detecção seja necessário como apoio.
Um exemplo que ajuda a entender essa necessidade é o caso do jogo Leap- Libras descrito na subseção 5.3. No vídeo de demonstração do jogo é notório que em alguns momentos, quando o usuário tenta reproduzir o sinal que foi aprendido, existem falhas nas detecções por parte do Leap Motion. Como pode ser observado na Figura 56.
Figura 56 – Interação do Usuário no Jogo Leap-Libras (JOGO LEAP-LIBRAS, s.d).
O usuário está reproduzindo o sinal correspondente a letra C, porém o resultado do que é mapeado pelo dispositivo e reproduzido, não corresponde ao realizado pelo usuário. Esta falha no reconhecimento afeta diretamente na pontuação que os usuários deverão alcançar no jogo, pois por consequência da falha o ponto não foi obtido.
Pode-se inferir como proposta de amadurecimento desse estudo, a integração do processo de classificação baseado em Hidden Markov Model (HMM). A qual possibilita através de expressões matemáticas, extrair características específicas de um gesto ou de determinados objetos nele inserido. O que viabiliza o
registro de cada gesto através de treinamentos, e assim, considerar o que tenha o menor número de falhas através de uma avaliação.
Gestos Multiplataforma
Outra proposta de trabalho futuro seria possibilitar o reconhecimento de gestos, com as mãos, em ambientes multiplataforma. Assim, seria possível selecionar gestos para cada contexto de interação dentre os vários disponíveis.
O desenvolvimento desta solução giraria em torno da possibilidade do desenvolvedor, com o uso de uma ou das duas mãos, gerar sua própria biblioteca, para então integrá-la com outros dispositivos independentemente da plataforma que venha ser utilizada.
Dicionário de gestos
A elaboração de um dicionário de gestos irá contribuir nas correções de possíveis instabilidades que possam ocorrer durante a detecção dos gestos, bem como corroborar na mitigação dos fatores externos, por exemplo, sensibilidade à luz forte e objetos extras. A partir disso, a classificação e a extração de insumos visuais de um gesto poderá ser melhor categorizado. Com o uso de dicionário de gestos, será possível realizar comparações entre os gestos já armazenados e os gestos capturados em tempo real.
A abordagem de dicionário de gestos pode ser utilizada tanto para os gestos estáticos quanto para os gestos dinâmicos. Quando um gesto é estático, sua medição é realizada diretamente pela primeira derivação de um espaço 3D, considerando a orientação do gesto. Já para um gesto dinâmico, a informação capturada também considera as variáveis de espaço e orientação, mas também as derivações das coordenadas.
Interação do Leap Motion com o ProDeaf em tempo real
No trabalho de pesquisa em questão, foi apresentada a integração entre um dispositivo de reconhecimento de gestos e um software de interpretação de gestos, sendo utilizado a notação XML para realizar a integração. A ideia para um trabalho
futuro, seria possibilitar ao usuário uma interação em tempo real entre o Leap Motion e o ProDeaf, possibilitando a interpretação e interação com o usuário a partir do avatar do ProDeaf, assim que o usuário realizar o gesto, o mesmo seria mapeado e identificado pelo dispositivo. Esta ideia poderá ser expandida para as plataformas atualmente disponíveis do ProDeaf, a Web e a Mobile.
Investigação do uso de dois dispositivos Leap Motion
No capítulo 6, foram apresentadas as limitações encontradas com o uso do dispositivo Leap Motion durante a implementação da solução proposta neste trabalho de pesquisa. Como foi usado apenas um dispositivo, é válida uma investigação futura sobre a utilização de dois dispositivos Leap Motion simultaneamente, a fim de obter um resultado satisfatório referente ao mapeamento da mão e seus objetos: dedos e palma da mão.
Com isso, influenciaria diretamente no tratamento de falhas de reconhecimento de gestos, pois a quantidade de sensores seria maior, já que seriam utilizados dois dispositivos. Proporcionando, o mapeamento de um maior número de gestos, também uma melhor estimativa, quanto a precisão ao reconhecer um determinado conjunto de gestos.
Redes Neurais Artificias na melhoria do reconhecimento de gestos
As Redes Neurais Artificiais auxiliam no reconhecimento de padrões de gestos. Seu uso consiste basicamente em criar uma base de dados de aprendizado, com exemplos de entradas e das saídas desejadas gerando um conjunto de gestos, evitando incoerência no momento em que um gesto é reconhecido. A proposta seria desenvolver um algoritmo de aprendizado que irá auxiliar tanto na classificação dos gestos, como na forma em que os mesmos serão mapeados. Os possíveis pontos atacados com a implementação do algoritmo são:
Amenizar as falhas na detecção das mãos, bem como o posicionamento e rotação relativa a partir do centro da palma da mão;
Identificar os pontos específicos de objetos que venham compor um gesto, mesmo que estes não estejam posicionados com precisão no campo de visão do dispositivo, por exemplo, os dedos.
Uso do Leap Motion em outro ângulo de captura de gestos
Com o intuito de melhorar o reconhecimento de gestos com o Leap Motion, uma proposta de melhoria é o uso do dispositivo em um ângulo de captura de gestos distinto do usual. Na maioria dos casos o dispositivo fica na horizontal e em cima da mesa. Isso pode afetar diretamente na maneira como um determinado gesto é mapeado podendo gerar resultados, que quando comparados com outros cenários de uso, que influenciem em como o dispositivo deve estar posicionado perante o usuário e qual a melhor estratégia para que gestos possam ser melhor captados.
Por fim, a primeira proposta para o desenvolvimento deste trabalho de pesquisa, era explorar gestos para um cenário multiplataforma, o qual facilitaria a integração entre camadas da solução desenvolvida, com qualquer outra tecnologia de mesmo cunho técnico. Porém, o trabalho seguiu uma direção mais de ser um estudo de viabilidade e voltado para explorar pontos que podem ser considerados e implementados, isto quando o foco é mapear gestos com o uso restrito das mãos para a língua de sinais. Resultando, no conhecimento adquirido durante a elaboração desse trabalho de pesquisa direcionado especificamente para a tecnologia do Leap Motion.
REFERÊNCIAS
ACESSO BRASIL. Libras - Dicionário da Língua Brasileira de Sinais. Disponível em: http://www.acessibilidadebrasil.org.br/libras. Acesso em: Julho de 2015.
ASSIS, Pablo de. Como funcionam as telas sensíveis ao toque (touch screen). 2009. Disponível em: http://www.tecmundo.com.br/projetor/2449-como-funcionam- as-telas-sensiveis-ao-toque-touch-screen-.htm. Acesso em: Fevereiro de 2015
BEDIKIAN, Raffi. Understanding Latency: Part 1. Disponível em:
http://blog.leapmotion.com/understanding-latency-part-1/. Acesso em: Janeiro 2015. BERNARDES JÚNIOR, João Luiz. Modelo abrangente e reconhecimento de
gestos com as mãos livres para ambientes 3D. 2010. 170 p. Tese (Doutorado em
Engenharia) – Escola Politécnica da Universidade de São Paulo, São Paulo.
CAPOVILLA, Fernando César; RAPHAEL, Walkíria Duarte. Dicionário
encidopédico ilustrado trilingiie da lingua de sinais brasileira. 2. ed. Ilustrações
de Silvana Marques. São Paulo: USP/Imprensa Oficial do Estado, 2001.v. I: sinais de A a L e v. II: sinais de M a Z.
CARVALHO, José Oscar Fontanini de. O papel da interação humano-computador na inclusão digital. In: Transinformação, v. 15, p. 75-89, Dez. 2003. Disponível em: http://www.scielo.br/pdf/tinf/v15nspe/04.pdf. Acesso em: Fevereiro de 2015.
COMPUTER LABORATORY. Research. 2015. Disponível em:
https://www.cl.cam.ac.uk/research/. Acesso em: Março de 2015.
CORREIA, Anderson Tavares.; LIMA, Rosângela A. F.; LIMA, Francisco J. de. Datilologia, tradução ou “oralização sinalizada”?. In: Congresso Nacional de
Pesquisas em Tradução e Interpretação de LIBRAS e Língua Portuguesa, 2010,
Florianópolis.
COSTA, André de Oliveira Monteiro Castanheira. Reconhecimento de Língua
Gestual. 2014. 116 p. Dissertação (Mestrado em Engenharia da Informática e
Computadores) – Pontifícia Universidade Católica de São Paulo, São Paulo.
DEURSEN, Arie Van; KLINT, Paul; VISSER, Joost. Domain-Specific Languages: An Annotated Bibliography. In: ACM SIGPLAN Notices, v. 35, p. 26-36, Jun. 2000.
DOMAIN-SPECIFIC LANGUAGE, How to Define a. Disponível em:
https://msdn.microsoft.com/en-us/library/bb126581.aspx. Acesso em: Março de 2015.
FACE Tracking Kinect. Disponível em: https://msdn.microsoft.com/en-
FOWLER, Martin. Domain Specific Language. Disponível em: http://martinfowler.com/bliki/DomainSpecificLanguage.html. Acesso em: Fevereiro 2015.
HOITING, N.; SLOBIN, D. I. (2002) Transcription as a tool for understanding: the Berkeley Transcription System for sign language research (BTS). In: G. Morgan & B (Eds). Directions in sign language acquisition. Amsterdam/Philadelphia: John Benjamim. p. 55-75.
JOGO Leap-Libras. Disponível em: http://leaplibras.herokuapp.com/. Acesso em:
Abril de 2015.
KESKIN, C.; KIRA, F.; KARA, Y. E.; AKARUN, L. Real time hand pose estimation using depth sensors. In: IEEE International Conference on Computer Vision
Workshops (ICCV Workshops), 2011, Barcelona. p. 1228–1234.
KHANDKAR, Shahedul H.; MAURER, F. A domain specific language to define gestures for multi-touch applications. In: Proceedings of the 10th Workshop on
Domain-Specific Modeling, 2010, New York.
KOCHHAR, A.; HILDEBRAND, M.; SMITH, R. Clinical aspects of hereditary hearing loss. In: Journal Genetics in Medicine. v. 9, n. 7, p. 393–408, Jul. 2007.
KUBOTA, T. Moving Through CT Scans, Sans Mouse. 2013. Disponível: http://www.healthbizdecoded.com/2013/09/moving-through-ct-scans-sans-mouse/. Acesso em: Abril de 2015.
LEAP Motion. Attributes Hand. 2015a. Disponível em:
https://developer.leapmotion.com/documentation/csharp/api/Leap.Hand.html. Acesso
em: Janeiro de 2015.
_________. API Overview. 2015c. Disponível em:
https://developer.leapmotion.com/documentation/csharp/devguide/Leap_Overview.ht ml. Acesso em: Janeiro de 2015.
_________. Attributes Arm. 2015b. Disponível:
https://developer.leapmotion.com/documentation/csharp/api/Leap.Arm.html. Acesso
em: Janeiro de 2015.
_________. Leap Motion, Inc. 2015d. Disponível: https://www.leapmotion.com/. Acesso em: Janeiro de 2015.
LI, K. F.; LOTHROP, K.; GILL, E.; LAU, S. A web-based sign language translator using 3d video processing. In: International Conference on Network-Based
Information Systems (NBiS), 14, 2011, p. 356 –361, Sept. 2011.
LUCENA, Fábio Nogueira de; LIESENBERG, Hans K. E. Interfaces Homem-
Computador: Uma Primeira Introdução. São Paulo: Unicamp, 1994. 34 p. (Série
Texto Técnico, TT/PCC/01). Disponível em:
MARCOTTI, P.; ABIUZI, L. B.; RIZOL, P. M. S. R.; FORSTER, C. H. Q. Interface para reconhecimento da língua brasileira de sinais. In: Simpósio Brasileiro de
Informática na Educação - SBIE, 18, 2007, São Paulo. p. 482-489.
MERNIK, Marjan; HEERING, Jan; SLOANE, Anthony M. When and how to develop domain-specific languages. In: Journal ACM Computing Surveys (CSUR), v. 37, p.316-344, Dec. 2005.
MICROSOFT RESEARCH. Disponível em: http://research.microsoft.com/en-us/.
Acesso em: Março de 2015.
MOTIONSAVVY UNI: 1st Sign Language to Voice System. Disponível em:
https://www.indiegogo.com/projects/motionsavvy-uni-1st-sign-language-to-voice- system. Acesso em: Abril de 2015.
MYO, SDK Manual. Disponível em:
https://developer.thalmic.com/docs/api_reference/platform/index.html. Acesso em:
Fevereiro de 2015.
OLIVEIRA, Frederico Bida de. Interfaces Usuário-Máquina. Disponível em: http://sistemas.riopomba.ifsudestemg.edu.br/dcc/materiais/1618984280_Apostila- Interfaces-Homem-Maquina.pdf. Acesso em: Março de 2015.
PAVLOVIC, V.I. SHARMA, R. ; HUANG, T.S.. Visual Interpretation of Hand Gestures for Human Computer Interaction: A Review. In: IEEE Transactions on Pattern
Analysis and Machine Intelligence, v. 19, n. 7, p. 677-695. 1997.
PRODEAF MÓVEL. Disponível em: http://prodeaf.net/prodeaf-movel. Acesso em:
Março de 2015.
PRODEAF WEB. Disponível em: http://web.prodeaf.net/. Acesso em: Março de
2015.
PRODEAF. Disponível em: http://prodeaf.net/. Acesso em: Março de 2015.
QUADROS, R. M. de; KARNOPP, L. B. (2004) Língua de sinais brasileira: estudos lingüísticos. Porto Alegre: Artmed.
QUAN, Y. Chinese sign language recognition based on video sequence appearance modeling. In: Proceedings IEEE Conference on Industrial Electronics and
Applications (ICIEA), 5, 2010, Taichung. p. 1537–1542.
QUEK, F. Toward a vision-based hand gesture interface. In: Proceedings of the
conference on Virtual reality software and technology, 1994, New Jersey. p. 17-
31.
RAZZANTE, Cláudia. Protótipo Leap Motion. In: Geek Mundo. Disponível em: http://geekmundo.com.br/designers-criam-o-acessorio-leap-motion-para-interpretar- linguagem-de-sinais/. Acesso em: Abril de 2015.
SANT’ANNA, Andrew de Castro; FERRONATO, Ana Carolina Clivatti. Interfaces
Naturais e Interfaces Tangíveis. Disponível em:
http://www.professores.uff.br/screspo/artigoIHC2.pdf
SAUVÉ, Jacques Philippe. Unified Modeling Language. 2013. Disponível em:
http://www.dsc.ufcg.edu.br/~jacques/cursos/map/html/uml/uml.htm. Acesso em:
Janeiro de 2015.
SILVA, Renato Kimura da. Interfaces Naturais e o Reconhecimento das Línguas
de Sinais. 2013. 130 p. Dissertação (Mestrado em Tecnologias da Inteligência e
Design Digital) – Pontifícia Universidade Católica de São Paulo, São Paulo.
SKELETAL Tracking, Kinect. Disponível em: https://msdn.microsoft.com/en-
us/library/hh973074.aspx. Acesso em: Março de 2015.
SOARES, M. A. L. Uma Linguagem de domínio específico para descrever a
Língua Brasileira de Sinais (LIBRAS). 2014. 134p. Dissertação (Mestrado em
Ciências da Computação) - Centro de Informática (CIn), Universidade Federal de Pernambuco, Recife.
STARNER, T.; WEAVER, J.; PENTLAND, A.; Real-time american sign language recognition using desk and wearable computer based video. In: Journal IEEE
Transactions on Pattern Analysis and Machine Intelligence. v. 20, n. 12, p.
1371–1375, Dec. 1998.
STEPANOV, Anton. Enable Talk Project. Disponível em: http://
http://enabletalk.com/. Acesso em: fevereiro de 2015.
STOKOE, W.C. (1960) Sign language structure: an outline of the visual communication system of the american deaf. Studies in Linguistics: Occasional
Papers 8. Buffalo, NY: Buffalo University.
SYSTEM Architecture. Disponível em:
https://developer.leapmotion.com/documentation/cpp/devguide/Leap_Architecture.ht ml. Acesso em: Janeiro de 2015.
TARRATACA, L. D. A gesture recognition System using smartphones. 2008. 94 p. Dissertação (Mestrado em Sistemas de Informação e Engenharia da Computação) – Instituto Superior Técnico, Universidade Técnica de Lisboa, Lisboa. TEIXEIRA, Josina Augusta T. Diferentes leituras para pessoas com necessidades
especiais: Braille, LIBRAS e leitura labial. 2010. Disponível em:
http://portaldoprofessor.mec.gov.br/fichaTecnicaAula.html?aula=18686. Acesso em:
Junho de 2015
UNITY Documentation, Scripting API. 2015. Disponível em:
UNITY, Documentation: Quaternion. Disponível em: http://docs.unity3d.com/ScriptReference/Quaternion.html. Acesso em: Fevereiro 2015.
VIBLIS, M.; KYRIAKOPOULOS, K. Gesture Recognition: The Gesture Segmentation Problem. In: Journal of Intelligent and Robotic Systems, v. 28, p. 151–158, Jun. 2000.
WANG, Q.; CHEN, X.; ZHANG, L.; WANG, C.; GAO, W. Viewpoint invariant sign language recognition. In: IEEE International Conference on Image Processing
ICIP, 2005, Québec City, Canada. p. 281-284.
WEBLIBRAS. Disponível em: http://www.weblibras.com.br/. Acesso em: Março de
2015.
WHO. Deafness and hearing loss. Fact sheet n°300. March 2015. Disponível em: http://www.who.int/mediacentre/factsheets/fs300/en /. Acesso em: Março de 2015
WORLD Federation of the DEAF. Disponível em: http://wfdeaf.org/human-
rights/crpd/sign-language. Acesso em: Fevereiro de 2015.
YANG, J.; XU, Y. Hidden Markov Model for Gesture Recognition, Robotics
Institute, Pittsburgh, PA, 1994. Disponível em: http://www-
preview.ri.cmu.edu/pub_files/pub3/yang_jie_1994_1/yang_jie_1994_1.pdf. Acesso
em: Fevereiro de 2015
YANG, Ming-Hsuan; AHUJA, Narendra. Face Detection and Gesture Recognition
for Human-Computer Interaction. New York: Springer Science+Business Media,
2001. 194 p.
ZAFRULLA, Z.; BRASHEAR, H.; STARNER, T.; HAMILTON, H.; PRESTI, P. American sign language recognition with the KINECT. In: Proceedings of the
International Conference on Multimodal Interfaces, 13, 2011, p.279-286, Nov.