Virtual Simulation Applied on Human Hand Model
Jussara Pimenta Matos, Renato Matosinho Martins, Paulo Marcos de Aguiar Departamento de Engenharia Elétrica
Instituto Federal de Educação, Ciência e Tecnologia de São Paulo São Paulo, SP
{[email protected]; [email protected]; [email protected]}
Abstract This study presents a modeling process for the human hand movement. In recent years the use of virtual and augmented reality has increased in the biomedical area. The prostheses used to replace members for people with physical limitations require that the individual adapts to prosthetic devices, and mechanical, where an effort on the part of patients is required, especially in the early stages of their process of adaptation, and one consequence is that a significant number of these patients give up his recovery in a very short time. In order to use the prosthesis the patient has to practice how to control the artificial limb, that is particularly hard. The upper limb prosthesis simulation is a wide field of study that has many applications. Usually a virtual simulation is used in training system rehabilitation centers. The simulation complexity in this case is relevant due to the large number of joins, presenting complex aspects, that is the motivation to develop this study.
Keywords Virtual Simulation; Human Hand Model I. INTRODUÇÃO
Este artigo apresenta a utilização de técnicas de simulação virtual para a construção do modelo da mão humana. A principal motivação é a necessidade de construção de um modelo a partir da captura de dados de uma mão humana real, construído com base nas mãos de um voluntário e que representasse o mais próximo possível a anatomia humana, para o estudo de próteses. Durante a sua concepção, notou-se a dificuldade de se obter modelos que tivessem sido elaborados a partir de um modelo real. Após avaliação das opções disponíveis, optou-se por formular um processo no qual se obtém, a partir de um voluntário, um modelo para servir de base para variados estudos que necessitem de um modelo virtual da mão humana em diferentes posições.
A pesquisa está inserida no campo da engenharia biomédica, uma área que está cada vez mais crescendo, e em especial, utilizando o laboratório de reabilitação da instituição.
Esta área tem como objetivo auxiliar as pessoas que se encontram em processo de reabilitação [1],[2], que tenham sofrido incidentes que impeçam ou dificultem de alguma forma a capacidade motora ou cognitiva. Cada vez mais existem estudos de novas formas para apoiar o tratamento de pessoas em reabilitação que utilizam o recurso da realidade virtual e aumentada [3], como ferramenta que pode auxiliar tanto em simulações complexas quanto em tratamentos usando recursos audiovisuais. Assim como, atividades de entretenimento, ou que envolvam movimentos e funções motoras.
O trabalho é uma das pesquisas realizadas no laboratório de reabilitação da instituição, onde existem equipamentos tais como, um eletromiógrafo, aparelho capaz de captar os sinais do paciente, permitindo um controle de um possível movimento virtual, um conjunto de computadores pessoais, também está disponível um projetor, que pode ser utilizado para o paciente se ver com o auxilio adicional dos projetos na área da realidade aumentada. Além dos equipamentos citados, também está disponível uma luva de movimentos da mão, equipamento que engloba diversos sensores com a finalidade de detectar os movimentos articulados dos dedos da mão.
II. MODELAGEM DAS MÃOS
A medicina é uma das áreas que mais demandam o uso de Realidade Virtual e Aumentada (RVA) como em educação, treinamento, diagnóstico, tratamento [4] e simulação de cirurgia. A RVA, pelas suas características de visualização 3D e de interação em tempo real, permite a realização de aplicações médicas inovadoras, que antes não podiam ser realizadas [5].
Uma das grandes descobertas da biomedicina foi o sinal eletromiográfico que permite o controle de equipamentos de maneira quase que instantânea pelo cérebro de uma pessoa, se controlado de forma precisa. Tal controle é possível graças ao desenvolvimento de equipamentos que podem captar e interpretar os sinais que advém do cérebro passa para a coluna vertebral, e se introduz em um músculo por meio da junção neuromuscular, iniciando uma onda de energia que irradia do centro do músculo para suas extremidades.
Essa energia é captada na forma de tensão, e permite a diferenciação e o reconhecimento do grupo muscular que está sendo utilizado. Por essa perspectiva é indicada a escolha em utilizar esse tipo de controle em algum equipamento que será empregado para auxiliar a execução de alguma atividade física. Um dos focos da reabilitação humana é permitir o retorno do funcionamento natural das funções de movimento do corpo para o paciente que sofreu algum trauma, seja ele afetando alguma região do cérebro ou a região responsável por essa locomoção em si.
A base do corpo humano é o esqueleto, conectado através de articulações que são responsáveis por permitir ou impor restrições ao movimento do corpo. Cada articulação representa um conjunto de possibilidades de movimentos, estes movimentos são restritos em função da forma dos ossos,
ligamentos, cartilagens e fibras que fazem parte de uma determinada articulação. Na modelagem das mãos um aspecto de complexidade está no carpo, onde vários ossos se articulam na mesma região.
Na figura 1 é apresentada uma estrutura de modelagem de mão [6], utilizando uma hierarquia no movimento das falanges dos dedos.
Figura 1- Modelagem da Mão [6]
Uma prótese é um dispositivo que tem como função principal a substituição de um determinado membro. A tecnologia tem avançado nas últimas décadas e é possível observar usuários de próteses participando cada vez mais de esportes e de atividades de recreação, onde são capazes de desempenhar um grande número de atividades. Porém, uma das dificuldades encontradas ao desenvolver próteses de mão é reproduzir a flexibilidade da mão humana, que deve alterar sua forma de acordo com a tarefa que está sendo executada.
A simulação dos movimentos humanos é complexa à medida que cada movimento traz uma carga de significados, seja das características genéticas do indivíduo, de suas emoções e comportamento, assim como a sua relação com ambiente no qual está inserido, até mesmo a cultura, o falar com as mãos. Além desses fatores, outro desafio é trazer realismo na representação de suas características, tal como tipo e cor da pele.
A mão, é um meio de comunicação e de manipulação, é uma ferramenta que permite vários estilos de interação, que utilizam suas funções, permitindo linguagem de gestos, postura das mãos, padrões de movimento, é uma interface de comunicação intuitiva e natural. Além da complexidade inerente da representação dos movimentos humanos, a mão tem suas próprias características que vão além de segurar objetos, ajudar a apoiar ou de pinçar. Também tem suas peculiaridades em suas articulações.
De uma forma geral, as articulações humanas são comparadas com formas geométricas e junções mecânicas, porém o movimento do ser humano é sofisticado e complexo.
Um modelo para as mãos, baseado em mecânica, usando a técnica de massa-mola é apresentado em [7], cada dedo, exceto o polegar, é representado como uma cadeia serial de três falanges com quatro juntas. O polegar é modelado com duas falanges com dois graus de liberdade de movimento de uma junta, conforme apresentado na figura 2.
Figura 2: Acima a configuração inicial das mãos e abaixo a flexão de três dedos [7]
No laboratório de reabilitação da instituição foi desenvolvido um primeiro projeto, um projeto mecânico de prótese das mãos, conforme apresentado na figura 3.
Figura 3- Projeto Mecânico de Prótese das Mãos
Pessoas que sofreram algum tipo de amputação, ou retirada de órgão em alguns poucos casos, costumam sofrer de uma síndrome chamada de órgão fantasma [8], aonde tem a sensação que essa parte que não mais pertence ao corpo continua existindo e se movendo junto com ela. Essa sensação é causada pelo fenômeno da neuroplasticidade, mais especificamente por causa da região do cérebro responsável pelo controle dessa parte.
O homúnculo motor, ou córtex motor, engloba as regiões do cérebro responsáveis pelo controle de cada região muscular. O principal efeito a ser combatido dessa síndrome é a sensação de dor intensa pela qual mais de 50% dos amputados passa a sofrer [9]. O método mais eficaz já
aplicado para isso foi criar terapias, aonde é induzida uma pequena ilusão para o cérebro, indicando que o membro amputado físico continua no mesmo lugar. Novas tecnologias podem ser adaptadas para serem utilizadas como facilitadoras dessas terapias [8].
Realidade aumentada e virtual é uma tecnologia que pode facilitar consideravelmente a execução de operações complexas [10], tornando possível ao usuário maior eficácia na transferência de informação em muitos processos e em muitos ambientes, existe uma vasta gama de utilização na reabilitação a fim de auxiliar na terapia do mesmo.
III. METODOLOGIA DE DESENVOLVIMENTO
Com intuito de tornar a simulação mais precisa, optou-se por utilizar dados reais ao invés de criados de forma artística, adquiridos da mão de uma pessoa via tecnologia de escaneamento 3D. O processo é realizado aplicando técnicas para animação de personagens.
A retopologia de modelos 3D é uma técnica para manipulação e adaptação de modelos complexos, de forma a transferir esse um modelo com grande número de polígonos para outra versão mais simples, é usada em técnicas de escultura para trabalhar a topologia de objetos orgânicos. Tem como função reorganizar as arestas do modelo, para quando a malha estiver deformada, imitar a movimentação, onde cada vetor representa um osso com orientação e comprimento.
A criação do esqueleto é uma hierarquia de vetores que tem a função de imitar a estrutura óssea, no modelo deve sofrer influência da movimentação dos ossos do esqueleto, que nada mais é do que o peso que cada vértice sofre em relação ao movimento dos ossos. O resultado final do processo, o modelo é exportado usando um formato que consiga conter as informações de animação e seja aceito pelas diferentes ferramentas de modelagem.
O realismo anatômico das articulações pode ser tratado pelo menos de duas formas, na criação de modelos genéricos de articulação do corpo humana e por representar uma articulação específica com o máximo de fidelidade possível.
Para esse projeto decidiu-se utilizar um modelo real de mão humana. A metodologia de desenvolvimento esta dividida em duas etapas, a primeira utiliza o escâner e pode ser desviada se o usuário optar por dados já disponibilizados, como de um banco de dados fisiológicos, por exemplo; a segunda etapa é realizada em um CAD de modelagem 3D à escolha do usuário. O desenvolvimento consiste em aquisição, tratamento dos dados e a elaboração do modelo.
A. Aquisição
Para uso correto do escâner é necessário conhecer sua operação, para isso foram realizados alguns testes para identificar as funções necessárias para o desenvolvimento de uma aplicação, conforme orientação em [11] que explica a utilização de três escâneres, incluindo o aplicável nesse trabalho. Mesmo após o conhecimento adquirido de como operar o escâner, a realização da aquisição de um objeto
requer experimentação e preparação, no caso a montagem de uma estrutura onde a pessoa escaneada, descansa a mão a fim de evitar movimentos involuntários.
Tal procedimento é importante para que se possa obter um bom resultado [12], traços dessa estrutura podem ser notadas na figura 4. No caso do RevScan [11], necessita-se de alvos, pequenos círculos reflexivos, que o equipamento utiliza para determinar a própria orientação em relação ao objeto escaneado. Esses pontos de referências não podem se mover em relação ao objeto ou entre si, para minimizar esse problema, decidiu-se por seções de aquisição mais curtas, de no máximo de cinco minutos eram ideais, mais do que isso e se reiniciava a aquisição.
Figura 4. Comparativo dos dados adquiridos pelo escâner
Após uma aquisição satisfatória, é realizado o comando para o software tratar a superfície adquirida e então com o ajuste de filtros, conforme apresentado na figura 4, possibilitou-se corrigir erros antes de se exportar a malha para outro programa. Erros maiores decorrentes da própria montagem utilizada não puderam ser corrigidos, somente foram corrigidos aplicando-se os filtros do software.
B. Tratamento de Dados
A utilização da ferramenta [13] permite praticamente a maior parte do tratamento dos dados escaneados, que é dividido em quatro passos, isto é, a correção de erros, a retopologia, a construção do esqueleto e a identificação das influências, para que ao final deste processo, o modelo possa ser usado para animação. Todos os passos descritos são padrão da indústria de animação. Apesar de a malha ter sido baseada em dados reais, todos estes passos são realizados de forma artística. Cada modelagem 3D possui uma interface diferente e portanto, recomenda-se consultar o manual do software em uso.
a) Correção de Erro
A montagem utilizada introduziu erros na aquisição, na região do pulso, que o software do escâner não pôde corrigir.
Para que se faça a correção dos erros, é necessário alterar a malha à descrição do usuário. O pulso com erros é reconstruído e algumas deformações na malha são corrigidas,
como algumas partes dos dedos que estavam mais volumosos do que deveriam. A figura 5 apresenta uma vista da mão escaneada, após a correção e é possível notar a diferença entre a figura 4 e a figura 5, porém esses reparos são baseados somente em observações da mão real.
Figura 5. Modelo após ser importado e corrigido
b) Retopologia
A topologia da malha, isto é, a organização das arestas, é fundamental para que a malha deforme corretamente e imite o movimento da pele. A topologia que o escâner gera não é adequada, uma topologia adequada deve formar polígonos concêntricos na região que se contrai ou estende como as regiões coloridas, conforme apresentado na figura 6. A retopologia consiste em refazer a malha com base na superfície existente, assim a nova malha mantém a forma da antiga malha, porém, com as arestas organizadas de maneira otimizada.
C. Elaboração do Modelo
O esqueleto é uma hierarquia de vetores que representam a orientação e comprimento de cada osso, é a parte principal da animação do modelo. Desta forma, quando o modelo for exportado para outro software, cada osso pode ser controlado individualmente realizando o que é chamado de animação procedural [14]. Essa técnica não o replica exatamente o movimento real. Uma forma de evitar essa falha é usar recursos que simulam músculos, mas na ferramenta [10] esse recurso é proprietário e de difícil compatibilidade com outros softwares, através de um método complexo [15].
Nesse processo foram utilizadas referências da anatomia humana para analisar a estrutura óssea da mão, porém para acomodar as falhas da técnica utilizada, essa estrutura pode sofrer alterações de acordo com a necessidade.
Com o esqueleto pronto, ainda é necessário anexar os vértices a ele, a definição de influências ou pesos cumprem essa função. O sistema de influência faz com que os movimentos de um osso influenciem a posição de determinados vértices que foram anexados a ele, cada vértice pode sofrer influência de mais de um osso, porém o sistema é multiplicativo e a soma de todas as influências em um vértice devem somar 1, assim vértices nas juntas sofrem influência
dos dois ossos desta, conforme apresentado na figura 7, que apresenta um exemplo da mão, com o esqueleto e influências prontas.
Figura 6. Mão com a retopologia com duas vistas
Tendo como premissa de que um modelo é a simplificação da realidade, uma das dificuldades é decidir que detalhes devem ser incluídos ou excluídos. O desenvolvimento do modelo apresentado na figura 7 tem como base um modelo real, com captura de dados de uma mão humana. Neste desenvolvimento se todos os detalhes fossem incluídos num primeiro momento, o modelo seria de difícil análise.
Figura 7. Modelo da mão com o esqueleto
Apesar do processo se iniciar com dados reais adquiridos pelo usuário, é possível usar dados de bancos de dados fisiológicos. E mesmo sendo utilizados dados reais, muitos detalhes artísticos são executados ao longo do processo e, portanto, não se pode afirmar que o resultado final replica com grande precisão a realidade do modelo utilizado.
IV. CONCLUSÃO
O processo não está completo, pois faltam elementos que completam a simulação, tal como a textura do modelo que necessita de mais detalhes. Porém, é possível gerar um modelo que serve de ferramenta para outros processos, como estudo de próteses [12] e realidade virtual [16]. E o estudo desse
trabalho provê uma introdução à computação gráfica e como ela pode ser usada para auxiliar na reabilitação humana.
Como apresentado no tutorial sobre adaptação de músculos para esqueleto [12], o método para obter a precisão dos músculos é complexo e exige animações pré-definidas ao invés de animação procedural, enquanto é possível fazê-lo, isso aumentaria o tempo de implementação do modelo em outros softwares, pois seria necessário que um sistema de mais complexo animação fosse implementado.
Os ambientes virtuais também possibilitam a interação física que ganham cada vez mais espaço na reabilitação. Os exergames, termo usado para jogos de videogame utilizados como forma de exercícios físicos, são ferramentas promissoras para o estímulo e incentivo de exercícios dentro da reabilitação de pessoas com alguma alteração neuromotora [17], com deficiência motora [18], com necessidades especiais [19]
Pela maior facilidade de ser encontrado e pela grande gama de aplicações, existem aplicativos que se configuram como serious games, isso é, uma ferramenta desenvolvida que não possui como propósito principal o entretenimento, e sim o de educar e motivar os participantes, em envolver os indivíduos atuantes [20].
A realidade aumentada e virtual também pode ser amplamente utilizada em contextos educacionais, e isso pode se aplicar às pessoas com necessidades especiais (PNEE) [21].
A ICAR (Interface de Comunicação Alternativa Remota) foi desenvolvida com o intuito de propiciar a pessoas impossibilitadas de falar, um meio alternativo para tal por intermédio da realidade aumentada [22]. Também existem aplicativos que unem essa tecnologia a musicoterapia [23]
para PNEE, facilitando a utilização do mesmo para o usuário ao mostrar de maneira visual os diferentes instrumentos e reproduzindo seus respectivos sons.
AGRADECIMENTOS
Agradecemos ao Conselho Nacional de Desenvolvimento Científico e Tecnológico pelo apoio no desenvolvimento deste projeto.
REFERÊNCIAS
[1] Nunes, F.L.S, Machado, L.S.; Moraes, R.M., Evolução da Realidade Virtual e Aumentada em Saúde: Uma Reflexão a partir de 15 Anos de SVR, XVI Symposium on Virtual and Augmented Reality, Salvador, Bahia, Brasil, 2014.
[2] Dores, A.R., Barbosa F., Marques A., Carvalho I.P., Sousa L., Castro- Caldas A., Realidade Virtual na Reabilitação: Por Que Sim e Por Que Não? Uma Revisão Sistemática, Revista Científica da Ordem dos Médicos; Nov-Dec, 25(6):414-421, 2012
[3] Damasceno, E.F., Lamounier Junior, E.A., Cardoso, A., Uma avaliação heurística sobre um Sistema de Captura de Movimentos em Realidade Aumentada, Journal of Health Informatics; Julho-Setembro, 4(3): 87-94, 2012.
[4] Oliveira, l. C., Santos, S. C., Fernandes, F. G., Rodrigues, M. L., Vita, S.
S. B. V., Realidade Virtual E Aumentada Aplicada Em Reabilitação Fisioterapêutica Utilizando O Sensor Kinect E Dispositivos Móveis, Conferência de Estudo em Engenharia Elétrica, Universidade Federal de Uberlândia, 2014.
[5] Fernandes, F. G.; Paiva, L. R. M; Oliveira, L. C.; Rodrigues, M. L. A Tecnologia da Informação Aplicada Á Área da Saúde: Investigação de Métodos, Técnicas e Aplicações sobre Realidade Virtual e Aumentada;
Simpósio de Excelência em Gestão, 2012.
[6] Corrêa,C.G, Nunes, F. L. S., Bezerra A. Implementação de Interação de Sistemas Virtuais para Simulação de Exames de Biópsia, Workshop de Informática em Medicina, 2008.
[7] Sibille L., Teschner M., Srivastava S., Latombe J.C., Interactive Simulation of the Human Hand, In CARS,
2002.
[8] Regenbrecht, H, Hoermann, S., Ott, C.; Muller, L., Franz, E.;
Manipulating the Experience of Reality for Rehabilitation Applications, Proceedings of the IEEE, Volume:102, Issue: 2, 2014.
[9] Sherman, R. A.; Sherman, C.J.; Parker, L. Chronic phantom and stump pain among American veterans: Results of a survey, Elsevier, Volume 18, Issue 1, January 1984, Pages 83 95, 1984.
[10] Hincapié, M.; Caponio, A.; Rios, H.; Mendívil, E. G.. An Introduction to Augmented Reality with Applications in Aeronautical Maintenance, 13th International Conference on Transparent Optical Networks (ICTON), 2011.
[11] Advanced Output Center. Guide for 3D Scanning. 2015. Disponível em: <http://crit.artic.edu/aoc/pdfs/aoc_3d_scan_handyscan.pdf>. Acesso em: 30 Julho 2015.
[12] Bibb, R.J. An investigation of three-dimensional scanning of human body surfaces and its use in the design and manucfacture of prostheses.
2000. Proceedings of the Institution of Mechanical Engineers, Part H:
Journal of Engineering in Medicine, 214 (6), pág. 589-594.
[13] Maya Autodesk. User Guide. Disponível em:
<http://download.autodesk.com/global/docs/maya2013/en_us/>. Acesso em: 30 Julho 2015.
[14] Azevedo, A; Conci, A., Computação Gráfica, Rio de Janeiro: Campus, 2003.
[15] Burke, N.; Skin Jiggle and Sliding for Game Engines. 2012. Disponível http://natbird.com/NBurke_Thesis_SkinSimulationAndDeformation.pdf Acesso em: 30 Julho 2015.
[16] Mattioli, F.E.R, et al., Classification of EMG signals using artificial neural networks for virtual hand prosthesis control; 33° Annual International Conference of the IEEE EMBS, Massachussets, EUA, 2011.
[17] Santos, J. V. S.; Carvalho, L. C.; Bressan, P. A. Physioplay: Um exergame ára reabilitação física aplicando a interatividade do Kinect®
como biofeedback visual, IX Workshop em Realidade Virtual e Aumentada, Blumenau, 2012.
[18] Balista, V. G., PhysioJoy- Sistema de Realidade Virtual para Avaliação e Reabilitação de Déficit Motor, Workshop on Virtual, Augmented Reality and Games, SBC Proceedings of SBGames, 2013.
[19] Corrêa, A. G. D.; Assis, G. A.; Nascimento, M.; Lopes, R. D., GenVirtual: um jogo musical para reabilitação de indivíduos com necessidades especiais, XVIII Simpósio Brasileiro de Informática na Educação, 2007.
[20] Faria, V. N. R.; Silva, N. L.; Abrahão, T. A.; Nogueira, K. L.; Junior, E.
A. Serious Game Utilizando Técnicas De Realidade Aumentada Destinado À Reabilitação De Crianças Com Disabilidades Psicomotoras, Conferência de Estudo em Engenharia Elétrica, Universidade Federal de Uberlândia, 2014.
[21] Paula, M. M. V.; Ferreira, G. G. A.; Silva, R. A., Uma análise exploratória do uso da realidade aumentada por pessoas com necessidades educativas especiais, Anais do 23º Simpósio Brasileiro de Informática na Educação (SBIE 2012), 2012.
[22] Lima, E. D.; Forte, C. ICAR: Implementação de uma Ferramenta de Comunicação Alternativa e Remota para Pessoas com Dificuldades Motoras, 2011.
[23] Ficheman, I. K.; Correa, A. G. D; Nascimento, M.; Lopes, R. D., O Uso Da Tecnologia De Realidade Aumentada No Apoio Ao Processo De Reabilitação Em Sessões De Musicoterapia, Revista Brasileira de Inovação Tecnológica, v.1, n.3, 2011.
